web-dev-qa-db-ja.com

Celery CRITICAL / MainProcess]回復不能なエラー：AttributeError（ "'float'オブジェクトに属性 'items'"がない）

セロリワーカーと3つの分離されたdockerコンテナでredisを使用して、問題なくflaskアプリケーションを実行しています。

これは私がそれを始める方法です：

celery worker -A app.controller.engine.celery -l info --concurrency=2 --pool eventlet

セロリは問題なく始まります：

 -------------- celery@a828bd5b0089 v4.2.1 (windowlicker)
---- **** -----
--- * ***  * -- Linux-4.9.93-linuxkit-aufs-x86_64-with 2018-11-15 16:06:59
-- * - **** ---
- ** ---------- [config]
- ** ---------- .> app:         app.controller.engine:0x7f8ba4eb70b8
- ** ---------- .> transport:   redis://redis:6379/0
- ** ---------- .> results:     redis://redis:6379/1
- *** --- * --- .> concurrency: 2 (eventlet)
-- ******* ---- .> task events: ON
--- ***** -----
 -------------- [queues]
                .> celery           exchange=celery(direct) key=celery


[tasks]
  . app.controller.engine.do

INFO:engineio:Server initialized for eventlet.
INFO:engineio:Server initialized for threading.
[2018-11-15 15:44:34,301: INFO/MainProcess] Connected to redis://redis:6379/0
[2018-11-15 15:44:34,321: INFO/MainProcess] mingle: searching for neighbors
[2018-11-15 15:44:35,358: INFO/MainProcess] mingle: all alone
[2018-11-15 15:44:35,396: INFO/MainProcess] pidbox: Connected to redis://redis:6379/0.
[2018-11-15 15:44:35,415: INFO/MainProcess] celery@12af03844cd0 ready.

しかし、タスクを開始すると、突然クラッシュします：

[2018-11-15 15:02:03,224: CRITICAL/MainProcess] Unrecoverable error: AttributeError("'float' object has no attribute 'items'",)
Traceback (most recent call last):
  File "/app/env/lib/python3.6/site-packages/celery/worker/worker.py", line 205, in start
    self.blueprint.start(self)
  File "/app/env/lib/python3.6/site-packages/celery/bootsteps.py", line 119, in start
    step.start(parent)
  File "/app/env/lib/python3.6/site-packages/celery/bootsteps.py", line 369, in start
    return self.obj.start()
  File "/app/env/lib/python3.6/site-packages/celery/worker/consumer/consumer.py", line 317, in start
    blueprint.start(self)
  File "/app/env/lib/python3.6/site-packages/celery/bootsteps.py", line 119, in start
    step.start(parent)
  File "/app/env/lib/python3.6/site-packages/celery/worker/consumer/consumer.py", line 593, in start
    c.loop(*c.loop_args())
  File "/app/env/lib/python3.6/site-packages/celery/worker/loops.py", line 121, in synloop
    connection.drain_events(timeout=2.0)
  File "/app/env/lib/python3.6/site-packages/kombu/connection.py", line 301, in drain_events
    return self.transport.drain_events(self.connection, **kwargs)
  File "/app/env/lib/python3.6/site-packages/kombu/transport/virtual/base.py", line 963, in drain_events
    get(self._deliver, timeout=timeout)
  File "/app/env/lib/python3.6/site-packages/kombu/transport/redis.py", line 359, in get
    ret = self.handle_event(fileno, event)
  File "/app/env/lib/python3.6/site-packages/kombu/transport/redis.py", line 341, in handle_event
    return self.on_readable(fileno), self
  File "/app/env/lib/python3.6/site-packages/kombu/transport/redis.py", line 337, in on_readable
    chan.handlers[type]()
  File "/app/env/lib/python3.6/site-packages/kombu/transport/redis.py", line 724, in _brpop_read
    self.connection._deliver(loads(bytes_to_str(item)), dest)
  File "/app/env/lib/python3.6/site-packages/kombu/transport/virtual/base.py", line 983, in _deliver
    callback(message)
  File "/app/env/lib/python3.6/site-packages/kombu/transport/virtual/base.py", line 632, in _callback
    self.qos.append(message, message.delivery_tag)
  File "/app/env/lib/python3.6/site-packages/kombu/transport/redis.py", line 149, in append
    pipe.zadd(self.unacked_index_key, time(), delivery_tag) \
  File "/app/env/lib/python3.6/site-packages/redis/client.py", line 2263, in zadd
    for pair in iteritems(mapping):
  File "/app/env/lib/python3.6/site-packages/redis/_compat.py", line 123, in iteritems
    return iter(x.items())
AttributeError: 'float' object has no attribute 'items'

スタックトレースにコードへの参照が表示されません。

これはタスクメソッドです。

@celery.task()
def do(module_name, json_input):
    logger.info('____ Running _________________________')
    logger.info('testing ***********************')
    #modules.run(module_name, json_input)

私は実際のコードへの呼び出しをコメントして、モジュールのコードを台無しにしないことを確認しました。しかし、とにかくクラッシュします。

誰が間違っているのか、それを適切にデバッグする方法を知っていますか？

どうもありがとう

flaskcelerycelery-task
11
magnoz

問題は、セロリコンテナーがビルド時にpipを含むredisパッケージの新しいリリースをダウンロードし、最終的にバグまたは重大な変更がセロリがredisへの接続時に使用しようとするとクラッシュすることでした。この新しいredisライブラリは3.0.0で、今日リリースされました。

この問題を修正するには、requirements.txtに以前のバージョン（2.10.6）を指定する必要があります。

実際、requirements.txtでパッケージのバージョンを指定することは、この種の問題を防ぐ良い方法です。

19
magnoz

今日、この同じ問題にぶつかりました。うまくいけば、これはCeleryのアップデートでまもなく解決されるでしょう。以前のバージョンにも戻りました。

2
Rocky Holms

コメントのための十分な担当者がまだありません：

この問題は、次のセロリの人々によって追跡されています。 https://github.com/celery/celery/issues/5175

このPRにつながる： https://github.com/celery/celery/pull/5176

マージされて元に戻りました。他の修正が上陸したためです。これで修正されたかどうかはわかりません。それはもはや私には関係ありません。

2
Sander Beekhuis

Docker-airflowを使用する人には、 puckel/docker-airflow を追加してdockerfileを変更するだけです

   && pip install 'redis>=2.10.5,<3'\

置換celery[redis]のみceleryで、Apache-airflow組み込みモジュールにセロリを追加することにより、つまり、

  && pip install Apache-airflow[crypto,celery,postgres,Hive,jdbc,mysql]==$AIRFLOW_VERSION

更新：また、最近このバグを修正するためにdocker-airflow dockerfileを変更します。 here を参照してください

1
Kevin Li