web-dev-qa-db-ja.com

セロリで「ユニークな」タスクを実行する

セロリを使用して、ニュース集約サイトのRSSフィードを更新しています。フィードごとに1つの@タスクを使用していますが、問題なく動作しているようです。

私がうまく処理できると確信できない詳細があります：すべてのフィードは@periodic_taskで毎分1回更新されますが、新しいフィードが開始されたときに最後の定期的なタスクからフィードがまだ更新されている場合はどうなりますか？ （たとえば、フィードが本当に遅い、またはオフラインで、タスクが再試行ループで保留されている場合）

現在、私はタスクの結果を保存し、次のようにそのステータスを確認しています。

import socket
from datetime import timedelta
from celery.decorators import task, periodic_task
from aggregator.models import Feed


_results = {}


@periodic_task(run_every=timedelta(minutes=1))
def fetch_articles():
    for feed in Feed.objects.all():
        if feed.pk in _results:
            if not _results[feed.pk].ready():
                # The task is not finished yet
                continue
        _results[feed.pk] = update_feed.delay(feed)


@task()
def update_feed(feed):
    try:
        feed.fetch_articles()
    except socket.error, exc:
        update_feed.retry(args=[feed], exc=exc)

たぶん私が見逃したセロリのメカニズムを使用して同じ結果を達成するより洗練された/堅牢な方法がありますか？

pythondjangocelery
49
Luper Rouch

公式ドキュメントから： タスクが一度に1つだけ実行されるようにする 。

29
MattH

MattHの回答に基づいて、次のようなデコレータを使用できます。

def single_instance_task(timeout):
    def task_exc(func):
        @functools.wraps(func)
        def wrapper(*args, **kwargs):
            lock_id = "celery-single-instance-" + func.__name__
            acquire_lock = lambda: cache.add(lock_id, "true", timeout)
            release_lock = lambda: cache.delete(lock_id)
            if acquire_lock():
                try:
                    func(*args, **kwargs)
                finally:
                    release_lock()
        return wrapper
    return task_exc

次に、それをそのように使用します...

@periodic_task(run_every=timedelta(minutes=1))
@single_instance_task(60*10)
def fetch_articles()
    yada yada...
41
SteveJ

https://pypi.python.org/pypi/celery_once を使用すると、エラーを報告したり、一部のパラメータに対して一意性をテストしたりするなど、非常に効果的です。

次のようなことができます。

from celery_once import QueueOnce
from myapp.celery import app
from time import sleep

@app.task(base=QueueOnce, once=dict(keys=('customer_id',)))
def start_billing(customer_id, year, month):
    sleep(30)
    return "Done!"

プロジェクトで次の設定が必要なだけです：

ONCE_REDIS_URL = 'redis://localhost:6379/0'
ONCE_DEFAULT_TIMEOUT = 60 * 60  # remove lock after 1 hour in case it was stale
12
vdboor

Djangoを使用しない例を探している場合は、 この例を試してください （警告：代わりに、すでに使用していたRedisを使用します）。

デコレータのコードは次のとおりです（記事の著者への完全なクレジットは、読んでください）。

import redis

REDIS_CLIENT = redis.Redis()

def only_one(function=None, key="", timeout=None):
    """Enforce only one celery task at a time."""

    def _dec(run_func):
        """Decorator."""

        def _caller(*args, **kwargs):
            """Caller."""
            ret_value = None
            have_lock = False
            lock = REDIS_CLIENT.lock(key, timeout=timeout)
            try:
                have_lock = lock.acquire(blocking=False)
                if have_lock:
                    ret_value = run_func(*args, **kwargs)
            finally:
                if have_lock:
                    lock.release()

            return ret_value

        return _caller

    return _dec(function) if function is not None else _dec
8
keithl8041

同時実行性が1より大きい単一のホストで動作するセロリのこのソリューション。ロックベースのその他の種類（redisなどの依存関係なし）は、同時実行性が1より大きい場合は機能しません。

class Lock(object):
    def __init__(self, filename):
        self.f = open(filename, 'w')

    def __enter__(self):
        try:
            flock(self.f.fileno(), LOCK_EX | LOCK_NB)
            return True
        except IOError:
            pass
        return False

    def __exit__(self, *args):
        self.f.close()


class SinglePeriodicTask(PeriodicTask):
    abstract = True
    run_every = timedelta(seconds=1)

    def __call__(self, *args, **kwargs):
        lock_filename = join('/tmp',
                             md5(self.name).hexdigest())
        with Lock(lock_filename) as is_locked:
            if is_locked:
                super(SinglePeriodicTask, self).__call__(*args, **kwargs)
            else:
                print 'already working'


class SearchTask(SinglePeriodicTask):
    restart_delay = timedelta(seconds=60)

    def run(self, *args, **kwargs):
        print self.name, 'start', datetime.now()
        sleep(5)
        print self.name, 'end', datetime.now()
0
user12397901