web-dev-qa-db-ja.com

依存タスクへのエアフローパスパラメーター

Airflowの依存タスクにパラメーターを渡す方法は何ですか？多数のbashesファイルがあり、このアプローチをエアフローに移行しようとしていますが、タスク間で一部のプロパティを渡す方法がわかりません。

これは実際の例です。

#sqoop bash template
sqoop_template = """
        sqoop job --exec {{params.job}} -- --target-dir {{params.dir}} --outdir /src/
    """

s3_template = """
        s3-dist-cp --src= {{params.dir}} "--dest={{params.s3}}
    """



#Task of extraction in EMR
t1 = BashOperator(
        task_id='extract_account', 
        bash_command=sqoop_template, 
        params={'job': 'job', 'dir': 'hdfs:///account/' + time.now().strftime("%Y-%m-%d-%H-%M-%S")},
        dag=dag)
#Task to upload in s3 backup.
t2 = BashOperator(
        task_id='s3_upload',
        bash_command=s3_template,
        params={}, #here i need the dir name created in t1
        depends_on_past=True
    )

t2.set_upstream(t1)

T2では、t1で作成されたディレクトリ名にアクセスする必要があります。

溶液

#Execute a valid job sqoop
def sqoop_import(table_name, job_name):
    s3, hdfs = dirpath(table_name)
    sqoop_job = job_default_config(job_name, hdfs)
    #call(sqoop_job)
    return {'hdfs_dir': hdfs, 's3_dir': s3}

def s3_upload(**context):
    hdfs = context['task_instance'].xcom_pull(task_ids='sqoop_import')['hdfs_dir']
    s3 = context['task_instance'].xcom_pull(task_ids='sqoop_import')['s3_dir']
    s3_cpdist_job = ["s3-dist-cp", "--src=%s" % (hdfs), "--dest=%s" % (s3)]
    #call(s3_cpdist_job)
    return {'s3_dir': s3} #context['task_instance'].xcom_pull(task_ids='sqoop_import')

def sns_notify(**context):
    s3 = context['task_instance'].xcom_pull(task_ids='distcp_s3')['s3_dir']
    client = boto3.client('sns')
    arn = 'arn:aws:sns:us-east-1:744617668409:pipeline-notification-stg'
    response = client.publish(TargetArn=arn, Message=s3)
    return response

それが決定的な解決策ではないため、改善を歓迎します。ありがとう。

bashairflow
25
Carleto

XComsをチェックしてください- http://airflow.incubator.Apache.org/concepts.html#xcoms 。これらは、タスク間で状態を通信するために使用されます。

25
Vineet Goel