Airflowで実行したいファイル(存在しない場合)を作成するbashスクリプトがありますが、試してみると失敗します。どうすればいいですか?
#!/bin/bash
#create_file.sh
file=filename.txt
if [ ! -e "$file" ] ; then
touch "$file"
fi
if [ ! -w "$file" ] ; then
echo cannot write to $file
exit 1
fi
そして、これが私がエアフローでそれを呼び出す方法です:
create_command = """
./scripts/create_file.sh
"""
t1 = BashOperator(
task_id= 'create_file',
bash_command=create_command,
dag=dag
)
lib/python2.7/site-packages/airflow/operators/bash_operator.py", line 83, in execute
raise AirflowException("Bash command failed")
airflow.exceptions.AirflowException: Bash command failed
チュートリアルからこれは問題ありません:
t2 = BashOperator(
task_id='sleep',
bash_command='sleep 5',
retries=3,
dag=dag)
しかし、あなたはそれに複数行のコマンドを渡している
create_command = """
./scripts/create_file.sh
"""
あるべき
create_command = "./scripts/create_file.sh "
さらに、不可解なエラーを回避するために、正しいディレクトリにいることを確認する必要もあります。たとえば、次のようにします。
create_command = "./scripts/create_file.sh"
if os.path.exists(create_command):
t1 = BashOperator(
task_id= 'create_file',
bash_command=create_command,
dag=dag
)
else:
raise Exception("Cannot locate {}".format(create_command))