web-dev-qa-db-ja.com

エアフロー：ログファイルはローカルではありません、サポートされていないリモートログの場所

Airflow UIからタスクに添付されたログを見ることができません： enter image description here

Airflow.cfgファイルのログ関連設定は次のとおりです。

  • remote_base_log_folder =
  • base_log_folder = /home/my_projects/ksaprice_project/airflow/logs
  • worker_log_server_port = 8793
  • child_process_log_directory = /home/my_projects/ksaprice_project/airflow/logs/scheduler

Remote_base_log_folterを設定していますが、http://:8793/log/tutorial/print_date/2017-08-02T00:00:00からログを取得しようとしています-この動作がわかりません。設定によると、ワーカーはログを/home/my_projects/ksaprice_project/airflow/logsに保存し、リモートではなく同じ場所から取得する必要があります。

Updatetask_instanceテーブルの内容： enter image description here

airflowapache-airflowairflow-scheduler
13
javed

私も同じ問題に直面しました。

airflow.cfgで以下の変数を設定するとうまくいきました。 localhostではなく{hostname}をマシンのFQDN {hostname}として使用します。

endpoint_url = http://{hostname}:8080

base_url = http://{hostname}:8080

幸運を祈ります！

7
Jaguar

Image-1でわかるように、タイムスタンプがあります。ログに、そのタイムスタンプを名前として持つフォルダー/ファイルがあることを確認してください。

あなたはUIを見ているので、まずディレクトリにログファイルが作成されていることを確認してください、私の場合、ログフォルダは次のようになります

(AIRFLOW-ENV) [cloudera@quickstart dags]$ ll /home/cloudera/workspace/python/airflow_home/logs/my_test_dag/my_sensor_task 
total 8
-rw-rw-rw- 1 cloudera cloudera 3215 Nov 14 08:45 2017-11-12T12:00:00
-rw-rw-rw- 1 cloudera cloudera 2694 Nov 14 08:45 2017-11-14T08:36:06.920727
(AIRFLOW-ENV) [cloudera@quickstart dags]$

私のログURLは

http://localhost:8080/admin/airflow/log?task_id=my_sensor_task&dag_id=my_test_dag&execution_date=2017-11-14T08:36:06.920727

DAGに移動してGRAPH-VIEWを選択すると、「RUN」の横にドロップダウンが表示され、適切な実行を選択してから、下のグラフビューで適切なタスク/オペレーターを選択し、ビューログを選択します。

1
Manjesh

私もこれに遭遇し、タスクの一時停止を解除しなければなりませんでした。

dags_are_paused_at_creation = False

また、airflow.cfgで新しいdagsをデフォルトの一時停止なしに設定します

dags_are_paused_at_creation = False
0
user8697151