web-dev-qa-db-ja.com

気流を設置する方法は？

私はsthをやっているようです。違う。

https://pythonhosted.org/airflow/start.html

$ export AIRFLOW_HOME=~/airflow
$ pip install Apache-airflow
Requirement already satisfied
$ airflow initdb
airflow: Command not found

python-バージョン
Python 2.7.10

それは奇妙です-インストールは正常に機能しているようでした（いくつかの警告-深刻なことは何もありません）と言っています：気流、フラスコなどが正常にインストールされました。しかし、PC（Ubuntu 15.10）を再起動した後でも、気流はコマンドではないようです。

ubuntupipairflow
16
Chris
  • Airflowの仮想環境を作成して、独立したエンティティとして保持することができます：virtualenv airflow_virtualenv
  • 仮想環境のbinフォルダーに移動します：cd airflow_virtualenv/bin
  • 仮想環境をアクティブにします：source activate
  • エアフローのホームパスを設定します。export AIRFLOW_HOME =〜/ airflow[このステートメントを〜/ .profileまたは〜/ .bashrcファイルに入れることもできます。毎回エクスポートする必要がないこと]
  • エアフローのインストール：pipインストールエアフロー[インストール中に「6」エラーがスローされた場合、実行：pipインストールエアフロー--ignore-installed six]
  • データベースを初期化します：airflow initdb
  • Webサーバーを起動します：airflow webserver -p 8080
  • エアフローUIを表示します：http：// localhost：8080 /
10
Neil

他に何も省略していない場合、手順は正しいように見えます。しかし、Python virtualenv および virtualenvwrapper を試して、隔離された airflow 環境を作成することができます。

pip install virtualenv
pip install virtualenvwrapper
# update and source your .profile
mkvirtualenv airflow
workon airflow
export AIRFLOW_VERSION=1.7.0
pip install airflow==${AIRFLOW_VERSION}
# optionally other modules
#pip install airflow[celery]==${AIRFLOW_VERSION}
4
Yu You

Python 3.6を使用

export AIRFLOW_HOME="/Users/your_user_name/airflow"
export SLUGIFY_USES_TEXT_UNIDECODE=yes
brew install python python3
pip install -U Apache-airflow[celery,s3,postgres,jdbc,mysql,gcp_api,crypto,kubernetes]

Python 3.7を使用すると、インストール中にいくつかの問題が発生します

from tenacity.async import AsyncRetrying

AirflowはPython 3.7で動作したため、インキュベーション側に1つのPRがあり、
依存関係名のバージョンを上げる必要がありますtenacity： http://mail-archives.Apache.org/mod_mbox/airflow-commits/201808.mbox/% [email protected]%3Ehttps://issues.Apache.org/jira/browse/AIRFLOW-2876pip install tenacity==4.12.0

次に、Ariflowを実行します。

airflow initdb
airflow webserver

http：// localhost：808 にアクセスして、ブラウザでアプリが実行されていることを確認します。

次に実行します：

airflow scheduler

4
Deep

Airflowのインストール手順は次のとおりです。

〜/ .bashrcにエアフローホームを設定します

export AIRFLOW_HOME=~/airflow

Pipを使用してpypiからインストールする

pip install airflow

メタデータDBの初期化

airflow initdb

ウェブサーバーを起動する

airflow webserver -p 8080

ブラウザを開き、localhost：8080に移動してUIを表示および使用します

3
Andrea Prakash

上記のコマンドに加えて、ジョブの実行を許可するためにスケジューラーを開始する必要があります。コマンドは、

気流スケジューラ

3
Satheesh K

これは、エアフローへのパスがPATHにないようです。これは他のpythonパッケージで起こりますか？

試してください：

export PATH=$PATH:/usr/local/bin/

これはエアフローのデフォルトパスであり、動作するはずです

1
Dotan

解決策は、環境を作成し、エアフローをインストールしてから実行できるようにすることでした。

-> virtualenvのインストール：$pip install virtualenv

->環境の作成：$python -m venv myvenv

->環境のアクティブ化：$source myenv/bin/activate

->エアフローの取り付け：(myenv)$pip install airflow postgresを使用：pip install airflow[postgres]

->サーバーを起動します：(myenv)$airflow webserver -p 8080

0
Juan Bernardo Gómez

すべての投稿への重要な追加。

Apache Airflowは、パッケージ名をairflowからApache-airflowに変更します。したがって、このスレッドのすべての投稿は、このパッケージがまだ存在するため、Apache Airflow 1.8をインストールします。

新しいバージョンをインストールするには

export AIRFLOW_HOME=~/airflow
pip install Apache-airflow

また、どちらのPythonを取るかを検討してください。Python 2またはPython 3。

0
Stefan Papp