web-dev-qa-db-ja.com

Azure DataFactoryでpythonスクリプトを実行する

データをblobに保存し、pythonスクリプトを記述していくつかの計算を行い、別のcsvを作成しました。これをAzure Data Factoryで実行するにはどうすればよいですか？

azureazure-storageazure-data-factory
4
Mighty

強大です。要件に応じて Azure Data Factory V2カスタムアクティビティ を使用できます。コマンドを直接実行して、カスタムアクティビティを使用してpythonスクリプトを呼び出すことができます。

Githubにある sample を参照してください。

お役に立てば幸いです。

7
Jay Gong

別のオプションは、DatabricksSparkPythonアクティビティを使用することです。これはスケールアウトしたい場合には理にかなっていますが、PySparkをサポートするためにコードの変更が必要になる場合があります。原因の前提条件は、Azure Databricksワークスペースです。スクリプトをDBFSにアップロードする必要があり、Azure Data Factoryを介してそれをトリガーできます。次の例では、スクリプトpi.pyをトリガーします。

{
    "activity": {
        "name": "MyActivity",
        "description": "MyActivity description",
        "type": "DatabricksSparkPython",
        "linkedServiceName": {
            "referenceName": "MyDatabricksLinkedservice",
             "type": "LinkedServiceReference"
        },
        "typeProperties": {
            "pythonFile": "dbfs:/docs/pi.py",
            "parameters": [
                "10"
            ],
            "libraries": [
                {
                    "pypi": {
                        "package": "tensorflow"
                    }
                }
            ]
        }
    }
}

詳細は Documentation を参照してください。

4
Hauke Mallow