web-dev-qa-db-ja.com

BigQueryでクエリをスケジュールする

2つのテーブルを結合するBigQueryクエリがあります（毎日のGoogle Analyticsエクスポート）。クエリをビューまたはテーブルとして保存しますが、新しいGoogle AnalyticsデータがBigQueryに読み込まれると、最終的なビュー/テーブルが毎日自動的に更新されます。

ご協力いただきありがとうございます

google-analyticsgoogle-bigquery
5
Aaron Harris

更新

定期的なクエリのスケジュール 2018年9月からBigQueryで利用可能になりました

BigQuery自体は、スケジューリングメカニズムを提供しません。

サードパーティのソリューションを使用することも、選択したクライアントを使用して独自のソリューションを開発することもできます
https://cloud.google.com/bigquery/docs/reference/libraries

例えば、

App Engine Cron Serviceを使用して、BigQueryクエリの実行を自動化できます https://cloud.google.com/appengine/docs/Java/config/cronhttps://cloud.google。 com/appengine/features /＃cronhttps://cloud.google.com/bigquery/bigquery-api-quickstart

または、Google Apps Scriptを使用して、時間ベースのトリガーでBigQueryクエリをスクリプト化し、そのスクリプトを実行することもできます。
https://developers.google.com/apps-script/advanced/bigqueryhttps://developers.google.com/apps-script/guides/triggers/installable＃time-driven_triggers

また、最近導入されたGoogle Cloud Functions（ベータ版）を確認してください
https://cloud.google.com/functions/docs/

11
Mikhail Berlyant

新機能： https://cloud.google.com/bigquery/docs/scheduling-queries

BigQueryはベータ版でクエリ機能をスケジュールしました。

enter image description here

BigQueryデータ転送サービスを有効にする必要があり、「スケジュールされたクエリ」はBigQuery転送サービスメニューにあります。

10
searain

ミハイルの答えに追加するには、次の簡単に導入できるGoogleシートを確認してください。

https://docs.google.com/spreadsheets/d/1JZkkKcT9yrcYc1g8QqJaIE6PJtoFig3G_ZNbtXuK6fw/edit

  1. このシートをコピーします。
  2. クエリと宛先でカスタマイズします。
  3. スクリプトを実行し、権限が正しく設定されていることを確認します。
  4. 毎時/毎日などのトリガーをスケジュールします。

enter image description here

出典： https://Twitter.com/anilopez/status/958382085407883264

4
Felipe Hoffa

Google Cloud Composer with BiggerQueryプラグイン： https://biggerquery.com/

  1. BiggerQueryを使用してクラウドをインストールComposer
  2. コードをコピーして貼り付けます
  3. スケジュールする
0
Bartłomiej Bęczkowski