ご希望の言語の字幕を表示するには、YouTube の字幕をオンにしてください。動画プレーヤーの下部にある設定アイコン で [字幕] を選択し、言語を選択します。
BigQuery は、大規模なデータセットに対しパフォーマンスの高いクエリを実行できるクラウド データ ウェアハウスです。
未加工のすべてのイベントを Google アナリティクスのプロパティ(サブプロパティや統合プロパティを含む)から BigQuery にエクスポートし、SQL タイプの構文を使ってそれらのデータにクエリを発行できます。BigQuery では、アナリティクスのデータとの統合を目的に、データを外部ストレージにエクスポートするか、外部データをインポートするかを選択できます。
データを BigQuery にエクスポートすると、そのデータの所有権が得られ、BigQuery ACL を使用してプロジェクトやデータセットの権限を管理できるようになります。
1 日 1 回、すべてのデータのエクスポートが行われます。これに加え、データは 1 日を通して継続的にエクスポートされます。詳しくは、ストリーミング エクスポートの項目をご覧ください。
エクスポート先として、BigQuery の無料インスタンス(BigQuery サンドボックス)を利用可能です。ただし、サンドボックスの制限を超えるエクスポートを行う場合には料金が発生します。
標準プロパティでは、BigQuery Export の 1 日の上限は 100 万イベントです。詳しくは、BigQuery Export に関する制限をご覧ください。
- Google アナリティクスにリンクされている商品データを追加するリクエストはエクスポートされません。BigQuery には、Google アナリティクスがクライアントから受け取る未加工のイベントデータのみが含まれます。
- アナリティクスから BigQuery にエクスポートしたデータを、再エクスポートすることはできません。
このページの内容
- BigQuery Export のタイプ
- Google アナリティクス インターフェースと BigQuery Export の違い
- 完了シグナル
- テーブルの更新のスケジュール
- Cookie のない ping とユーザー提供データ
- 「Not Available」のトラフィック ソースのディメンションをバックフィルする
- Google アナリティクス - Firebase と BigQuery の統合
BigQuery Export のタイプ
Google アナリティクスには、次の BigQuery Export オプションが用意されています。それぞれ、当日のデータの可用性が異なり、データのニーズと予算に基づいて選択する必要があります。
| エクスポート タイプ | 使用すべき状況 | エクスポートの詳細 | 上限 | 注意点 |
|---|---|---|---|---|
|
日次エクスポート (標準、360) |
前日の完全なデータセットが必要だが急がない場合、または 360 をご利用でない場合 |
1 日 1 回、前日に取得したサンプリングされていない未加工のイベントデータがエクスポートされます 特定の時刻は保証されません エクスポートは通常、プロパティで設定されているタイムゾーンの午後半ばに行われますが、その日の遅い時間または翌日まで遅れることもあります ラストクリックを測定、モデリングなし |
標準プロパティ: 1 日あたり最大 100 万件のイベント。制限内に収めるためのフィルタ オプションも用意されています 360 プロパティ: 1 日あたり最大 200 億件のイベント |
ユーザー アトリビューションなど、一部のデータでは最大 24 時間の遅延が生じる場合があります。ユーザー アトリビューション データについては、ストリーミングではなく日次エクスポートを使用することをおすすめします |
|
毎日(高頻度) (360) |
1 日を通して、より速く、より完全なデータをエクスポートする場合 |
通常、データは午前 5 時までに届きます 1 日を通して、通常 60 分以内にバッチ アップデートされます 日次エクスポートと同じスキーマ エクスポートはプロパティのタイムゾーンに基づいて開始されます ラストクリックを測定、モデリングなし 日次エクスポートよりもはるかに高速です |
SLA はいくつかの「特大」プロパティでは利用できません | 「標準」と「大」の 360 プロパティでのみ利用できます。 |
|
ストリーミング (標準、360) |
ほぼリアルタイム(数分以内)のデータが必要な場合 |
当日のデータがリアルタイムでエクスポートされます ベスト エフォート サービス: 完全性の SLO なしで運用され、データに欠落がある場合があります |
ボリュームの上限なし | 新規ユーザーと新規セッションのトラフィック ソースデータはエクスポートから除外されます |
Google アナリティクス インターフェースと BigQuery Export の違い
BigQuery イベント エクスポートでは、未加工のイベントおよびユーザー単位のデータを利用できます。ただし、標準レポートやデータ探索ツールのデータに対し Google アナリティクスが付加した価値は含まれません。このため、BigQuery イベント エクスポート データは、Google アナリティクス インターフェースのデータと異なる場合があります。
BigQuery イベント エクスポートと Google アナリティクスのインターフェースの違いを理解し、可能な限りこれらの違いを小さくする方法について詳しくは、Google アナリティクスの UI と BigQuery Export のギャップを埋めるをご覧ください。
ストリーミング エクスポート
ストリーミング エクスポートは、Google アナリティクスのプロパティを BigQuery にリンクした場合に選択できます。
BigQuery ストリーミング エクスポートでは、BigQuery Export を介して当日のデータを数分以内に入手できます。
このエクスポート オプションを使用すると、BigQuery に最新のデータを読み込んで、ユーザーとプロパティのトラフィックを分析できます。
ストリーミング エクスポートでは、毎日新しいテーブルが 1 つ作成されます。
events_intraday_YYYYMMDD: 内部ステージング テーブルです。このテーブルには、その日に発生したセッション アクティビティのレコードが保持されます。ストリーミング エクスポートはベスト エフォート型の処理であり、イベントの遅れやアップロードの失敗などにより、データに漏れが生じる場合もあります。データは 1 日を通して継続的にエクスポートされます。セッションが複数のエクスポート周期にまたがっていると、テーブルにはそのセッションのレコードが複数保存されることがあります。このテーブルは、events_YYYYMMDDの作成が完了すると削除されます。
BigQuery Export の設定時に日次オプションを選択した場合、次のテーブルも毎日作成されます。
events_YYYYMMDD: 1 日に 1 回、すべてのイベントがエクスポートされます。
その日の安定したデータセットを分析できるよう、クエリでは、events_YYYYMMDD ではなく events_YYYYMMDD を使用するようにしてください。
events_YYYYMMDD テーブルと events_intraday_YYYYMMDD テーブルについて詳しくは、BigQuery Export スキーマをご覧ください。
BigQuery のストリーミング エクスポートには、新規ユーザーについては次のユーザー アトリビューション データは含まれません。
- traffic_source.name(レポート ディメンション: ユーザーのキャンペーン)
- traffic_source.source(レポート ディメンション: ユーザーの参照元)
- traffic_source.medium(レポート ディメンション: ユーザーのメディア)
既存ユーザーのユーザー アトリビューション データは含まれていますが、その処理の完了には約 24 時間かかります。このため、ユーザー アトリビューション データはストリーミング エクスポートに依存せず、1 日 1 回の完全エクスポートから取得することをおすすめします。
ストリーミング エクスポートを使用すると、BigQuery ではデータ 1 GB あたり 0.05 ドルの追加費用が発生します。1 GB は、Google アナリティクスのイベント約 60 万件に相当します(この数はイベントのサイズによっても異なります)。詳しくは、BigQuery の料金をご覧ください。
毎日(高頻度)エクスポート
日次エクスポートとストリーミング エクスポートのオプションに加えて、毎日(高頻度)エクスポートを選択できるようになりました。毎日(高頻度)エクスポートは現在、アナリティクス 360 プロパティで利用できます。3 つのエクスポート オプションはそれぞれ個別に有効にできます。
毎日(高頻度)エクスポートを設定するには、Google Cloud Platform で課金が設定されている必要があります。詳しくは、BigQuery の毎日(高頻度)エクスポート(GA360)をご覧ください。
完了シグナル
アナリティクス 360 で毎日(高頻度)エクスポートをご利用の場合、Google アナリティクスから完了シグナルが送信され、前日のデータがすべてエクスポートされたことが通知されます。
完了シグナルにアクセスするには:
- Cloud Logging にログインし、[ログ エクスプローラ] セクションに移動します。
- 「export complete」を検索します。
ログ エクスプローラでタイムスタンプの範囲を拡大する必要がある場合があります。通常、このメッセージはプロパティ タイムゾーンの午前 5 時頃に発生します。
完了シグナルは Cloud Logging の [ログ ルーター] セクションで確認できます。このシグナルは Cloud Pub/Sub トピックに push できます。
- プロパティのタイムゾーンを変更した後
- プロパティの BigQuery リンクが作成された後
完了シグナルの仕組み
例
Google アナリティクスのプロパティで、アプリとウェブのストリームのイベントの収集が 7 月 29 日から開始されたとします。
- 7 月 29 日: X イベントが Google アナリティクスに送信され、すぐに処理されました。また、この日に L アプリ イベントが発生しましたが、ユーザーがオフラインだったため、Google アナリティクスでは 7 月 30 日まで受信されませんでした。
- 7 月 30 日: Y イベントが発生し、この日に Google アナリティクスに送信されました。
- 7 月 31 日: 7 月 29 日に発生した M イベントが Measurement Protocol を介してバックフィルされました。Z イベントが発生し、こちらもこの日に Google アナリティクスに送信されました。
この例では、完了シグナルは次のようになります。
- 7 月 29 日: 完了シグナルで X イベントが考慮されます。
- 7 月 30 日: 完了シグナルで Y イベントと L イベントの両方が考慮されます。
- 7 月 31 日: 完了シグナルで M イベントと Z イベントの両方が考慮されます。
テーブルの更新のスケジュール
BigQuery Export の一部として作成されたテーブルの更新は、データのエクスポート元のアナリティクス プロパティのタイムゾーンに則って実施されます。プロパティのタイムゾーンが変更されると、BigQuery Export が影響を受け、データの不一致や日次エクスポートのスキップが発生する場合があります。
ストリーミング エクスポートのテーブル(events_intraday_YYYYMMDD)は、プロパティのタイムゾーンで午前 12:00:00 から午後 11:59:59 まで、1 日を通して継続的に更新されます。プロパティのタイムゾーンで新しい日が始まると、その日の新しいテーブルにイベントが書き込まれます。
日次エクスポートのテーブル(events_YYYYMMDD)は、その日のイベントがすべて収集された後に作成されます。アナリティクスでは、テーブルの日付の当日および最大 2 営業日の間、日次テーブルが更新されます。その際、テーブルの日付でタイムスタンプが付いたイベント(Measurement Protocol または Firebase SDK から遅れて送信されるイベント バンドルなど)が使用されます。たとえば、テーブルの日付が 20220101 の場合、20220101 のタイムスタンプが付いたイベントを使用して、20220104 までテーブルが更新されます。
過去のデータの再処理が必要になる場合(処理エラーに対処するバグの修正など)、当日および 2 営業日の期間が経過した後でも、日次テーブルが随時更新されることがあります。
Cookie のない ping とユーザー提供データ
同意モードが実装されている場合、BigQuery のエクスポートにはアナリティクスで収集された Cookie のない ping が、user_id やカスタム ディメンションなどのユーザー提供データとともに含まれます。
「Not Available」のトラフィック ソースのディメンションをバックフィルする
次のリソースを使用して、特定の GCLID のアトリビューション トラフィック ソースのディメンションを検索できます。wBRAID 識別子と gBRAID 識別子は BigQuery Export には含まれません。
- Google Ads API
- Google 広告のスクリプト
- Google 広告用 BigQuery Data Transfer Service
[traffic_source] 列の [Not Available] レコードの GCLID を確認するには、[collected_traffic_source] 列の GCLID フィールドをクエリします。特定の GCLID から Google 広告のキャンペーン情報を検索する方法について詳しくは、Google 広告のトラフィック ソース データをできるだけ早くバックフィルする(アナリティクス 360)をご覧ください。
Google アナリティクス - Firebase と BigQuery の統合
Google アナリティクスのプロパティと Firebase プロジェクトが統合されている場合は、別の BigQuery プロジェクトにリンクすることはできません。
関連資料
次の詳細については、BigQuery のデベロッパー ガイドをご確認ください。