ログのレポートに関する BigQuery のクエリ例

この機能に対応しているエディション: Frontline Standard、Enterprise Standard、Enterprise Plus、Education Standard、Education Plus、Enterprise Essentials Plus、 エディションの比較

ここでは、BigQuery から取得できる一般的なレポートのクエリ例をご紹介します。こうしたクエリでは、レガシー SQL が使用されます。api_project_name.dataset_name は実際のプロジェクト名とデータセット名に置き換えます。

詳しくは、BigQuery データのクエリの概要をご覧ください。

Gmail ログのフィールドとその意味については、BigQuery での Gmail アクティビティ ログのスキーマをご覧ください。

クエリの例

アカウント

管理者アカウントと代理アカウントの数、無効なアカウント、ロックアウトされたアカウント、停止中のアカウントの数（日付別）

SELECT date,
accounts.num_locked_users,
accounts.num_disabled_accounts,
accounts.num_delegated_admins,
accounts.num_super_admins,
accounts.num_suspended_users,
accounts.num_users
FROM api_project_name.dataset_name.usage
WHERE accounts.num_users IS NOT NULL
ORDER BY date ASC;

管理者

管理者が最も頻繁に実施しているイベント

SELECT count(*) as admin_actions, event_name
FROM api_project_name.dataset_name.activity
WHERE email IN (
  SELECT user_email
  FROM api_project_name.dataset_name.usage
  WHERE accounts.is_super_admin = TRUE
)
GROUP BY 2
ORDER BY 1 DESC;

特定ドメインの特権管理者の数

SELECT COUNT(DISTINCT user_email) as number_of_super_admins, date
FROM api_project_name.dataset_name.usage
WHERE accounts.is_super_admin = TRUE
GROUP BY 2
ORDER BY 2 DESC;

カレンダー

標準 SQL のみ

Google カレンダーの 30 日間のアクティブ ユーザー数に対する 1 日のアクティブ ユーザー数の割合。この例では複数のテーブルを照会します。

1 日あたりのアクティブ ユーザー

SELECT date, calendar.num_1day_active_users
FROM api_project_name.dataset_name.usage
WHERE calendar.num_1day_active_users IS NOT NULL
ORDER BY date DESC

30 日間のアクティブ ユーザー

SELECT date, calendar.num_30day_active_users
FROM api_project_name.dataset_name.usage
WHERE calendar.num_30day_active_users IS NOT NULL
ORDER BY date DESC;

カレンダーの予定の数（種類別）

SELECT COUNT(DISTINCT calendar.calendar_id) AS count, event_name
FROM api_project_name.dataset_name.activity
WHERE calendar.calendar_id IS NOT NULL
GROUP BY 2 ORDER BY 1 DESC;

ドライブ

共有された Google ドライブ アイテムの数（共有方法別）

SELECT COUNT(DISTINCT drive.doc_id) AS count, drive.visibility
FROM api_project_name.dataset_name.activity
WHERE drive.doc_id IS NOT NULL
GROUP BY 2 ORDER BY 1 DESC;

ファイルの ID、タイトル、オーナー、形式（特定の期間に外部と共有されたファイル）

SELECT TIMESTAMP_MICROS(time_usec) AS date, drive.doc_id, drive.doc_title,
drive.owner, drive.doc_type
FROM api_project_name.dataset_name.activity
WHERE drive.visibility = "shared_externally"
ORDER BY 1 DESC
LIMIT 100;

共有権限の変更と結果。ファイルの公開設定が変更される原因となった権限の変更を確認できます。

SELECT TIMESTAMP_MICROS(time_usec) AS date, drive.doc_title,
drive.visibility_change,drive.old_visibility, drive.visibility,
FROM api_project_name.dataset_name.activity
WHERE record_type = "drive"
AND drive.old_visibility IS NOT NULL
AND drive.old_visibility != "unknown";

ファイル形式別に分類されたイベントタイプ。ファイル形式ごとにレポートを作成する際に役立ちます。

SELECT drive.doc_type, event_type, count(*) 
FROM  api_project_name.dataset_name.activity
WHERE record_type = "DRIVE"
GROUP by 1,2 ORDER BY 3 desc;

各共有ドライブのイベントタイプとイベント名

SELECT drive.shared_drive_id, event_type, event_name, record_type,
count(distinct drive.doc_id) AS count
FROM api_project_name.dataset_name.activity
WHERE record_type = "drive"
AND drive.shared_drive_id IS NOT NULL
GROUP BY 1,2,3,4 ORDER BY 5 DESC;

ドメイン外のユーザーに関する情報

SELECT email, event_name, count(*) AS count
FROM api_project_name.dataset_name.activity
WHERE email != ""
AND email NOT LIKE "%mydomain.com%"
GROUP BY 1,2 ORDER BY 3 DESC;

外部ユーザーに付与された権限に対して行われた変更とその時期

SELECT drive.target_user, event_name, count(*) AS count
FROM api_project_name.dataset_name.activity
WHERE drive.target_user IS NOT NULL
AND drive.target_user NOT LIKE "%mydomain.com%"
GROUP BY 1,2 ORDER BY 3 DESC;

ストレージのモニタリングに関する情報

設定したしきい値（AND accounts.drive_used_quota_in_mb > 0 句で定義）を使って、X を超えるドライブ ストレージを使用しているユーザーに関するレポートを作成する場合に便利です。

このクエリは、スケジュールされたクエリとして定義したり、API を使用して定期的に呼び出したりすることもできます。

SELECT date,
user_email,
accounts.drive_used_quota_in_mb,
FROM api_project_name.dataset_name.usage
WHERE accounts.drive_used_quota_in_mb IS NOT NULL
AND accounts.drive_used_quota_in_mb > 0
AND user_email != ""
AND date = CAST(DATE_SUB(CURRENT_DATE(), INTERVAL 7 DAY) AS STRING)
ORDER BY 3,1 DESC;

注:

• この値は、お客様が設定しているフィルタと一致するように変更できます。たとえば、15 GB を超える場合: AND accounts.drive_used_quota_in_mb > 15000
• CAST(DATE_SUB(CURRENT_DATE(), INTERVAL x DAY) AS STRING) による期間比較では、date 値で使用可能な形式を使った期間比較が可能になります。

• このクエリは Gmail にも適用でき、同様の値を検索できます（accounts.gmail_used_quota_in_mb）。

Gmail

Gmail に対する BigQuery のおすすめの方法

• 必要なデータに対してのみクエリを実行します。以下の例では一致件数の上限を 1,000 件としていますが、上限は独自に設定できます。
• クエリの対象となる期間を指定します。通常は 1 日で設定します。

件名の一致
指定されたサブジェクトに一致する最大 1,000 件のレコードについて、メールの概要を表示します

SELECT TIMESTAMP_MICROS(gmail.event_info.timestamp_usec) as timestamp,
     gmail.message_info.subject,
     gmail.message_info.source.address,
     gmail.message_info.rfc2822_message_id
FROM your_dataset_id.activity
WHERE gmail.message_info.subject LIKE "%test%"
LIMIT 1000

受信者の一致
明らかに指定された受信者宛てのメールの件数を返します

SELECT COUNT(DISTINCT gmail.message_info.rfc2822_message_id)
FROM your_dataset_id.activity d
WHERE
  EXISTS(
   SELECT 1 FROM d.gmail.message_info.destination WHERE destination.address = "[e-mail]")

処理および受信者の一致

次の両方と一致する最大 1,000 件のレコードについて、メールの概要を表示します。

• 指定された処理（変更、拒否、検疫）
• 指定された受信者

SELECT TIMESTAMP_MICROS(gmail.event_info.timestamp_usec) as timestamp,
     gmail.message_info.subject,
     gmail.message_info.source.address as source,
     destination.address as destination,
     gmail.message_info.rfc2822_message_id
FROM your_dataset_id.activity d, d.gmail.message_info.destination
WHERE
     destination.address = "[e-mail]" AND
     EXISTS(SELECT 1 FROM d.gmail.message_info.triggered_rule_info ri, ri.consequence
          WHERE consequence.action = 17)
LIMIT 1000

ルールの説明のトリガー
指定されたルールの説明をトリガーした最大 1,000 件のレコードについて、メールの概要を表示します。

SELECT TIMESTAMP_MICROS(gmail.event_info.timestamp_usec) as timestamp,
     gmail.message_info.subject,
     gmail.message_info.source.address as source,
     destination.address as destination,
     gmail.message_info.rfc2822_message_id
FROM your_dataset_id.activity d, d.gmail.message_info.destination
WHERE
    EXISTS(SELECT 1 FROM d.gmail.message_info.triggered_rule_info ri, ri.consequence
       WHERE consequence.reason LIKE '%description%')
LIMIT 1000

迷惑メールとして振り分け済み
最多 1,000 件のレコードについて、メールの概要を表示します。

• 迷惑メールとして振り分け済み
• 指定された受信者宛て
• すべての理由

SELECT TIMESTAMP_MICROS(gmail.event_info.timestamp_usec) as timestamp,
     gmail.message_info.subject,
     gmail.message_info.source.address as source,
     destination.address as destination,
     gmail.message_info.rfc2822_message_id
FROM your_dataset_id.activity d, d.gmail.message_info.destination
WHERE gmail.message_info.is_spam AND
          destination.address = "[e-mail]"
LIMIT 1000

暗号化プロトコル（暗号化なし）
暗号化プロトコル（暗号化なし）別にメールの概要を表示します

SELECT TIMESTAMP_MICROS(gmail.event_info.timestamp_usec) as timestamp,
     gmail.message_info.subject,       
     gmail.message_info.source.address as source,
     destination.address as destination,
     gmail.message_info.rfc2822_message_id
FROM your_dataset_id.activity d, d.gmail.message_info.destination
WHERE gmail.message_info.connection_info.smtp_tls_state = 0
LIMIT 1000

暗号化プロトコル（TLS のみ）
暗号化プロトコル（TLS のみ）の条件に一致するメールの概要を表示します

SELECT TIMESTAMP_MICROS(gmail.event_info.timestamp_usec) as timestamp,
     gmail.message_info.subject,
     gmail.message_info.source.address as source,
     destination.address as destination,
     gmail.message_info.rfc2822_message_id
FROM your_dataset_id.activity d, d.gmail.message_info.destination
WHERE gmail.message_info.connection_info.smtp_tls_state = 1
LIMIT 1000

メッセージ ID の一致
指定されたメッセージ ID のメールの詳細を表示します（メッセージ ID は "<>" で囲みます）

SELECT TIMESTAMP_MICROS(gmail.event_info.timestamp_usec) as timestamp,
     gmail.event_info.success,
     gmail.event_info.elapsed_time_usec,
     gmail.message_info.subject,
     gmail.message_info.source.address as source,
     gmail.message_info.source.service as source_service,
     gmail.message_info.source.selector as source_selector,
     destination.address as destination,
     destination.service,
     destination.selector as destination_selector,
     gmail.message_info.rfc2822_message_id,
     gmail.message_info.payload_size,
     gmail.message_info.num_message_attachments,
     gmail.message_info.connection_info.smtp_tls_state,
     gmail.message_info.description
FROM your_dataset_id.activity d, d.gmail.message_info.destination
WHERE gmail.message_info.rfc2822_message_id = ""
LIMIT 1000

処理（メールを拒否）
メールを拒否します

• メール拒否の原因となったルール

SELECT TIMESTAMP_MICROS(gmail.event_info.timestamp_usec) as timestamp,
     gmail.message_info.subject,
     gmail.message_info.source.address as source,
     destination.address as destination,
     gmail.message_info.rfc2822_message_id,
     (SELECT ARRAY_AGG(consequence.reason)
     FROM d.gmail.message_info.triggered_rule_info ri, ri.consequence)
FROM your_dataset_id.activity d, d.gmail.message_info.destination
WHERE gmail.message_info.rfc2822_message_id = "<message id>" AND
     EXISTS(SELECT 1 FROM d.gmail.message_info.triggered_rule_info ri, ri.consequence
        WHERE consequence.action = 17)
LIMIT 1000

処理（メッセージを変更）
メッセージを変更します

• 変更の原因となったルール
• 変更のサブカテゴリ（ヘッダー、件名など）

SELECT TIMESTAMP_MICROS(gmail.event_info.timestamp_usec) as timestamp,
     gmail.message_info.subject,
     gmail.message_info.source.address as source,
     destination.address as destination,
     gmail.message_info.rfc2822_message_id,
     (SELECT ARRAY_AGG((consequence.action, consequence.reason))
     FROM d.gmail.message_info.triggered_rule_info ri, ri.consequence)
FROM your_dataset_id.activity d, d.gmail.message_info.destination
WHERE gmail.message_info.rfc2822_message_id = "<message id>" AND
   EXISTS(SELECT 1 FROM d.gmail.message_info.triggered_rule_info ri, ri.consequence
       WHERE consequence.action NOT IN (0, 17, 3))
LIMIT 1000

メールを検疫
メールを検疫したルール

SELECT TIMESTAMP_MICROS(gmail.event_info.timestamp_usec) as timestamp,
     gmail.message_info.subject,
     gmail.message_info.source.address as source,
     destination.address as destination,
     gmail.message_info.rfc2822_message_id,
     (SELECT ARRAY_AGG(consequence.reason)
     FROM d.gmail.message_info.triggered_rule_info ri, ri.consequence)
FROM your_dataset_id.activity d, d.gmail.message_info.destination
WHERE gmail.message_info.rfc2822_message_id = "<message id>" AND
     EXISTS(SELECT 1 FROM d.gmail.message_info.triggered_rule_info ri, ri.consequence
        WHERE consequence.action = 3)
LIMIT 1000

複合クエリ
特定のルール（「ルールの説明」）によって取得された、過去 30 日間のすべてのメールの件数を返します

SELECT
  COUNT(gmail.message_info.rfc2822_message_id) AS message_cnt
FROM
  `your_dataset_id.activity`,
UNNEST (gmail.message_info.triggered_rule_info) AS triggered_rule
WHERE
  _PARTITIONTIME >= TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 30 DAY)
  AND triggered_rule.rule_name LIKE "rule description"

過去 1 日に受信した、TLS 暗号化が適用されていないすべてのメールのリストを表示します。

SELECT gmail.message_info.subject,
    gmail.message_info.rfc2822_message_id
FROM `your_dataset_id.activity`
WHERE
    _PARTITIONTIME >= TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 30 DAY) AND
    gmail.message_info.connection_info.smtp_tls_state = 0

過去 30 日間にアカウントでメールをやり取りした、上位 10 個のドメインのリストを表示します。

SELECT
  COUNT(DISTINCT gmail.message_info.rfc2822_message_id) as message_cnt,
  IF(gmail.message_info.is_policy_check_for_sender, 
       REGEXP_EXTRACT(gmail.message_info.source.address , "(@.*)"),
       REGEXP_EXTRACT(destination.address , "(@.*)")) AS domain
FROM `your_dataset_id.activity` d, d.gmail.message_info.destination
WHERE 
    _PARTITIONTIME >= TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 30 DAY)
GROUP BY domain
ORDER BY message_cnt desc
LIMIT 10

Gmail の 30 日間のアクティブ ユーザー数に対する 1 日あたりのアクティブ ユーザー数の割合

1 日あたりのアクティブ ユーザー数

SELECT date,
gmail.num_1day_active_users
FROM api_project_name.dataset_name.usage
WHERE gmail.num_1day_active_users > 0
ORDER BY 1 DESC;

7 日間のアクティブ ユーザー数

SELECT date,
gmail.num_7day_active_users
FROM api_project_name.dataset_name.usage
WHERE gmail.num_7day_active_users > 0
ORDER BY 1 DESC;

30 日間のアクティブ ユーザー数

SELECT date,
gmail.num_30day_active_users
FROM api_project_name.dataset_name.usage
WHERE gmail.num_30day_active_users > 0
ORDER BY 1 DESC;

グループ

Google グループのメンバーシップの変更とユーザーの操作

SELECT TIMESTAMP_MICROS(time_usec) AS date,
  event_name,
  admin.group_email,
  event_type,
  email,
  record_type,
  admin.user_email,
  admin.new_value,
  admin.old_value,
  admin.setting_name
FROM project_name.dataset_name.activity
WHERE `admin`.group_email IS NOT NULL
AND CONCAT(TIMESTAMP_MICROS(time_usec)) LIKE "%YYYY-MM-DD%"
ORDER BY 1 DESC
LIMIT
  1000

YYYY-MM-DD 形式のタイムスタンプを使用する場合は、SELECT ステートメントの最初の要素を次に置き換えます。
EXTRACT(DATE FROM TIMESTAMP_MICROS(time_usec)) AS date,

日付は、次のいずれかの方法で WHERE 句でフィルタできます。

SELECT TIMESTAMP_MICROS(time_usec) AS date,
  event_name,
  admin.group_email,
  event_type,
  email,
  record_type,
  admin.user_email,
  admin.new_value,
  admin.old_value,
  admin.setting_name
FROM project_name.dataset_name.activity
WHERE `admin`.group_email IS NOT NULL
AND EXTRACT(DATE FROM TIMESTAMP_MICROS(time_usec)) > "2020-06-30"
AND EXTRACT(DATE FROM TIMESTAMP_MICROS(time_usec)) < "2020-08-31"
ORDER BY 1 DESC
LIMIT
  1000

SELECT TIMESTAMP_MICROS(time_usec) AS date,
  event_name,
  admin.group_email,
  event_type,
  email,
  record_type,
  admin.user_email,
  admin.new_value,
  admin.old_value,
  admin.setting_name
FROM project_name.dataset_name.activity
WHERE `admin`.group_email IS NOT NULL
AND TIMESTAMP_MICROS(time_usec) > TIMESTAMP("2020-07-21")
AND TIMESTAMP_MICROS(time_usec) < TIMESTAMP("2020-07-23")
ORDER BY 1 DESC
LIMIT
  1000

Google Meet

ビデオ通話の数と合計通話時間（日付別）

SELECT date, meet.num_calls, meet.total_call_minutes
FROM `api_project_name.dataset_name.usage`
WHERE meet.num_calls IS NOT NULL
ORDER BY date ASC

1 日あたりのアクティブ ユーザー

SELECT date, meet.num_1day_active_users
FROM `api_project_name.dataset_name.usage`
WHERE meet.num_1day_active_users IS NOT NULL
ORDER BY date DESC

30 日間のアクティブ ユーザー

SELECT date, meet.num_30day_active_users
FROM `api_project_name.dataset_name.usage`
WHERE meet.num_30day_active_users IS NOT NULL
ORDER BY date DESC

ルール

トリガーされた DLP ルール（名前、一致したアプリケーション、アクション別）

SELECT TIMESTAMP_MICROS(time_usec) AS date, rules.rule_name, rules.application,
rules.resource_title, rules.actions, rules.resource_owner_email,
rules.data_source, rules.matched_trigger
FROM api_project_name.dataset_name.activity
WHERE rules.rule_name IS NOT NULL
ORDER BY 1 DESC LIMIT 1000;

トークン

サードパーティ製アプリによる Google ドライブへのアクセスが有効化された回数

SELECT token.client_id, scope, token.app_name, count(*) AS count
FROM api_project_name.dataset_name.activity
LEFT JOIN UNNEST(token.scope) AS scope
WHERE scope LIKE "%drive%"
GROUP BY 1,2,3 ORDER BY 4 DESC;

管理コンソールへのログイン試行

Google 管理コンソールへのログイン失敗に関する詳細情報

SELECT TIMESTAMP_MICROS(time_usec) AS date, email, ip_address,
event_name, login.login_type, login.login_failure_type
FROM api_project_name.dataset_name.activity
WHERE login.login_type IS NOT NULL
AND login.login_failure_type IS NOT NULL
AND event_type = "login"
ORDER BY date DESC;

使用状況テーブルのスキーマ

スキーマは変更される場合があります。パラメータと項目の最新リストは、Reports API のドキュメントでご確認ください。

日付でフィルタする

アクティビティ テーブルまたは使用状況テーブルに対してクエリを実行するときは、日付でフィルタできます。どちらのテーブルにも日付表示には独自の形式があります。

• アクティビティ テーブルには、UNIX マイクロ秒形式でタイムスタンプが格納されます。これは、TIMESTAMP_MICROS() 関数を使って日付に変換できる整数値です。
• 使用状況テーブルでは日付形式を使って date 値が表示されるため、この変換は必要ありません。

どちらのテーブルでも、次のいずれかの方法を使って、特定の日付（または期間）でフィルタできます。

アクティビティ テーブル

UNIX マイクロ秒（アクティビティ テーブル）形式を使って特定の日付でフィルタする場合は、WHERE 句と TIMESTAMP() 関数を定義して、大なり演算子（>）および小なり演算子（<）で単純な比較を行うことができます。

SELECT TIMESTAMP_MICROS(time_usec) as date, record_type
FROM api_project_name.dataset_name.activity
WHERE TIMESTAMP_MICROS(time_usec) > TIMESTAMP("2020-07-01")
AND TIMESTAMP_MICROS(time_usec) < TIMESTAMP("2020-07-07")
ORDER BY 1 DESC LIMIT 1000

ここでの考え方としては、入力値の time_usec を限定するため、その TIMESTAMP_MICROS() 関数からの戻り値を、文字列型パラメータとして追加した日付を使った TIMESTAMP() 関数の戻り値に対して比較しています。この方法は標準 SQL のタイムスタンプ関数で説明されている規則に即しており、単純比較演算子（>）および（<）と、WHERE 句の AND 条件を組み合わせて、具体的な期間を設定しています。

使用状況テーブル

SELECT date, meet.num_calls,
FROM api_project_name.dataset_name.usage
WHERE meet.num_calls IS NOT NULL
AND TIMESTAMP(date) > TIMESTAMP("2020-07-01")
AND TIMESTAMP(date) < TIMESTAMP("2020-07-07")
ORDER BY date DESC;

テーブル内にある文字列型の date 値を TIMESTAMP() 関数に渡して、最初の例と同じように比較演算子（>）と（<）を同じ方法で使用できます。

 

ドメイン エイリアスとサブドメインでフィルタする: 除外と包含

クエリ結果から特定のドメインを除外する、またはクエリ結果に特定のドメインを含めるには、WHERE 句でワイルドカード（%）を使ってメールアドレスにフィルタを適用することで、ドメインをフィルタします。

AND ステートメントまたは OR ステートメントの使い方は、特定の結果を除外するのか、特定の結果のみ含めるのかによります。

クエリ結果から特定のドメインを除外する

WHERE email NOT LIKE ("%@sub.%")
AND email NOT LIKE ("%@test.%")

クエリ結果に特定のドメインのみ含める

WHERE email LIKE ("%@sub.%")
OR email LIKE ("%@test.%")

ルール監査ログ

ユーザーが機密データを共有しようとしたことを追跡する

SELECT TIMESTAMP_MICROS(time_usec) AS Date,
rules.resource_owner_email AS User,
rules.rule_name AS ruleName,
rules.rule_type AS ruleType,
rules.rule_resource_name AS ruleResourceName,
rules.resource_id AS resourceId,
rules.resource_title AS resourceTitle,
rules.resource_type AS resourceType,
rules.resource_owner_email AS resourceOwner,
CAST(recipients AS STRING) AS Recipients,
rules.data_source AS dataSource,
rules.actor_ip_address AS actorIpAddress,
rules.severity AS severity,
rules.scan_type AS scanType,
rules.matched_trigger AS matchedTriggers,
detect.display_name AS matchedDetectorsName,
detect.detector_id AS matchedDetectorsId,
detect.detector_type AS matchedDetectorsType,
triggers.action_type AS triggeredActions,
suppressors.action_type AS suppressedActions,
FROM api_project_name.dataset_name.activity
LEFT JOIN UNNEST(rules.resource_recipients) as recipients
LEFT JOIN UNNEST(rules.matched_detectors) as detect
LEFT JOIN UNNEST(rules.triggered_actions) as triggers
LEFT JOIN UNNEST(rules.suppressed_actions) as suppressors
WHERE rules.rule_name IS NOT NULL
AND triggers.action_type != "ALERT"
ORDER BY 1 DESC
LIMIT 1000;

関連トピック

• BigQuery ドキュメント