本文适用于:仅使用 BigQuery 中的 Gmail 日志或者同时使用 BigQuery 中的 Gmail 日志和 Google Workspace 日志的 Google Workspace 管理员。本文详细说明了如何将 Gmail BigQuery 视图、查询和脚本迁移到 BigQuery 中的 Workspace 日志和报告。
为了简化 BigQuery 任务,并让您在一个位置集中查看所有 BigQuery 数据,我们即将合并 BigQuery 中的 Gmail 日志和 Google Workspace 日志。
经过此次变更,您可以:
- 在一个位置集中管理和存储所有 Google Workspace 服务审核事件的 BigQuery 导出内容。
- 在 BigQuery 中获取有关 Gmail 事件的更完整数据,包括设备类型和收件箱操作(例如打开、删除、点击的链接和附件下载情况)。这些数据包括来自安全调查工具的所有事件和列。
- 获得分区数据,以便导出较小的数据集并降低 BigQuery 数据存储费用。
- 恢复数据,以便修正错误配置和权限更改。
您需要做什么
BigQuery 中的 Gmail 日志与 Google Workspace 日志合并后,您将无法在 Google 管理控制台中使用 BigQuery 中的 Gmail 日志。
如要继续使用 Gmail BigQuery 数据,请将视图、查询和脚本迁移到 BigQuery 中的 Google Workspace 日志和报告:
步骤 | 说明 | 更多信息 |
---|---|---|
1 | 设置将服务日志导出至 Google Workspace BigQuery 的功能 |
如果您已在 BigQuery 中设置 Google Workspace 日志和报告,请跳过此步骤并执行第 2 步。 如果您跳过此步骤,请务必执行以下操作:
|
2 | 迁移 Gmail BigQuery 日志视图、查询和脚本 | 仅当您在 BigQuery 中有 Gmail 日志的自定义视图或已保存查询要迁移到 Google Workspace 日志时,才需执行此步骤。如果您没有任何自定义视图或已保存的查询要迁移,请跳过此步骤并直接执行第 3 步。 |
3 | 停用将 Gmail 日志导出至仅限 Gmail 的 BigQuery 项目的功能 | 我们建议您先确认已保存的查询能按预期运行,然后再完成此步骤。 |
第 1 步:设置将服务日志导出至 Google Workspace BigQuery 的功能
请在 Google 管理控制台中执行此步骤。
如果您已在 BigQuery 中设置 Google Workspace 日志和报告,请跳过此步骤并转到“第 2 步:迁移 Gmail BigQuery 日志视图、查询和脚本”。如果您跳过此步骤,请务必执行以下操作:
- 获取您将用来导出 Gmail 数据的当前项目 ID 和数据集名称。
- 了解双重导出期对您的 BigQuery 存储空间需求有何影响。
如需有关 BigQuery 和 Reports API 数据的详细信息,请参阅设置将服务日志导出至 BigQuery 的功能。
-
- 点击左侧的报告。
- 向下滚动,然后点击 BigQuery 导出。
- 将光标指向 BigQuery 导出并点击修改图标。
- 勾选允许将 Google Workspace 数据导出至 Google BigQuery 旁边的复选框,以开启 BigQuery 日志。
- 在 BigQuery 项目 ID 下,选择您要用来存储 Gmail 日志的项目。请选择一个您拥有写入权限的项目。如果您未看到所需项目,则必须在 BigQuery 中设置。如需了解详情,请参阅有关使用 Google Cloud 控制台的快速入门。
- 在项目中的新数据集下方,输入要用来在项目中存储日志的数据集的名称。您无法使用现有数据集,并且每个项目的数据集名称不得重复。
- 点击保存。
注意:如果您无法保存项目,请前往 Google Cloud 控制台删除该新数据集,然后在管理控制台中重新保存。
系统会自动创建数据集。开启此设置后,系统大约会在 10 分钟后显示活动日志事件。请稍后返回,检查是否可以看到数据集和活动表。 过去 6 个月的 Gmail 日志事件数据会回填到新表中。
临时双重导出期和存储空间需求
设置将 Gmail 日志导出至 Google Workspace BigQuery 的功能后,系统会将 Gmail 日志数据导出至以下 2 个目标位置:
- 之前仅限 Gmail 的 BigQuery 项目
- 新建或现有的 Google Workspace BigQuery 项目(用于存储所有 Google Workspace 应用的数据)
在您完成“第 3 步:停用将 Gmail 日志导出至仅限 Gmail 的 BigQuery 项目的功能”之前,系统会将 Gmail 日志数据同时导出至这两个项目。暂时将数据同时导出到这两个位置有助于确保数据能按预期传输,且不会有任何数据丢失。
双重导出期和 BigQuery 存储空间
将数据同时导出到两个项目时,您将需要更多 BigQuery 存储空间。完成“第 3 步:停用将 Gmail 日志导出至仅限 Gmail 的 BigQuery 项目的功能”后,您的存储空间需求应该会恢复正常。我们建议您在执行第 3 步之前,先检查已保存的查询能否按预期运行。
第 2 步:迁移 Gmail BigQuery 日志视图、查询和脚本
请在 Google Cloud 控制台中执行此步骤。
仅当您在 BigQuery 中有已保存的查询或自定义数据集视图要迁移到 Google Workspace 日志时,才需执行此步骤。
如果您没有要迁移的自定义视图或已保存查询,请跳过此步骤并转到“第 3 步:停用将 Gmail 日志导出至仅限 Gmail 的 BigQuery 项目的功能”。
如要通过与当前 Gmail daily_
表相同的结构来存储 Gmail 数据,请为 Gmail 活动表创建一个视图。将现有查询迁移到 Google Workspace BigQuery 时,可以修改表的名称。您无需修改表的格式或列名称。如需详细了解 BigQuery 视图,请参阅视图简介。
- 在 Google Cloud 控制台中打开一个处于活跃状态的 BigQuery 项目。请打开包含您要迁移的已保存查询的项目,
- 选择要迁移的项目数据集。
- 如要为活动表创建一个视图,请按照以下步骤运行脚本:
- 复制脚本文本:
CREATE VIEW `PROJECT_ID.DATASET_NAME.gmail_view`(event_info, message_info, date) AS SELECT gmail.event_info, gmail.message_info, _PARTITIONTIME FROM `PROJECT_ID.DATASET_NAME.activity` WHERE gmail IS NOT NULL;
- 转到编辑器字段。如果系统未显示编辑者字段,请点击编写新查询图标 。
- 将脚本文本粘贴到编辑器字段。
- 在粘贴的脚本中,将
PROJECT_ID.DATASET_NAME
替换为“第 1 步:设置将服务日志导出至 Google Workspace BigQuery 的功能”中的项目 ID 和数据集名称。 - 点击左上角的运行按钮。
- 复制脚本文本:
- 检查从
daily_
表中选择的已保存查询。对于现有查询,请更新表的名称并根据需要添加WHERE
条件。此外,请进行下列其中一项更改:- 将
FROM `daily_YYYYMMDD`
部分改为FROM `gmail_view` WHERE date = “YYYY-MM-DD”
。例如,将FROM `daily_20220815`
改为FROM `gmail_view` WHERE date = “2022-08-15”
- 将
FROM `daily_*`
部分改为FROM `gmail_view`
- 将
第 3 步:停用将 Gmail 日志导出至仅限 Gmail 的 BigQuery 项目的功能
请在 Google 管理控制台中执行此步骤。
在您完成此步骤之前,系统会将 Gmail 日志数据导出至两个项目。将数据同时导出到两个项目有助于确保项目和查询能按预期传输,且不会有任何数据丢失。我们建议您先确认已保存的查询能按预期运行,然后再执行此步骤。
如要立即停止将 Gmail 日志导出到仅限 Gmail 的 BigQuery 项目,请执行以下操作:
-
- 在管理控制台首页,依次选择应用 Google Workspace Gmail 设置 BigQuery 中的电子邮件日志。
- 将光标指向此设置,然后点击修改图标 。
注意:如果停用此设置,修改选项将不会显示。此功能已弃用,其功能已整合到 BigQuery 中的 Google Workspace 日志和报告中。
- 取消选中启用复选框。
- 点击保存。