设置将服务日志导出至 BigQuery 的功能

Cloud Identity 专业版提供此功能。版本对比

如要将活动日志事件(用户执行的单项操作)和使用情况报告(应用的汇总报告)导出到 Google BigQuery,您需要在 Google 管理控制台中设置 BigQuery Export 配置。

关于 BigQuery 数据和 Reports API 数据

BigQuery 数据集中的可用数据与通过 Reports API 检索到的数据不同。BigQuery 数据仅包含未经过滤的数据集。您仍然可以使用 SQL 过滤数据,但并非所有 Reports API 参数都受支持。

您可以通过在 API 请求中添加参数来过滤 Reports API 数据。

示例:某个网域中有两个组织部门 (OU):A 和 B。借助 Reports API 和 BigQuery,您可以访问整个网域A 和 B)的所有事件。

  • 不过,借助 Reports API,您可以使用 API 请求通过 orgUnitID 参数来检索 A 的事件。
  • 使用 SQL 和 BigQuery 时,您无法按组织部门过滤事件,因为没有与 orgUnitIDorgUnitID 参数对应的列。

重要提示

  • BigQuery 数据包含历史数据,您也可以通过 Reports API 检索这些数据。
  • 如果您停用了将 Google Workspace 数据导出至 BigQuery 的功能,则 BigQuery Export 中不会包含新数据。不过,您可以通过其他来源(例如 Reports API)获取现有数据。
  • BigQuery Export 仅提供部分服务报告数据。如需查看支持的服务的列表,请参阅下文中的“BigQuery Export 支持哪些服务?”
  • 如需查看查询示例,请参阅在 BigQuery 中查询报告日志的示例

数据的传播和保留方式

  • 政策可能需要一小时才会生效。之后,系统会在数据集中创建日常表格(太平洋时间)。
  • 系统会根据其他日志和报告的准则保存数据。有关详情,请参阅数据保留时间和延迟时间
  • 系统不会自动删除数据表格。如要删除使用中的项目,请参阅删除 BigQuery Export 配置
  • BigQuery Exports 会收集导出日期前一天起所发生事件的 Google Workspace 数据。结果会显示导出日期前一天到导出日期间的数据。

设置 BigQuery Export 配置

您首先需要在 Google Cloud 控制台中设置一个 BigQuery 项目。创建项目时,请执行以下操作:

  • 添加一个 Google Workspace 管理员账号,并为其分配 BigQuery 管理员 (bigquery.admin) 角色。如需了解详情,请参阅 BigQuery IAM 角色和权限
  • 添加 gapps-reports@system.gserviceaccount.com 账号,并为其分配 BigQuery Data Editor 角色。如需了解详情,请参阅 BigQuery IAM 角色和权限。您需要使用它来写入日志、更新架构以及完成第 6 步。

有关说明,请参阅设置用于报告日志的 BigQuery 项目

  1. 登录您的 Google 管理控制台

    请使用拥有超级用户权限的帐号(不是以 @gmail.com 结尾)登录。

  2. 在管理控制台中,点击“菜单”图标 接着点击 报告接着点击数据集成

    教育机构管理员:依次点击“菜单”图标 接着点击报告接着点击BigQuery Export,打开数据集成页面。

  3. 将光标指向 BigQuery Export 卡片,然后点击“修改”图标
  4. 如需启用 BigQuery 日志,请勾选允许将 Google Workspace 数据导出至 Google BigQuery 复选框。
  5. (可选)如要导出 DLP 规则的敏感参数,请勾选允许从 DLP 规则日志中导出敏感内容复选框。有关详情,请参阅查看触发数据泄露防护规则的内容

  6. BigQuery 项目 ID 下,选择您要在用于存储日志的项目。选择一个您拥有写入权限的项目。如果您未看到项目,则需要在 BigQuery 中创建。如需了解详情,请参阅有关使用 Google Cloud 控制台的快速入门
  7. 项目中的新数据集下方,输入要用来在项目中存储日志的数据集的名称。各个项目的数据集名称不得重复。如需了解详情,请参阅创建数据集
  8. 点击保存
    注意:如果您无法保存项目,请前往 Google Cloud 控制台删除该新数据集,然后在管理控制台中重新保存。

配置导出操作后,系统会在首次触发导出操作时创建新的数据集。

日志数据导出要求

日志数据通过 insertAll API 导出,因此您需要为 BigQuery Export 项目启用结算功能。如果未启用结算功能,您的项目将处于沙盒模式,并且日志数据不会导出到您的数据集。如需了解详情,请参阅限制

注意:沙盒模式项目仍会启用使用情况报告导出功能。

延迟时间

在大多数情况下,在您将数据导出至 Google BigQuery 后,系统会在 10 分钟内提供活动日志事件。初次配置时,使用情况日志事件会延迟 48 小时,但之后通常会延迟 1-3 天。有关详情,请参阅数据保留时间和延迟时间

常见问题解答

如何为我的导出内容设置数据到期时间?

默认情况下,系统会将数据导出的到期时间设置为 60 天。因此,您导出的任何 BigQuery 数据会在 60 天后从 Google Cloud 中删除。
要更改到期时间,请参阅更新默认表到期时间

我可以更改 BigQuery 项目 ID 吗?

可以。您可以随时更改 BigQuery Export 配置的项目 ID。更改会在数据复制到新 BigQuery 项目的次日生效。
重要提示:您不应更改 BigQuery 项目,因为之前的数据不会复制到新表中。如需访问之前的数据,请访问之前的项目。

BigQuery Export 支持哪些服务?

以下日志事件数据受支持:
  • 账号
  • 管理控制台
  • Google 日历
  • Chrome
  • 课堂
  • DataStudio
  • 设备
  • Google 云端硬盘
  • Gmail
  • Google Chat
  • Google Meet
  • Google Meet 设备
  • Google 群组
  • 登录
  • 规则
  • SAML
  • OAuth
支持以下使用情况报告:
  • 账号
  • 应用制作工具
  • Google Apps 脚本
  • 日历
  • Chrome 操作系统
  • 课堂
  • 设备
  • Google 文档
  • 云端硬盘
  • Gmail
  • Google 搜索
  • Meet
  • Google 协作平台
  • Google Voice

注意:我们计划支持更多日志事件,包括搜索。

将日志事件导出到 BiqQuery 是否会产生费用?  

可以。这是因为 Google 使用 insertAll API 实时查看日志。有关详情,请参阅数据注入价格
 
导出使用情况报告(例如设备或 Meet 报告)是免费的。

相关主题

该内容对您有帮助吗?

您有什么改进建议?
搜索
清除搜索内容
关闭搜索框
主菜单
11916146630556964315
true
搜索支持中心
true
true
true
false
false