Как перенести журналы Gmail, используемые в BigQuery, в журналы Google Workspace

Эта статья предназначена для администраторов Google Workspace, которые используют в BigQuery только журналы Gmail или и журналы Gmail, и журналы Google Workspace. Она содержит пошаговые инструкции по переносу представлений, запросов и скриптов Gmail в BigQuery в журналы и отчеты Google Workspace в BigQuery.

Чтобы вы могли удобно работать со всеми данными BigQuery, мы объединяем журналы Gmail и Google Workspace в этом сервисе.

После этого изменения вы сможете:

• централизованно хранить экспортированные данные BigQuery для всех событий аудита сервисов Google Workspace и управлять этими данными;
• получать более полную информацию о событиях Gmail в BigQuery, включая типы устройств и действия с входящей почтой (например, открытия, нажатия на ссылки и скачивания прикрепленных файлов), а также все события и столбцы из инструмента "Анализ безопасности";
• сегментировать данные, чтобы экспортировать меньшие наборы данных и снизить затраты на хранение данных BigQuery;
• восстанавливать данные, чтобы исправлять ошибки конфигурации и изменения разрешений.

Что вам нужно сделать

После объединения журналов Gmail с журналами Google Workspace в BigQuery вы не сможете работать с журналами Gmail в BigQuery с помощью консоли администратора Google.

Чтобы данные Gmail в BigQuery были по-прежнему доступны, перенесите представления, запросы и скрипты в журналы и отчеты Google Workspace в BigQuery, следуя инструкциям в таблице ниже.

Шаг	Описание	Дополнительная информация
1	Настройте экспорт служебных журналов в Google Workspace в BigQuery	Если вы уже настроили журналы и отчеты Google Workspace в BigQuery, пропустите этот шаг и перейдите к шагу 2. Если вы пропускаете этот шаг, выполните следующие действия: получите идентификатор текущего проекта и название набора данных, которые будете использовать для экспорта данных Gmail; узнайте, как период двойного экспорта может повлиять на требования к хранилищу BigQuery.
2	Перенесите представления, запросы и скрипты журналов Gmail в BigQuery	Выполняйте этот шаг, только если у вас есть специальные представления или сохраненные запросы для журналов Gmail в BigQuery, которые нужно перенести в журналы Google Workspace в BigQuery. Если их нет, пропустите его и переходите сразу к шагу 3.
3	Отключите экспорт журналов Gmail в проект BigQuery, который содержит только журналы Gmail	Прежде чем приступать к этому шагу, рекомендуем убедиться, что сохраненные запросы выполняются надлежащим образом.

Шаг 1. Настройте экспорт служебных журналов в Google Workspace в BigQuery

Выполните этот шаг в консоли администратора Google.

Если вы уже настроили журналы и отчеты Google Workspace в BigQuery, пропустите этот шаг и перейдите к шагу 2. Если вы пропускаете этот шаг, выполните следующие действия:

• получите идентификатор текущего проекта и название набора данных, которые будете использовать для экспорта данных Gmail;
• узнайте, как период двойного экспорта влияет на требования к хранилищу BigQuery.

Подробнее о данных BigQuery и Reports API…

1. Войдите в консоль администратора Google.

   Войдите в аккаунт администратора (он не заканчивается на @gmail.com).

2. В левой части страницы нажмите Отчеты.
3. Прокрутите страницу вниз и выберите BigQuery Export.
4. Наведите указатель на BigQuery Export и нажмите Изменить.
5. Чтобы включить журналы BigQuery, установите флажок Разрешить экспорт данных Google Workspace в Google BigQuery.
6. В разделе Идентификатор проекта BigQuery выберите проект, в котором нужно сохранить журналы Gmail, с возможностью записи. Если нужного проекта нет, настройте его в BigQuery. Подробные сведения изложены в кратком руководстве по использованию консоли Google Cloud.
7. В разделе Новый набор данных в проекте введите название нового набора данных, который будет использоваться для хранения журналов в проекте. Название должно быть уникальным для каждого проекта. Существующий набор данных использовать нельзя.
8. Нажмите Сохранить.
   Примечание. Если проект не удается сохранить, откройте консоль Google Cloud, удалите новый набор данных, а затем сохраните его заново в консоли администратора.

Набор данных будет создан автоматически. Обычно события журнала активности становятся доступны в течение 10 минут после включения этого параметра. Вы можете вернуться в консоль администратора позже, чтобы убедиться, что набор данных и таблица активности появились. В таблицу будут внесены данные о событиях из журналов Gmail за последние 6 месяцев.

Временный период двойного экспорта и требования к хранилищу

После настройки экспорта журналов Gmail в Google Workspace в BigQuery данные журналов Gmail экспортируются в два расположения:

• предыдущий проект BigQuery, который содержит только журналы Gmail;
• новый или существующий проект BigQuery Google Workspace, в котором хранятся данные для всех приложений Google Workspace.

Данные журналов Gmail будут экспортироваться в оба проекта, пока вы не завершите шаг 3. Временный экспорт данных в оба расположения помогает обеспечить правильный перенос данных и их сохранность.

Период двойного экспорта и хранилище BigQuery

Пока ваши данные экспортируются в оба проекта, вам понадобится больше места в хранилище BigQuery. После завершения шага 3 требования к хранилищу должны уменьшиться до обычных. Прежде чем приступать к шагу 3, рекомендуем убедиться, что сохраненные запросы выполняются надлежащим образом.

Шаг 2. Перенесите представления, запросы и скрипты журналов Gmail в BigQuery

Выполните этот шаг в консоли Google Cloud.

Выполняйте этот шаг, только если у вас есть сохраненные запросы или специальные представления наборов данных, которые нужно перенести в журналы Google Workspace в BigQuery.

• Проверьте наличие сохраненных запросов.
• Узнайте, как посмотреть специальные представления наборов данных.

Если вам не нужно переносить ни специальные представления, ни сохраненные запросы, пропустите этот шаг и перейдите к шагу 3.

Чтобы сохранить данные Gmail в той же структуре, которая используется для текущих таблиц Gmail daily_, создайте представление для таблицы активности Gmail. При переносе существующих запросов в Google Workspace в BigQuery нужно изменить название таблицы. Формат таблицы и названия столбцов менять не следует. Подробнее о представлениях BigQuery…

1. В консоли Google Cloud откройте активный проект BigQuery. Откройте проект, содержащий сохраненные запросы, которые нужно перенести.  
2. Выберите набор данных проекта, который нужно перенести.
3. Чтобы создать единое представление для таблицы активности, выполните следующие действия по запуску скрипта:
   1. Скопируйте текст скрипта:

      CREATE VIEW `PROJECT_ID.DATASET_NAME.gmail_view`(event_info, message_info, date) AS SELECT gmail.event_info, gmail.message_info, _PARTITIONTIME FROM `PROJECT_ID.DATASET_NAME.activity` WHERE gmail IS NOT NULL;

   2. Перейдите к полю Редактор. Если вы не видите поле Редактор, нажмите Создать новый запрос .
   3. Вставьте текст скрипта в поле Редактор.
   4. В скрипте замените PROJECT_ID.DATASET_NAME на идентификатор проекта и название набора данных из шага 1.
   5. В верхнем левом углу нажмите кнопку Выполнить.
4. Проверьте сохраненные запросы, которые берут данные из таблиц daily_. В существующих запросах измените названия таблиц и добавьте условие WHERE при необходимости. Внесите одно из следующих изменений:
   • Поменяйте в запросах FROM `daily_YYYYMMDD` на FROM `gmail_view` WHERE date = “YYYY-MM-DD”. Например, вместо FROM `daily_20220815` напишите FROM `gmail_view` WHERE date = “2022-08-15”.
   • Поменяйте FROM `daily_*` на FROM `gmail_view`.

Шаг 3. Отключите экспорт журналов Gmail в проект BigQuery, который содержит только журналы Gmail

Выполните этот шаг в консоли администратора Google.

Пока вы не завершите этот шаг, данные журналов Gmail будут экспортироваться в два проекта. Это обеспечивает правильный перенос проектов и запросов и сохранность данных. Прежде чем приступать к этому шагу, рекомендуем убедиться, что сохраненные запросы выполняются надлежащим образом.

Чтобы немедленно остановить экспорт журналов Gmail в проект BigQuery, который содержит только журналы Gmail:

1. Войдите в консоль администратора Google.

   Войдите в аккаунт администратора (он не заканчивается на @gmail.com).

2. На главной странице консоли администратора выберите ПриложенияGoogle WorkspaceGmailНастройкаЖурналы электронной почты в BigQuery.
3. Наведите указатель на параметр и нажмите Изменить .
4. Снимите флажок Включить.
5. Нажмите Сохранить.

Статьи по теме

• Google Workspace Справка для администраторов: журналы и отчеты в BigQuery
• Справка для администраторов Google Workspace: отчеты и мониторинг
• Документация по Google Cloud BigQuery