Потоковый экспорт в BigQuery

Содержание

О потоковом экспорте

Потоковый экспорт позволяет в считанные минуты получать самые свежие данные за текущий день с помощью функции BigQuery Export.

В таком режиме экспорта BigQuery предоставляет более актуальную информацию о пользователях и трафике ресурса.

Для каждого дня создается отдельная таблица и одно ее представление (BigQuery):

  • Таблица ga_realtime_sessions_ГГГГММДД – внутренняя промежуточная таблица, которая содержит записи сеансов для всех типов активности, зарегистрированной в течение дня. Потоковый экспорт – операция с негарантированным результатом, которая может учитывать не все данные, например из-за обработки поздних обращений или ошибок загрузки. Данные экспортируются регулярно в течение дня. Если информация об одном событии загружается в ходе нескольких операций экспорта, то для него создается несколько записей в таблице.
     
    Таблицы ga_realtime_sessions_ГГГГММДД не должны использоваться для запросов (служба технической поддержки Google Аналитики не занимается такими обращениями). Они могут приводить к неожиданным результатам, так как могут содержать дубликаты записей некоторых сеансов. Вместо этого следует запрашивать представление ga_realtime_sessions_view_ГГГГММДД.
  • Представление ga_realtime_sessions_view_ГГГГММДД служит для дедупликации записей повторных сеансов, входящих в область экспорта. Запросите эту таблицу, чтобы получить дедуплицированные потоковые данные. Подробнее о представлениях BigQuery…

Производительность запросов

Таблица ga_realtime_sessions_view служит для дедупликации пользователей и сеансов. Дедупликация добавляет дополнительный вычислительный этап, что увеличивает время обработки запроса, зависящее от клиента и объема данных.

Однако увеличение времени запроса компенсируется повышением актуальности данных и возможностью реагировать на самую свежую статистику.

Оплата

За использование потокового экспорта взимается плата: 0,05 долл. США за 1 гигабайт данных (1 ГБ данных соответствует примерно 600 000 обращений Google Аналитики, хотя это число будет зависеть от размера обращений).Подробнее о ценах за использование BigQuery

Поля

Доступные поля

Доступны основные параметры Analytics (собственные, не дополненные из других источников параметры, представленные в стандартных отчетах), за исключением указанных ниже.

Недоступные поля

Данные, дополненные из других рекламных источников (таких как Google Реклама, Менеджер кампаний 360, Google Менеджер рекламы и т. д.), недоступны.

Данные о группах каналов недоступны.

Недоступны следующие поля:

  • userId
  • trafficSource.*
  • hits.latencyTracking.*
  • hits.publisher.*

Требования

Для представлений Google Аналитики 360, из которых вы экспортируете данные в BigQuery, должна поддерживаться высокая актуальность данных.

Реализация

Настройте BigQuery Export и свяжите BigQuery с ресурсом Google Аналитики.

Настроив BigQuery Export, выполните следующие действия:

  1. Войдите в аккаунт Google Аналитики. Используйте адрес электронной почты с уровнем доступа Владелец к проекту BigQuery и разрешением на редактирование ресурса Google Аналитики, в котором содержится представление.
  2. Нажмите Администратор и перейдите к ресурсу с тем представлением, данные которого вы хотите экспортировать.
  3. В столбце "РЕСУРС" нажмите Все продукты > BigQuery > Изменить связь.
  4. Выберите Данные экспортируются непрерывно.
  5. Нажмите Далее.
  6. Нажмите Готово.

Что произойдет при изменении частоты экспорта

Если вы перейдете с режима Массовый экспорт данных выполняется несколько раз в день на режим Данные экспортируются непрерывно, это изменение вступит в силу не раньше полуночи следующего дня (на основе самой ранней настройки часового пояса для представления ресурса).

Если вы перейдете с режима Данные экспортируются непрерывно на режим Массовый экспорт данных выполняется несколько раз в день, то потоковый экспорт будет немедленно отключен и прекратится в течение нескольких часов. Данные начнут передаваться в течение следующего обычного окна экспорта. Этот следующий промежуточный экспорт будет содержать полный набор данных за текущий день в соответствии с выбранной частотой.

Эта информация оказалась полезной?
Как можно улучшить эту статью?