BigQuery – это облачное хранилище, позволяющее очень быстро обрабатывать запросы к большим наборам данных.
Вы можете экспортировать все необработанные события из ресурсов Google Аналитики 4 (включая дочерние и агрегированные ресурсы) в BigQuery, а затем выполнять запросы к ним с помощью синтаксиса, схожего с SQL. Данные можно экспортировать из BigQuery в стороннее хранилище или, наоборот, импортировать сведения из других источников, а затем объединять их с информацией из Google Аналитики.
Вы остаетесь владельцем данных, которые загружаете в BigQuery, и можете настраивать разрешения для проектов и наборов данных с помощью списков контроля доступа.
Полный экспорт данных происходит один раз в день. Кроме того, данные экспортируются в течение дня. Подробную информацию об этом вы найдете ниже в разделе Потоковый экспорт.
Вы можете экспортировать данные в бесплатный экземпляр BigQuery (изолированную среду), однако если объем экспортированных данных превысит ограничение, вам необходимо будет за них заплатить.
Ограничение BigQuery Export для стандартных ресурсов – один миллион событий в день. Подробнее о других ограничениях в BigQuery Export…
Разница между интерфейсом Google Аналитики и BigQuery Export
С помощью экспорта событий в BigQuery вы можете просматривать необработанные данные о событиях и данные на уровне пользователей, за исключением того, что Google Аналитика добавляет в данные стандартных отчетов и исследований. Поэтому данные событий в BigQuery Export могут отличаться от данных, которые вы видите в интерфейсе Google Аналитики.
Подробную информацию об этих различиях и о том, как их сократить, вы найдете в записи Bridging the gap between Google Analytics UI and BigQuery Export (на английском языке).
Потоковый экспорт
Связывая ресурс "Google Аналитика 4" с BigQuery, можно выбрать вариант потокового экспорта.
Потоковый экспорт позволяет в считанные минуты получать данные за текущий день с помощью функции BigQuery Export.
В таком режиме экспорта BigQuery предоставляет более актуальную информацию о пользователях и трафике ресурса.
Для каждого дня создается отдельная таблица:
events_intraday_ГГГГММДД– внутренняя промежуточная таблица, которая содержит записи сеансов для всех типов активности, зарегистрированной в течение дня. Потоковый экспорт – операция с негарантированным результатом, которая может учитывать не все данные, например из-за обработки последних событий или ошибок загрузки. Данные экспортируются регулярно в течение дня. Если информация об одном событии загружается в ходе нескольких операций экспорта, то для него создается несколько записей в таблице. Эта таблица удаляется после того, как все данные загружаются в таблицуevents_ГГГГММДД.
Если вы выберете ежедневный вариант при настройке BigQuery Export, то также ежедневно будет создаваться следующая таблица:
events_ГГГГММДД– полный объем информации о событиях за этот день.
Рекомендуем запрашивать данные из таблицы events_ГГГГММДД, а не из events_intraday_ГГГГММДД, чтобы обращаться к стабильному набору данных за нужный день.
Дополнительную информацию о таблицах events_ГГГГММДД и events_intraday_ГГГГММДД вы найдете в статье Схема BigQuery Export.
Потоковый экспорт в BigQuery не включает следующие данные атрибуции для новых пользователей:
- traffic_source.name (параметр в отчете: "Кампания пользователя");
- traffic_source.source (параметр в отчете: "Источник пользователя");
- traffic_source.medium (параметр в отчете: "Канал пользователя").
Данные атрибуции для существующих пользователей включаются в потоковый экспорт, но для их полной обработки требуется примерно 24 часа, поэтому они могут быть неточными. Рекомендуем использовать вместо них данные атрибуции из полного экспорта информации за день.
За использование потокового экспорта взимается плата: 0,05 долл. США за 1 гигабайт данных (1 ГБ данных соответствует примерно 600 000 событий Google Аналитики, хотя это число будет зависеть от размера событий). Подробнее о ценах за использование BigQuery…
Расписание обновления таблиц
При обновлении таблиц в рамках BigQuery Export используется часовой пояс, выбранный для ресурса Аналитики, из которого экспортируются данные.
Таблица потокового экспорта (events_intraday_ГГГГММДД) обновляется постоянно в пределах суток, например с 00:00:00 до 23:59:59 в часовом поясе ресурса. При смене даты данные о событиях начинают вноситься в новую таблицу.
Таблица ежедневного экспорта (events_ГГГГММДД) создается после того, как в Аналитике соберутся данные обо всех событиях за день. Наша система обновляет данные о событиях в ежедневной таблице в течение 72 часов после даты фиксации этих событий, например когда набор событий поступает позже из Measurement Protocol или Firebase SDK. Так, если таблица относится к дате 20220101, Аналитика будет обновлять в ней данные о событиях с временной меткой 20220101 до даты 20220104.
Если возникнет необходимость повторно обработать данные, например для исправления ошибки, то ежедневная таблица может быть обновлена и по прошествии 72 часов.
Запросы ping без файлов cookie и данные, предоставленные клиентами
Если у вас реализован режим согласия, в экспорт BigQuery будут входить запросы ping без файлов cookie, собранные Аналитикой, а также данные, предоставленные клиентами, например user_id и специальные параметры.
GA4: интеграция Firebase и BigQuery
Если ресурс GA4 и проект Firebase интегрированы друг с другом, их нельзя связать с разными проектами BigQuery.
Сравнение BigQuery Export в Google Аналитике 4 и Universal Analytics
| Google Аналитика 4 | Universal Analytics |
|---|---|
|
Доступно для стандартной версии (бесплатной) и версии 360 (платной). Ограничение для стандартной версии: 1 млн событий в день. Ограничение для версии 360: миллиарды событий в день. |
Доступно для версии 360 (платной). |
|
Стоимость Бесплатный экспорт в тестовую среду BigQuery в пределах ее ограничений. Экспорт данных сверх лимита тестовой среды оплачивается по условиям договора. |
Стоимость Бесплатный экспорт в тестовую среду BigQuery в пределах ее ограничений. Экспорт данных сверх лимита тестовой среды оплачивается по условиям договора. |
|
Настройка Можно включать и исключать определенные потоки данных для каждого ресурса. Таким образом вы можете контролировать объем экспорта и расходов. |
Настройка С каждым ресурсом можно связать не более одного представления. Экспортироваться будут все данные в этом представлении. |
|
Потоковый экспорт 0,05 долл. США за ГБ. Подробнее о ценах на BigQuery… Создание таблицы: events_intraday_YYYMMDD Таблица удаляется ежедневно в следующих случаях:
Для новых пользователей не включаются данные о кампании, источнике и канале. |
Потоковый экспорт 0,05 долл. США за ГБ. Подробнее о ценах на BigQuery… Создание таблицы: ga_realtime_sessions_YYYYMMDD Создание представления BigQuery: ga_realtime_sessions_view_YYYYMMDD |
|
Ежедневный экспорт Создание таблицы: events_YYYYMMDD |
Ежедневный экспорт Создание таблиц ga_sessions_intraday_YYYYMMDD
ga_sessions_YYYYMMDD
|
|
Экспорт, общие настройки Заполнение не используется. Набор данных: один для каждого представления, под названием analytics_<property id>. Если вы реализовали режим согласия, экспорт будет включать:
|
Экспорт, общие настройки Заполнение: при установлении связи заполнение применяется для данных за 13 месяцев или для 10 млрд обращений (смотря какое число меньше). Заполнение для тестовой среды BigQuery может не работать. Набор данных: один для каждого представления, под тем же названием, что и само представление. |
|
Схема экспорта Каждая строка в таблице BigQuery соответствует событию. Данные события уникальны для Google Аналитики 4. Если какие-то поля Google Аналитики 4 полностью совпадают с полями Universal Analytics (например, device.category и device.deviceCategory), между данными событий GA4 и данными обращений UA будет больше различия, чем сходства. |
Схема экспорта Каждая строка в таблице BigQuery соответствует сеансу. Данные сеанса уникальны для Universal Analytics. Если какие-то поля Universal Analytics полностью совпадают с полями Google Аналитики 4 (например, device.deviceCategory и device.category), между данными обращений UA и данными событий GA4 будет больше различия, чем сходства. |
Информация по теме
Ознакомьтесь со следующими статьями в руководстве для разработчиков: