[GA4] BigQuery Export

Exporting Data from Google Analytics 4 Properties to BigQuery

Вы можете включить на YouTube субтитры на своем языке. Нажмите на значок настроек Изображение значка настроек YouTube в нижней части видеопроигрывателя, выберите "Субтитры", а затем – нужный язык.


BigQuery – это облачное хранилище данных, позволяющее очень быстро обрабатывать запросы к большим наборам данных.

Вы можете экспортировать все необработанные события из ресурсов Google Аналитики 4 (включая дочерние и агрегированные ресурсы) в BigQuery, а затем выполнять запросы к ним с помощью синтаксиса, схожего с SQL. Данные можно экспортировать из BigQuery в стороннее хранилище или, наоборот, импортировать сведения из других источников, а затем объединять их с информацией из Google Аналитики.

Вы остаетесь владельцем данных, которые загружаете в BigQuery, и можете настраивать разрешения для проектов и наборов данных с помощью списков контроля доступа.

Примечание. Повторно экспортировать данные из Аналитики в BigQuery невозможно.

Полный экспорт данных происходит один раз в день. Кроме того, данные экспортируются в течение дня. Подробную информацию об этом вы найдете ниже в разделе Потоковая передача.

Вы можете экспортировать данные в бесплатный экземпляр BigQuery (изолированную среду), однако если объем экспортированных данных превысит ограничение, вам необходимо будет за них заплатить.

Ограничение BigQuery Export для стандартных ресурсов – один миллион событий в день. Подробнее о других ограничениях в BigQuery Export

Типы экспорта

В Google Аналитике доступны перечисленные ниже варианты экспорта данных в BigQuery. Они отличаются доступностью данных за текущий день, и их следует выбирать исходя из ваших потребностей и бюджета.

Типы экспорта Случаи использования Сведения об экспорте Ограничения Важные примечания

Ежедневный экспорт

(стандартные, 360)

Если вам нужен полный набор данных за предыдущий день, но они не требуются срочно или вы не являетесь клиентом 360.

Раз в день экспортируются все необработанные полные данные о событиях за предыдущий день.

Точное время не гарантируется.

Обычно экспорт осуществляется в середине дня по часовому поясу ресурса, но может быть отложен на более позднее время или на следующий день.

Последний наблюдаемый клик, без моделирования.

Стандартные ресурсы: до 1 млн событий в день с возможностью фильтрации для соблюдения лимита.

Ресурсы 360: до 20 млрд событий в день.

Некоторые данные, например об атрибуции пользователей, могут поступать с задержкой до 24 часов. Для данных об атрибуции пользователей мы рекомендуем использовать ежедневный экспорт вместо потоковой передачи.

Ежедневное обновление

(360)

Если вам нужны более актуальные и полные данные в течение дня.

Обычно данные поступают до 5:00.

Пакетные обновления происходят в течение дня, как правило, каждые 60 минут.

Та же схема, что и при ежедневном экспорте.

Время начала экспорта зависит от часового пояса ресурса.

Последний наблюдаемый клик, без моделирования.

Гораздо быстрее, чем ежедневный экспорт.

Для некоторых очень больших ресурсов время экспорта не гарантируется. Доступно только для обычных и больших ресурсов 360.

Потоковая передача

(стандартные, 360)

Если вам нужны данные практически в реальном времени (в пределах нескольких минут).

Экспорт данных за текущий день в реальном времени.

Негарантированное обслуживание, данные могут быть неполными.

Без ограничения объема. Данные о новых пользователях и источниках трафика для новых сеансов исключаются из экспорта.

Примечание. При каждом экспорте с помощью BigQuery начисляется плата за хранение и обработку данных. За использование потокового экспорта взимается дополнительная плата: 0,05 долл. США за 1 гигабайт данных (1 ГБ данных соответствует примерно 600 000 событий Google Аналитики, хотя это число будет зависеть от размера событий). Подробнее о ценах за использование BigQuery

Разница между интерфейсом Google Аналитики и BigQuery Export

С помощью экспорта событий в BigQuery вы можете просматривать необработанные данные о событиях и данные на уровне пользователей. При этом то, что Google Аналитика добавляет в данные стандартных отчетов и исследований, в экспорт не попадает. В связи с этим данные, полученные при экспорте событий в BigQuery, могут отличаться от тех, что вы видите в интерфейсе Google Аналитики.

Подробную информацию об этих различиях и о том, как их сократить, вы найдете в статье О расхождениях между интерфейсом Google Аналитики и BigQuery Export.

Потоковый экспорт

Когда вы связываете ресурс Google Аналитики 4 с BigQuery, то можете выбрать потоковый экспорт.

Он позволяет в считанные минуты получать данные за текущий день с помощью BigQuery Export.

В таком режиме экспорта BigQuery предоставляет более актуальную информацию о пользователях и трафике ресурса.

Для каждого дня создается отдельная таблица:

  • events_intraday_ГГГГММДД – внутренняя промежуточная таблица, которая содержит записи сеансов для всех типов активности, зарегистрированной в течение дня. Потоковый экспорт – операция с негарантированным результатом и может включать не все данные, например из-за обработки последних событий или ошибок загрузки. Данные экспортируются регулярно в течение дня. Если информация об одном событии загружается в ходе нескольких операций экспорта, то для него создается несколько записей в таблице. Эта таблица удаляется после того, как все данные загружаются в таблицу events_ГГГГММДД.

Если вы выберете ежедневный вариант при настройке BigQuery Export, то также ежедневно будет создаваться следующая таблица:

  • events_ГГГГММДД – полный объем информации о событиях за этот день.

Рекомендуем запрашивать данные из таблицы events_ГГГГММДД, а не events_intraday_ГГГГММДД, чтобы обращаться к стабильному набору данных за нужный день.

Дополнительную информацию о таблицах events_ГГГГММДД и events_intraday_ГГГГММДД вы найдете в статье Схема BigQuery Export.

Потоковый экспорт в BigQuery не включает следующие данные атрибуции для новых пользователей:

  • traffic_source.name (параметр в отчете: "Кампания, связанная с этим пользователем");
  • traffic_source.source (параметр в отчете: "Источник, связанный с этим пользователем");
  • traffic_source.medium (параметр в отчете: "Канал, связанный с этим пользователем").

Данные атрибуции для существующих пользователей включаются в потоковый экспорт, но для их полной обработки требуется примерно 24 часа, поэтому они могут быть неточными. Рекомендуем использовать вместо них данные атрибуции из полного экспорта информации за день.

За использование потокового экспорта взимается дополнительная плата: 0,05 долл. США за 1 ГБ данных (1 ГБ данных соответствует примерно 600 000 событий Google Аналитики, хотя это число будет зависеть от размера событий). Подробнее о ценах за использование BigQuery

Ежедневное обновление

Теперь, кроме вариантов "Ежедневно" и "Потоковый экспорт" можно выбрать "Ежедневное обновление". Этот вариант пока доступен только для ресурсов Аналитики 360. Каждый из трех вариантов можно включить независимо от других.

Чтобы настроить ежедневное обновление, необходимо указать платежные данные в Google Cloud Platform. Подробнее о частоте ежедневного экспорта данных BigQuery (GA360)

Расписание обновления таблиц

При обновлении таблиц в рамках BigQuery Export используется часовой пояс, выбранный для ресурса Аналитики, из которого экспортируются данные.

Таблица потоковой передачи (events_intraday_ГГГГММДД) обновляется постоянно в пределах суток, например с 00:00:00 до 23:59:59 в часовом поясе ресурса. При смене даты данные о событиях начинают вноситься в новую таблицу.

Таблица ежедневного экспорта (events_ГГГГММДД) создается после того, как в Аналитике будут собраны данные обо всех событиях за день. Наша система обновляет данные о событиях в ежедневной таблице в течение 72 часов после даты фиксации этих событий, например когда набор событий поступает позже из Measurement Protocol или Firebase SDK. Так, если таблица относится к дате 20220101, Аналитика будет обновлять в ней данные о событиях с временной меткой 20220101 до даты 20220104.

Если возникнет необходимость повторно обработать данные, например для исправления ошибки, то ежедневная таблица может быть обновлена и по прошествии 72 часов.

Запросы ping без файлов cookie и данные, предоставленные клиентами

Если у вас реализован режим согласия, в BigQuery Export будут входить запросы ping без файлов cookie, собранные Аналитикой, а также данные, предоставленные клиентами, например user_id и специальные параметры.

Заполнение недоступных параметров источника трафика

Ниже перечислены инструменты, с помощью которых можно найти параметры источника трафика, связанные с определенным GCLID. Обратите внимание, что идентификаторы wBRAID и gBRAID не включены в BigQuery Export.

  • Google Ads API;
  • скрипты Google Рекламы;
  • сервис BigQuery Data Transfer для Google Рекламы.

Чтобы найти GCLID для записи со статусом "Недоступно" в столбце traffic_source, отправьте запрос к полю GCLID в столбце collected_traffic_source. Подробную информацию о том, как найти в Google Рекламу информацию о кампании для определенного GCLID вы найдете в соглашении об уровне обслуживания BigQuery Export.

GA4: интеграция Firebase и BigQuery

Если ресурс GA4 и проект Firebase интегрированы друг с другом, их нельзя связать с разными проектами BigQuery.

Сравнение BigQuery Export в Google Аналитике 4 и Universal Analytics

Google Аналитика 4 Universal Analytics

Доступно для стандартной версии (бесплатной) и версии 360 (платной).

Ограничение для стандартной версии: 1 млн событий в день.

Ограничение для версии 360: миллиарды событий в день.

Доступно для версии 360 (платной).

Стоимость

Бесплатный экспорт в изолированную среду BigQuery в пределах ее ограничений.

Экспорт данных сверх лимита оплачивается по условиям договора.

Стоимость

Бесплатный экспорт в изолированную среду BigQuery в пределах ее ограничений.

Экспорт данных сверх лимита оплачивается по условиям договора.

Настройка

Можно включать определенные потоки данных и исключать определенные события для каждого ресурса.

Таким образом вы можете контролировать объем экспортируемых данных и расходов.

Настройка

С каждым ресурсом можно связать не более одного представления.

Экспортироваться будут все данные в этом представлении.

Потоковый экспорт

0,05 долл. США за ГБ. Подробнее о ценах на BigQuery

Создание таблицы:

events_intraday_ГГГГММДД

Таблица удаляется ежедневно в следующих случаях:

  • если помимо потоковой передачи вы используете ежедневный экспорт;
  • если создание дневной таблицы завершено.

Для новых пользователей не включаются данные о кампании, источнике и канале.

Потоковый экспорт

0,05 долл. США за ГБ. Подробнее о ценах на BigQuery

Создание таблицы:

ga_realtime_sessions_ГГГГММДД

Создание представления BigQuery:

ga_realtime_sessions_view_ГГГГММДД

Ежедневный экспорт

Создание таблицы:

events_ГГГГММДД

Ежедневный экспорт

Создание таблиц:

ga_sessions_intraday_ГГГГММДД

  • Обновляется как минимум 3 раза в день.
  • При каждом обновлении новые данные записываются поверх старых.
  • Данные удаляются, когда импорт за следующий день полностью заканчивается.

ga_sessions_ГГГГММДД

  • Данные за день импортируются полностью.

Ежедневное обновление

Доступно для ресурсов 360 категорий "Обычный" и "Крупный".

Подробнее об обработке расхождений между ежедневным экспортом и ежедневными обновлениям

Неприменимо

Экспорт, общие настройки

Заполнение не используется.

Набор данных: один для каждого связанного ресурса, под названием analytics_<property id>.

Если вы реализовали режим согласия, экспорт будет включать:

  • запросы ping без файлов cookie;
  • данные, предоставленные клиентом (user_id, специальные параметры).

Экспорт, общие настройки

Заполнение: при установлении связи заполнение применяется для данных за 13 месяцев или для 10 млрд обращений (смотря какое число меньше).

Заполнение для изолированной среды BigQuery может не работать.

Набор данных: один для каждого представления, под тем же названием, что и само представление.

Схема экспорта

GA4 экспортирует только информацию об источнике трафика, через который был впервые привлечен пользователь.

Экспорт данных UA в BigQuery не поддерживается.

Каждая строка в таблице BigQuery соответствует событию.

Данные о событии уникальны для Google Аналитики 4.

Если какие-то поля Google Аналитики 4 полностью совпадают с полями Universal Analytics (например, device.category и device.deviceCategory), между данными о событиях GA4 и данными обращений UA будет больше различия, чем сходства.

Схема экспорта

Экспортируются данные атрибуции по разным точкам взаимодействия на уровне сеанса.

Каждая строка в таблице BigQuery соответствует сеансу.

Данные обращений уникальны для Universal Analytics.

Если какие-то поля Universal Analytics полностью совпадают с полями Google Аналитики 4 (например, device.deviceCategory и device.category), между данными обращений UA и данными о событиях GA4 будет больше различия, чем сходства.

Информация по теме

Ознакомьтесь со следующими статьями в руководстве для разработчиков:

Эта информация оказалась полезной?

Как можно улучшить эту статью?
Поиск
Очистить поле поиска
Закрыть поиск
Главное меню
8687193879370040673
true
Поиск по Справочному центру
true
true
true
true
true
69256
false
false