- 1. Создайте проект Google Cloud Console и включите BigQuery
- 2. Подготовьте проект для BigQuery Export
- 3. Свяжите BigQuery с ресурсом Google Аналитики 4
- Как отменить связь с BigQuery
- Какие ограничения действуют в BigQuery Export
- Фильтрация данных
- Что нужно знать о ценах и оплате
- Когда начнут появляться данные
- Какие проблемы могут возникнуть при установлении связи
- Какие проблемы могут возникнуть при экспорте
- Информация по теме
1. Создайте проект в Google API Console и включите BigQuery
- Войдите в Google Cloud Console.
- Создайте новый или выберите существующий проект Google Cloud Console.
- Откройте таблицу API.
Откройте меню навигации в левом верхнем углу и выберите APIs & Services (API и сервисы), а затем Library (Библиотека). - Включите BigQuery.
В разделе Google Cloud API нажмите BigQuery API. На открывшейся странице нажмите Включить. - При необходимости прочитайте и примите Условия использования.
2. Подготовьте проект для BigQuery Export
Данные Google Аналитики можно экспортировать в изолированную среду BigQuery бесплатно. Применяются ограничения.
Подробнее о переходе с изолированной среды на платную версию и о тарифах BigQuery…
3. Свяжите BigQuery с ресурсом Google Аналитики 4
Выполнив первые два шага, включите BigQuery Export в Google Аналитике на странице "Администратор".
На BigQuery Export распространяются те же ограничения на сбор данных и ограничения настроек, что и на Google Аналитику. Чтобы повысить эти ограничения, обновите ресурс до версии 360.
При входе в аккаунт Аналитики используйте адрес электронной почты с правами владельца (подробная информация о требованиях к доступу приведена в разделе Разрешения ниже) для проекта BigQuery и ролью редактора для ресурса Аналитики, содержащего поток данных, с которым вы хотите установить связь.
- Откройте страницу Администратор и в разделе Связь с другими продуктами выберите Связь с BigQuery.
- Нажмите Связать.
- Нажмите Выбрать проект BigQuery. Откроется список проектов, к которым у вас есть доступ.
Если вы связали Аналитику и Firebase или планируете это сделать, рекомендуем настроить экспорт в один и тот же облачный проект, чтобы данные было проще объединять. - Выберите проект из списка и нажмите Подтвердить.
- Выберите местоположение для данных. Если в вашем проекте уже есть набор данных для ресурса Аналитики, сделать это будет нельзя.
- Нажмите Далее.
- Выберите Настроить потоки данных и события, чтобы указать, какие потоки данных нужно включить в экспорт и какие события необходимо исключить из него. Чтобы исключить события, нажмите Добавить и выберите предложенные варианты. Если данные о событиях ещё не собираются в ресурсе или вы хотите выбрать существующие события по названию, нажмите Указать название события.
- Нажмите Готово.
- Если необходимо, выберите Добавить рекламные идентификаторы для потоков мобильных приложений.
- Выберите один или оба варианта экспорта данных: Ежедневно (раз в день) или Потоковая передача (постоянно).
- Нажмите Далее.
- Проверьте настройки и нажмите Отправить.
Разрешения
Права getIamPolicy/setIamPolicy для проекта и права на получение/включение сервисов
Владелец включает полный набор этих разрешений.Для установления связи с BigQuery вам нужны следующие минимальные разрешения:
resourcemanager.projects.get- Чтобы получить проект.
resourcemanager.projects.getIamPolicy- Чтобы получить список разрешений.
resourcemanager.projects.setIamPolicy- Чтобы проверить, есть ли у пользователя разрешение на связывание в этом проекте.
serviceusage.services.enable- Чтобы включить BigQuery API.
serviceusage.services.get- Чтобы убедиться, что BigQuery API включен.
Как подтвердить сервисный аккаунт
При связывании Аналитики и BigQuery создается следующий сервисный аккаунт:
firebase-measurement@system.gserviceaccount.com
Убедитесь, что этот аккаунт добавлен в проект с правами Пользователь BigQuery (roles/bigquery.user).
Если ранее вы настроили BigQuery Export, чтобы назначить своему сервисному аккаунту роль "Редактор" для проекта Google Cloud, можете изменить ее на "Пользователь BigQuery". Чтобы изменить роль сервисного аккаунта, необходимо сначала отменить связь Аналитики и BigQuery и удалить сервисный аккаунт с правами редактора. Затем нужно снова связать Аналитику и BigQuery, следуя инструкциям выше, чтобы создать новый сервисный аккаунт с нужными разрешениями для проекта.
После установления связи убедитесь, что сервисному аккаунту назначена роль владельца (bigquery.dataOwner) для существующего целевого набора данных. Для этого ознакомьтесь с правилами доступа к набору данных.
Как изменить регион
Если вы неправильно указали регион и вам нужно изменить его после того, как связь уже установлена, выполните следующие действия:
- Отмените связь с BigQuery (см. ниже).
- Сделайте резервную копию набора данных в BigQuery (переместите или скопируйте).
- Удалите исходный набор данных. Перед этим запомните или запишите его название, так как оно понадобится вам на следующем шаге.
- Создайте новый набор с прежним названием и выберите местоположение для данных.
- Предоставьте доступ к новому набору данных для аккаунта firebase-measurement@system.gserviceaccount.com и назначьте сервисному аккаунту роль владельца данных BigQuery.
- Добавьте резервную копию в новый набор данных.
- Выполните описанные выше шаги, чтобы снова установить связь с BigQuery.
Изменив местоположение, вы получите пробел в данных, поскольку потоковый и ежедневный экспорт не будут выполняться в период между отменой связи и созданием новой.
Как отменить связь с BigQuery
- Откройте страницу Администратор и в разделе Связь с другими продуктами выберите Связь с BigQuery.
- Нажмите на нужную строку.
- В правом верхнем углу нажмите на значок "Ещё"
> Удалить.
> Удалить.Какие ограничения действуют в BigQuery Export
Ограничение BigQuery Export для стандартных ресурсов GA4 – один миллион событий в день (в пакете). Количество событий для потокового экспорта не ограничено. Если ваш ресурс постоянно превышает это значение, ежедневный экспорт BigQuery будет приостановлен, а экспорт за предыдущие дни не будет обрабатываться повторно.
Редакторы и администраторы ресурсов будут получать уведомления по электронной почте о каждом превышении дневных ограничений. В них будет указано, когда экспорт будет приостановлен, если вы не выполните необходимые действия. Если объем экспорта значительно превысит ограничение (один миллион событий в день), то экспорт может быть приостановлен незамедлительно. Если вы получили уведомление, воспользуйтесь настройками фильтрации данных (экспортом потоков данных и исключением событий), чтобы уменьшить объем ежедневно экспортируемых событий и не допустить остановки экспорта.
Подробнее об увеличении лимитов при сборе данных для ресурсов Аналитики 360…
Фильтрация данных
Чтобы откорректировать объем экспорта и проверить правильность выбранных для экспорта в BigQuery событий, можно исключить отдельные потоки данных и события из экспорта.
Как исключать потоки данных и события во время связывания
Выбирая потоки данных для экспорта во время связывания, можно также исключить определенные события из экспорта. Инструкции приведены в шаге 9 процесса связывания.
Как добавлять и удалять потоки данных или события после настройки связи
Если вы уже настроили связь с BigQuery, потоки данных и события можно добавлять в список исключений и удалять из него.
- Откройте страницу Администратор и в разделе Связь с другими продуктами выберите Связь с BigQuery.
- Нажмите на строку нужного проекта.
- В разделе Потоки данных и события выберите Посмотреть потоки данных и события.
- В разделе Потоки данных для экспорта можно выбрать дополнительные потоки данных для экспорта или удалить потоки данных из списка.
- Чтобы выбрать нужные события, в списке Исключенные события нажмите Добавить. Если данные о событиях ещё не собираются в ресурсе или вы хотите выбрать существующие события по названию, нажмите Указать название события.
- Чтобы удалить событие из списка, нажмите на значок минуса в конце нужной строки.
Что нужно знать о ценах и оплате
Расходы в BigQuery складываются из двух компонентов: хранение данных и обработка запросов. Рекомендуем ознакомиться с тарифами и узнать, в чем заключается разница между интерактивными и пакетными запросами.
У вас должен быть настроен способ оплаты в Google Cloud. Если экспорт будет прерван из-за того, что указан недействительный способ оплаты, получить данные за пропущенный период не удастся.
Данные Google Аналитики можно экспортировать в изолированную среду BigQuery бесплатно. Применяются ограничения.
Когда начнут появляться данные
Данные начнут поступать в проект BigQuery в течение 24 часов после установления связи между аккаунтами. Если вы включите ежедневный экспорт, каждый день будет экспортироваться один файл с данными за минувшие сутки (как правило, днем по времени часового пояса, выбранного для отчетов).
Какие проблемы могут возникнуть при установлении связи
При установлении связи с BigQuery могут возникнуть две серьезные проблемы:
- Ваша политика организации запрещает экспорт в США. Если в качестве местоположения для данных вы выбрали США, укажите другую страну.
- Ваша политика организации запрещает использовать сервисные аккаунты из того домена, откуда вы хотите экспортировать данные. В таком случае необходимо изменить политику организации.
Какие проблемы могут возникнуть при экспорте
| Проблема | Причина | Результат |
|---|---|---|
| Отсутствует сервисный аккаунт. | В проект Cloud не добавлен сервисный аккаунт с правами пользователя. | Аналитика не может создавать таблицы. Экспорт невозможен. |
| После установки удален сервисный аккаунт. | Пользователь аккаунта Cloud удалил сервисный аккаунт, добавленный Google Аналитикой. | Аналитика больше не может создавать таблицы. Все задания экспорта приостановлены. |
| Политика организации конфликтует с BigQuery Export. | Пользователь аккаунта Cloud создал политику организации, которая запрещает экспортировать данные из Аналитики. Политика может запрещать создавать таблицы BigQuery и добавлять в них данные или работать с указанным регионом хранения данных. | Таблица не создается или удаляется примерно через 30 минут. |
| Пользователь изменил платежные настройки. | Пользователь аккаунта Cloud подключил платную версию BigQuery вместо бесплатной. Обычно это не вызывает проблем, но в некоторых случаях возможны сбои, – например, если проект уже превышает 10 ГБ (ограничение для тестовой среды). Это приводит к ошибкам экспорта. | Таблицы не заполняются. |
| Превышена квота для проекта Cloud. | Для большинства проектов ресурсы в Google Cloud ограничены. Если вы превысили квоты BigQuery на хранение данных, данные перестанут записываться. Для бесплатных проектов установлено ограничение в 10 ГБ. | Таблицы не заполняются. |
| Пользователь изменил часовой пояс ресурса. | При экспорте создается сводка по ресурсу за 24 часа с учетом часового пояса. Если изменить часовой пояс, период экспорта в этот день может уменьшиться или увеличиться. Например, если изменить пояс с североамериканского восточного времени на тихоокеанское, период экспорта будет на 3 часа короче. В любом случае, количество событий также будет отличаться от обычного. | Объем данных за один день будет отличаться от обычного. Это может вызвать вопросы со стороны пользователей. |
Поддержка
Если у вас возникли проблемы с BigQuery, например с оплатой, свяжитесь со службой поддержки Google Cloud.
Информация по теме
BigQuery Export
Подробная информация об экспорте и доступе к тестовому набору данных представлена в документации по BigQuery Export.