- 1. Создайте проект Google Cloud Console и включите BigQuery
- 2. Подготовьте проект для BigQuery Export
- 3. Свяжите BigQuery с ресурсами Google Аналитики
- Как проверить разрешения на управление учетными данными и доступом (IAM) в Google Cloud Platform (GCP)
- Как отменить связь с BigQuery
- Какие ограничения действуют в BigQuery Export
- Фильтрация данных
- Что нужно знать о ценах и оплате
- Когда начнут появляться данные
- Какие проблемы могут возникнуть при установлении связи
- Какие проблемы могут возникнуть при экспорте
- Информация по теме
1. Создайте проект в Google API Console и включите BigQuery
- Войдите в Google Cloud Console.
- Создайте новый или выберите существующий проект Google Cloud Console.
- Откройте таблицу API. Откройте меню навигации в левом верхнем углу, нажмите API и сервисы > Библиотека.
- Включите BigQuery. В разделе Google Cloud API нажмите BigQuery API. На открывшейся странице нажмите Включить.
- При необходимости прочитайте и примите Условия использования.
2. Подготовьте проект для BigQuery Export
Данные Google Аналитики можно экспортировать в изолированную среду BigQuery бесплатно. Применяются ограничения.
Подробнее о переходе с изолированной среды на платную версию и о тарифах BigQuery…
3. Свяжите BigQuery с ресурсом Google Аналитики
Выполнив первые два шага, включите BigQuery Export в Google Аналитике на вкладке "Администратор".
На BigQuery Export распространяются те же ограничения на сбор данных и ограничения настроек, что и на Google Аналитику. Чтобы повысить эти ограничения, обновите ресурс до версии 360.
- На странице Администратор в разделе Связь с другими продуктами выберите Связь с BigQuery.
Примечание. Эта ссылка ведет на ресурс Google Аналитики, который был открыт последним. Он будет доступен, если вы вошли в аккаунт Google. Вы можете выбрать другой ресурс с помощью селектора.
- В аккаунте Google Аналитики у вас должны быть права редактора или более высокого уровняна уровне ресурса, чтобысвязать ресурс Аналитики с BigQuery.
- Вы также должны использовать электронный адрес, который имеет доступ владельца к проекту BigQuery. Подробные требования к доступу приведены ниже по ссылке Разрешения.
- Нажмите Связать.
- Нажмите Выбрать проект BigQuery. Откроется список проектов, к которым у вас есть доступ. Если вы связали Аналитику и Firebase или планируете это сделать, рекомендуем настроить экспорт в один и тот же облачный проект, чтобы данные было проще объединять.
- Выберите проект из списка и нажмите Подтвердить.
- Выберите местоположение для данных. Если в вашем проекте уже есть набор данных для ресурса Аналитики, сделать это будет нельзя.
- Нажмите Далее.
- Выберите Настроить потоки данных и события, чтобы указать, какие потоки данных нужно включить в экспорт и какие события необходимо исключить из него. Чтобы исключить события, нажмите Добавить и выберите предложенные варианты. Если данные о событиях ещё не собираются в ресурсе или вы хотите выбрать существующие события по названию, нажмите Указать название события.
- Нажмите Готово.
- Если необходимо, выберите Добавить рекламные идентификаторы для потоков мобильных приложений.
- Выберите один или оба варианта экспорта данных: Ежедневно (раз в день) или Потоковая передача (постоянно). Кроме того, для ресурсов Аналитики 360 можно выбрать вариант Ежедневное обновление.
- Нажмите Далее.
- Проверьте настройки и нажмите Отправить.
Разрешения
Права getIamPolicy/setIamPolicy для проекта и права на получение/включение сервисов
Владелец включает полный набор этих разрешений.Для установления связи с BigQuery вам нужны следующие минимальные разрешения:
resourcemanager.projects.get- Чтобы получить проект.
resourcemanager.projects.getIamPolicy- Чтобы получить список разрешений.
resourcemanager.projects.setIamPolicy- Чтобы проверить, есть ли у пользователя разрешение на связывание в этом проекте.
serviceusage.services.enable- Чтобы включить BigQuery API.
serviceusage.services.get- Чтобы убедиться, что BigQuery API включен.
Как проверить разрешения на управление учетными данными и доступом (IAM) в Google Cloud Platform (GCP)
Когда вы связываете Google Аналитику и BigQuery, правила управления учетными данными и доступом (IAM) проекта BigQuery меняются, чтобы предоставить разрешения встроенной идентификации ресурсов этой связи. Подробнее об управлении учетными данными и доступом…
Встроенную идентификацию ресурса можно найти на странице о связи с BigQuery.
Чтобы проверить, предоставлены ли необходимые разрешения, с помощью консоли Google Cloud убедитесь, что идентификация добавлена в проект с ролью Пользователь BigQuery (roles/bigquery.user).
Как обновить связь с BigQuery
Примечание. В старых связях с BigQuery может использоваться устаревший сервисный аккаунт (firebase-measurement@system.gserviceaccount.com) вместо встроенной идентификации ресурса.
Существующие связи с BigQuery, в которых используется сервисный аккаунт, продолжат работать. Их также можно обновить, чтобы перейти на встроенную идентификацию ресурса. Это даст следующие преимущества:
- Доступ к режиму экспорта "Ежедневное обновление". Подробнее о частоте ежедневного экспорта данных BigQuery (Аналитика 360)…
- Автоматическая поддержка функций корпоративной безопасности Google Cloud. Подробнее о доступе к файлам только для пользователей домена и об управлении зонами безопасности VPC…
Чтобы обновить связь, используйте баннер на странице сведений о BigQueryLink.
Как изменить регион
Если вы неправильно указали регион и вам нужно изменить его после того, как связь уже установлена, выполните следующие действия:
- Отмените связь с BigQuery (см. ниже).
- Сделайте резервную копию набора данных в BigQuery (переместите или скопируйте).
- Удалите исходный набор данных. Перед этим запомните или запишите его название, так как оно понадобится вам на следующем шаге.
- Создайте новый набор с прежним названием и выберите местоположение для данных.
- Предоставьте доступ к новому набору данных для аккаунта firebase-measurement@system.gserviceaccount.com и назначьте сервисному аккаунту роль владельца данных BigQuery.
- Добавьте резервную копию в новый набор данных.
- Выполните описанные выше шаги, чтобы снова установить связь с BigQuery.
Изменив местоположение, вы можете получить пробел в данных, поскольку потоковый и ежедневный экспорт не будут выполняться в период между отменой связи и созданием новой.
Вы также можете перенести набор данных в другой регион, используя межрегиональную репликацию наборов данных. При этом вы копируете или переносите набор данных, удалять связь с BigQuery не нужно. Это поможет предотвратить расхождения в данных ресурса Аналитики и BigQuery. Подробнее о репликации данных в другой регион…
Как отменить связь с BigQuery
- На странице Администратор в разделе Связь с другими продуктами выберите Связь с BigQuery.
Примечание. Эта ссылка ведет на ресурс Google Аналитики, который был открыт последним. Он будет доступен, если вы вошли в аккаунт Google. Вы можете выбрать другой ресурс с помощью селектора.В аккаунте Google Аналитики у вас должны быть права редактора или более высокого уровняна уровне ресурса, чтобыотменить связь с BigQuery.
- Нажмите на нужную строку.
- В правом верхнем углу нажмите на значок "Ещё"
> Удалить.
> Удалить.Какие ограничения действуют в BigQuery Export
Ограничение BigQuery Export для стандартных ресурсов Google Аналитики — один миллион событий в день (в пакете). Количество событий для потокового экспорта не ограничено. Если ваш ресурс постоянно превышает это значение, ежедневный экспорт BigQuery будет приостановлен, а экспорт за предыдущие дни не будет обрабатываться повторно.
Вариант "Ежедневное обновление" охватывает все поля и столбцы данных, которые входят в ежедневный экспорт, включая данные отслеживания атрибуции пользователей и показа объявлений. Подробнее о варианте экспорта "Ежедневное обновление"…
Редакторы и администраторы ресурсов будут получать уведомления по электронной почте о каждом превышении дневных ограничений. В них будет указано, когда экспорт будет приостановлен, если вы не выполните необходимые действия. Если объем экспорта значительно превысит ограничение (один миллион событий в день), то экспорт может быть приостановлен незамедлительно. Если вы получили уведомление, воспользуйтесь настройками фильтрации данных (экспортом потоков данных и исключением событий), чтобы уменьшить объем ежедневно экспортируемых событий и не допустить остановки экспорта.
Подробнее об увеличении лимитов при сборе данных для ресурсов Аналитики 360…
Фильтрация данных
Чтобы откорректировать объем экспорта и проверить правильность выбранных для экспорта в BigQuery событий, можно исключить отдельные потоки данных и события из экспорта.
Как исключать потоки данных и события во время связывания
Выбирая потоки данных для экспорта во время связывания, можно также исключить определенные события из экспорта. Инструкции приведены в шаге 9 процесса связывания.
Как добавлять и удалять потоки данных или события после настройки связи
Если вы уже настроили связь с BigQuery, потоки данных и события можно добавлять в список исключений и удалять из него.
- На странице Администратор в разделе Связь с другими продуктами выберите Связь с BigQuery.
Примечание. Эта ссылка ведет на ресурс Google Аналитики, который был открыт последним. Он будет доступен, если вы вошли в аккаунт Google. Вы можете выбрать другой ресурс с помощью селектора.
- В аккаунте Google Аналитики у вас должны быть права редактора или более высокого уровняна уровне ресурса, чтобыдобавить или удалить потоки данных или события.
- Вам также потребуется использовать адрес электронной почты с ролью владельца к проекту BigQuery.
- Нажмите на строку нужного проекта.
- В разделе Потоки данных и события выберите Посмотреть потоки данных и события.
- В разделе Потоки данных для экспорта можно выбрать дополнительные потоки данных для экспорта или удалить потоки данных из списка.
- Чтобы выбрать нужные события, в списке Исключенные события нажмите Добавить. Если данные о событиях ещё не собираются в ресурсе или вы хотите выбрать существующие события по названию, нажмите Указать название события.
- Чтобы удалить событие из списка, нажмите на значок минуса в конце нужной строки.
Что нужно знать о ценах и оплате
Расходы в BigQuery складываются из двух компонентов: хранение данных и обработка запросов. Рекомендуем ознакомиться с тарифами и узнать, в чем заключается разница между интерактивными и пакетными запросами.
У вас должен быть настроен способ оплаты в Google Cloud. Если экспорт будет прерван из-за того, что указан недействительный способ оплаты, получить данные за пропущенный период не удастся.
Данные Google Аналитики можно экспортировать в изолированную среду BigQuery бесплатно. Применяются ограничения.
Когда начнут появляться данные
Данные начнут поступать в проект BigQuery в течение 24 часов после установления связи между аккаунтами. Если вы включите ежедневный экспорт, каждый день будет экспортироваться один файл с данными за минувшие сутки (как правило, днем по времени часового пояса, выбранного для отчетов).
Какие проблемы могут возникнуть при установлении связи
При установлении связи с BigQuery могут возникнуть две серьезные проблемы:
- Ваша политика организации запрещает экспорт в США. Если в качестве местоположения для данных вы выбрали США, укажите другую страну.
- Ваша политика организации запрещает использовать сервисные аккаунты из того домена, откуда вы хотите экспортировать данные. В таком случае необходимо изменить политику организации.
Какие проблемы могут возникнуть при экспорте
| Проблема | Причина | Результат |
|---|---|---|
| Отсутствует сервисный аккаунт | В проект Cloud не добавлен сервисный аккаунт с ролью "Активный пользователь". | Аналитика не может создавать таблицы. Экспорт невозможен. |
| После установки удален сервисный аккаунт. | Пользователь аккаунта Cloud удалил сервисный аккаунт, добавленный Google Аналитикой. | Аналитика больше не может создавать таблицы. Все задания экспорта приостановлены. |
| Политика организации конфликтует с BigQuery Export. | Пользователь аккаунта Cloud создал политику организации, которая запрещает экспортировать данные из Аналитики. Политика может запрещать создавать таблицы BigQuery и добавлять в них данные или работать с указанным регионом хранения данных. | Таблица не создается или удаляется примерно через 30 минут. |
| Пользователь изменил платежные настройки. | Пользователь аккаунта Cloud подключил платную версию BigQuery вместо бесплатной. Обычно это не вызывает проблем, но в некоторых случаях возможны сбои, – например, если проект уже превышает 10 ГБ (ограничение для тестовой среды). Это приводит к ошибкам экспорта. | Таблицы не заполняются. |
| Превышена квота для проекта Cloud. | Для большинства проектов ресурсы в Google Cloud ограничены. Если вы превысили квоты BigQuery на хранение данных, данные перестанут записываться. Для бесплатных проектов установлено ограничение в 10 ГБ. | Таблицы не заполняются. |
| Пользователь изменил часовой пояс ресурса. | При экспорте создается сводка по ресурсу за 24 часа с учетом часового пояса. Если указать другой часовой пояс, период экспорта в этот день может уменьшиться или увеличиться. Например, если заменить североамериканское восточное время на тихоокеанское, период экспорта будет на 3 часа короче. В любом случае, количество событий также будет отличаться от обычного. | Объем данных за один день будет отличаться от обычного. Это может вызвать вопросы со стороны пользователей. |
Поддержка
Если у вас возникли проблемы с BigQuery, например с оплатой, свяжитесь со службой поддержки Google Cloud.
Информация по теме
BigQuery Export
Подробная информация об экспорте и доступе к тестовому набору данных представлена в документации по BigQuery Export.