Настройка BigQuery Export

Эта функция доступна только в сервисе "Google Аналитика 360", входящей в Google Платформу для маркетинга.
Подробнее о Google Платформе для маркетинга
Содержание

1. Создайте проект в консоли API Google и включите BigQuery

 

  1. Войдите в консоль API Google.
  2. Создайте проект.

    Вы можете создать новый проект или выбрать уже существующий.
  3. Откройте таблицу API.

    Откройте меню навигации в левом верхнем углу, нажмите API и сервисы > Библиотека.
  4. Включите BigQuery.

    В разделе Google Cloud API нажмите BigQuery API. На открывшейся странице нажмите Включить.
  5. При необходимости прочтите и примите Условия использования.

2. Подготовьте проект для BigQuery Export

 

  1. Убедитесь, что в проекте доступны платежные функции.

    Если платежные функции недоступны для проекта, откройте меню навигации в левом верхнем углу и нажмите Оплата.
  2. При необходимости создайте платежный аккаунт.

    Он требуется для осуществления оплаты. Один платежный аккаунт может использоваться несколькими проектами. Чтобы создать платежный аккаунт, следуйте инструкциям в API Console.
  3. Примите бесплатную пробную версию, если она доступна.

    При этом вам все равно нужно будет указать платежную информацию, чтобы сервис продолжал получать экспортированные данные после того, как срок действия пробной версии закончится.
  4. Убедитесь, что оплата возможна.

    Откройте проект на странице https://bigquery.cloud.google.com и попробуйте создать набор данных. Нажмите на синюю стрелку рядом с названием проекта, а затем Create data set (Создать набор данных). Если у вас получится создать набор данных, значит, оплата настроена правильно. В случае ошибки убедитесь, что платежные функции включены.
  5. Добавьте сервисный аккаунт в проект.

    Добавьте аккаунт analytics-processing-dev@system.gserviceaccount.com в качестве участника проекта и предоставьте ему разрешение Редактор на уровне проекта (не путать с Редактором данных BigQuery). Это необходимо для экспорта данных из Google Аналитики в BigQuery.

2.1. Подготовьте свой набор данных BigQuery для переноса на европейские серверы (необязательно)

 

На этом этапе подумайте о географической привязке своего набора данных к ЕС.

По умолчанию данные географически привязаны к США. Их перенос в ЕС после первоначального экспорта может вызывать проблемы с запросами в регионах BigQuery. Для решения этой проблемы может потребоваться перенос данных, связанных с расходами. Мы рекомендуем создать набор данных с местоположением в ЕС именно на этом этапе, чтобы избежать возможных негативных последствий.

Если вы не хотите размещать свои данные в ЕС, переходите к шагу 3.

  1. Откройте проект на странице https://bigquery.cloud.google.com и нажмите Новый набор данных.
  2. Укажите нужные данные на открывшейся панели.
     
    Убедитесь, что установили значение Никогда для срока хранения, если не хотите, чтобы BigQuery автоматически удалял ваши данные.
    • Укажите идентификатор набора данных. Он должен совпадать с идентификатором представления Аналитики, который указан в универсальном окне выбора в Google Аналитике.
    • В поле Место обработки выберите ЕС.
    • Укажите нужный срок хранения данных.
      Если вам в будущем может понадобиться статистика по прошлым периодам, выберите Никогда. Если срок хранения данных истечет, они станут недоступны.
    • Нажмите ОК.

3. Установите связь BigQuery и сервиса "Google Analytics 360"

 

Мы рекомендуем связывать с одним проектом BigQuery не более 300 представлений Google Аналитики. В противном случае возможны проблемы с экспортом данных, собираемых в течение дня.

Выполнив первые два шага, включите BigQuery Export в Google Аналитике на вкладке "Администратор". Для этого сделайте следующее:

  1. Войдите в аккаунт Google Аналитики. Используйте адрес электронной почты с уровнем доступа Владелец к проекту BigQuery и разрешением на изменение ресурса Google Аналитики, к которому относится представление.
  2. Откройте раздел Администратор и перейдите к ресурсу Google Аналитики 360, содержащему нужное представление.
  3. В столбце РЕСУРС выберите Все продукты, затем нажмите на кнопку Установить связь с BigQuery.
  4. Введите номер проекта или идентификатор BigQuery. Подробнее о том, как найти номер проекта или идентификатор...
  5. Выберите нужное представление.
  6. Укажите адрес электронной почты, на который вы хотите получать ежедневные уведомления о результатах (необязательно).
  7. Необязательно: выберите предпочтительный вариант экспорта. Обратите внимание, что при непрерывном экспорте используется потоковая передача через облачную платформу. За эту услугу взимается дополнительная плата в размере 0,05 долл. США за каждый отправленный гигабайт данных.
  8. Проверьте текущие настройки оплаты и убедитесь, что применили все подходящие кредиты или купоны для проекта.
  9. Нажмите Сохранить.
  10. Чтобы прекратить экспорт, вернитесь на эту страницу и нажмите Изменить связь в разделе BigQuery.

Цены и оплата

Расходы в BigQuery складываются из двух компонентов: хранение данных и обработка запросов. Рекомендуем ознакомиться с тарифами и узнать, в чем заключается разница между интерактивными и пакетными запросами.

У вас должен быть настроен способ оплаты в Google Cloud. Если экспорт будет прерван из-за того, что указан недействительный способ оплаты, получить данные не удастся.

Когда начнут появляться данные

Данные начнут поступать в проект BigQuery в течение 24 часов после создания связи. Ежедневно будет экспортироваться 1 файл с данными за минувшие сутки (обычно в утренние часы часового пояса, выбранного для отчетности) и 3 файла с данными за текущие сутки. В течение месяца по завершении интеграции выполняется экспорт сохраненных сведений о 10 млрд обращений или данных за 13 месяцев (выбирается меньший из этих наборов данных).

Заполнение данными

Когда вы впервые связываете представление с BigQuery, Google Аналитика экспортирует статистику за 13 месяцев или 10 млрд обращений (в зависимости от того, что меньше) в BigQuery. Этот экспорт накопленных данных производится только один раз для обращения. Если впоследствии вы отмените связь и установите ее с другим проектом BigQuery, Google Аналитика не будет снова экспортировать данные для этого представления.

Как избежать ошибок при экспорте

Невыполнение любого из перечисленных ниже требований может привести к временному отключению вашего аккаунта и вызвать сбой при ежедневном экспорте данных из Google Аналитики в BigQuery. Обратите внимание, что в этом случае мы не сможем повторно экспортировать утерянные данные.

  • Убедитесь, что аккаунт сервиса имеет необходимые разрешения.

    Если в какой-либо момент у аккаунта службы (analytics-processing-dev@system.gserviceaccount.com) не будет доступа с правами на редактирование к проекту, данные перестанут экспортироваться.
  • Убедитесь, что оплата настроена.
  • Убедитесь, что BigQuery API включен.

    Проверить это можно в Google Cloud Platform > ваш проект > API и сервисы > Панель управления.

Помощь

Если после настройки BigQuery Export возникают проблемы с установлением связи между BigQuery и Google Аналитикой 360, свяжитесь со службой поддержки Google Аналитики 360.

В случае других проблем, например с оплатой, обращайтесь в службу поддержки Google Cloud.

BigQuery Export

Чтобы следить за новостями, получать советы и поддержку сообщества по функции BigQuery Export в сервисе "Google Analytics 360", присоединяйтесь к Google Группе ga-bigquery-developers.

Подробная информация об экспорте и доступе к тестовому набору данных представлена в документации по BigQuery Export.

BigQuery

Интеграция систем интеллектуального анализа данных с помощью BigQuery

Эта информация оказалась полезной?
Как можно улучшить эту статью?