Как запустить новый процесс массового экспорта данных

Рекомендации

• Помните, что объем данных постоянно увеличивается. Данные для вашего проекта будут накапливаться бесконечно, если вы не установите срок их хранения. Установите разумный срок хранения данных для раздела, чтобы сократить расходы на хранение.
• Google Cloud может изменять стоимость хранения данных и выполнения запросов. При этом определенный объем данных и запросов может храниться и выполняться бесплатно.

Общая информация о массовом экспорте данных в Search Console – учебный курс по Google Search Console

Настройка и запуск непрерывного массового экспорта данных

Требования

• Вам необходимо создать проект в Google Cloud, указав в нем платежные данные и включив BigQuery, как описано на странице с инструкциями по настройке. Определенный объем данных и запросов хранится и выполняется бесплатно, но за объем выше указанной квоты взимается плата.

В Google Cloud Console

1. Откройте Google Cloud Console.
2. Перейдите в проект Google Cloud, в который вы хотите экспортировать данные.
3. Включите BigQuery в своем проекте:
   1. На боковой панели выберите API и сервисы > Включенные API и сервисы.
   2. Если BigQuery не включен, нажмите ВКЛЮЧИТЬ API И СЕРВИСЫ, а затем активируйте BigQuery API и BigQuery Storage API.
4. Разрешите доступ Search Console к данным в вашем проекте:
   1. На боковой панели выберите IAM и администрирование. Перейдите на страницу Разрешения для проекта <ваш_проект>.
   2. Откройте боковую панель Добавить субъекты, нажав ПРЕДОСТАВИТЬ ДОСТУП.
   3. В поле Новые субъекты вставьте следующее название сервисного аккаунта:
      • [e-mail]
   4. Предоставьте ему две роли: BigQuery Job User (bigquery.jobUser в интерфейсе командной строки) и BigQuery Data Editor (bigquery.dataEditor в интерфейсе командной строки).
   5. Нажмите Сохранить.

В Search Console

1. Настройте свой проект Google Cloud, как описано выше.
2. Откройте Настройки > Массовый экспорт данных для вашего ресурса.
3. Скопируйте идентификатор проекта (его не следует путать с номером проекта) в Google Cloud Console в поле Идентификатор проекта Google Cloud. Идентификатор проекта указан на странице настроек проекта.
4. Укажите название набора данных. По умолчанию в качестве названия устанавливается вариант searchconsole. Чтобы выполнить экспорт из нескольких ресурсов Search Console для одного идентификатора проекта, вам потребуется задать для каждого из них отдельное название набора данных. Даже если указать собственное название набора данных, в его начале будет строка searchconsole.
5. Выберите из списка местоположение для вашего набора данных. Search Console создаст ваш набор данных в этом местоположении для первого экспорта. Помните, что вы не сможете изменить это местоположение после того, как экспорт будет запущен.
6. Нажмите Продолжить, чтобы подтвердить свой выбор и запустить экспорт данных на регулярной основе. О проблемах, которые могут быть обнаружены сразу (таких как ошибка доступа), вы будете уведомлены в короткий срок. Если таких проблем обнаружено не будет, то Search Console начнет экспорт в течение суток.
7. Первая попытка экспорта будет предпринята в течение 48 часов после успешной настройки этого процесса в Search Console и будет включать данные за день осуществления экспорта. При возникновении незначительной ошибки Search Console предпримет повторную попытку экспорта на следующий день согласно расписанию.
8. После создания таблиц можно установить срок хранения для разделов. При этом не следует изменять схему (например, добавлять столбцы), так как возникнут ошибки экспорта.

Если вы хотите посмотреть статистические данные за период до того, как вы настроили экспорт, воспользуйтесь Search Console API или отчетами.

Дальнейшие действия

• Узнайте, как посмотреть статус последней попытки экспорта.
• Узнайте, что означают поля в таблице.
• Следуйте этим рекомендациям по созданию запросов для повышения эффективности вашего ресурса и ознакомьтесь с наиболее распространенными запросами.