- Етап 1. Створення нового проекту Google Cloud Console і ввімкнення BigQuery
- Етап 2. Підготовка проекту до застосування BigQuery Export
- Етап 3. Зв’язування BigQuery з ресурсами Google Analytics 4
- Як скасувати зв’язок із BigQuery
- Обмеження BigQuery Export
- Фільтрування даних
- Оплата
- Тривалість інтеграції
- Причини помилок під час зв’язування
- Причини помилок експорту
- Статті за темою
Етап 1. Створення проекту в консолі API Google і ввімкнення BigQuery
- Увійдіть у Google Cloud Console.
- Створіть новий проект або виберіть наявний.
- Відкрийте таблицю API.
Угорі ліворуч відкрийте меню навігації, натисніть APIs & Services (API і сервіси), а потім – Library (Бібліотека). - Увімкніть BigQuery.
У розділі Google Cloud APIs натисніть BigQuery API. На наступній сторінці натисніть Увімкнути. - За потреби прочитайте й прийміть Умови використання.
Етап 2. Підготовка проекту до застосування BigQuery Export
Ви можете безкоштовно експортувати дані Google Analytics в ізольоване програмне середовище BigQuery (застосовуються обмеження щодо ізольованого програмного середовища).
Докладніше про оновлення ізольованого програмного середовища й розцінки BigQuery.
Етап 3. Зв’язування BigQuery з ресурсом Google Analytics 4
Виконавши перші два кроки, ви можете ввімкнути BigQuery Export на сторінці адміністратора Analytics.
Для BigQuery Export установлено такі самі обмеження щодо збирання та налаштування, що й для Google Analytics. Якщо ви хочете отримати більше можливостей, перейдіть на ресурс версії 360.
Входячи в обліковий запис Analytics, використовуйте електронну адресу з доступом ВЛАСНИКА (докладніше про вимоги щодо доступу див. в розділі Дозволи нижче) до проекту BigQuery й правами редактора для ресурсу Analytics, що включає потік даних, який потрібно зв’язати.
- На сторінці Адміністратор у розділі Зв’язки з іншими продуктами виберіть Зв’язки з BigQuery.
- Натисніть Зв’язати.
- Натисніть Вибрати проект BigQuery, щоб побачити список проектів, до яких ви маєте доступ.
Якщо ви зв’язали або плануєте зв’язати Analytics і Firebase, варто експортувати дані в той проект Cloud, який буде легше об’єднати з іншими даними Firebase. - Виберіть проект зі списку й натисніть Підтвердити.
- Виберіть місцеположення для даних. (Якщо ваш проект уже має набір даних для ресурсу Analytics, налаштувати цей параметр не можна.)
- Натисніть Далі.
- Щоб вибрати потоки даних, які потрібно експортувати, і події, які потрібно виключити з експорту, виберіть Налаштувати потоки даних і події. Щоб виключити події, натисніть Додати й виберіть потрібні події зі списку або натисніть Указати подію за назвою, щоб вибрати потрібні події за назвою чи вказати назви подій, які ще не зібрано в ресурсі.
- Натисніть Готово.
- За потреби натисніть Додати рекламні ідентифікатори для потоків мобільних додатків.
- Виберіть один або обидва види експортування даних: Щодня (раз на день) або Потокове передавання (безперервне).
- Натисніть Далі.
- Перегляньте налаштування й натисніть Надіслати.
Дозволи
Право на отримання getIamPolicy/setIamPolicy, права на отримання/увімкнення сервісів
ВЛАСНИК включає об’єднаний набір цих дозволів.Щоб створити зв’язок BigQuery, потрібні такі мінімальні дозволи:
resourcemanager.projects.get- Щоб отримати проект
resourcemanager.projects.getIamPolicy- Щоб отримати список дозволів
resourcemanager.projects.setIamPolicy- Щоб перевірити, чи має користувач дозвіл на зв’язування в цьому проекті
serviceusage.services.enable- Щоб увімкнути BigQuery API
serviceusage.services.get- Щоб перевірити, чи ввімкнено BigQuery API
Як підтвердити сервісний обліковий запис
Під час зв’язування BigQuery з ресурсами Analytics створюється такий сервісний обліковий запис:
firebase-measurement@system.gserviceaccount.com
Додайте цей обліковий запис до списку учасників проекту й надайте йому роль користувача BigQuery (roles/bigquery.user).
Якщо за допомогою BigQuery Export ви вже призначили сервісному обліковому запису роль редактора проекту Google Cloud, змініть її на роль користувача BigQuery. Для цього потрібно від’єднати ресурс Analytics від проекту BigQuery й зв’язати їх повторно. Спершу скасуйте зв’язок Analytics і BigQuery й вилучіть сервісний обліковий запис із правами редактора, а потім, виконуючи наведені вище вказівки, зв’яжіть ресурс Analytics і проект BigQuery повторно. Система створить новий сервісний обліковий запис із потрібними дозволами.
Після зв’язування переконайтеся, що сервісному обліковому запису призначено роль власника (bigquery.dataOwner) для наявного набору даних, який потрібно експортувати. Для цього перегляньте правила доступу відповідного набору даних.
Як змінити регіон
Якщо ви вибрали неправильний регіон і хочете змінити його після зв’язування, виконайте наведені нижче дії.
- Скасуйте зв’язок із BigQuery (див. нижче).
- Створіть резервну копію набору даних у BigQuery (перенесіть або скопіюйте).
- Видаліть вихідний набір даних, занотувавши його назву. Вона знадобиться на наступному етапі.
- Створіть новий набір із тою самою назвою, що й у нещодавно видаленого, і виберіть місцеположення для даних.
- Надайте обліковому запису firebase-measurement@system.gserviceaccount.com доступ до нового набору даних і призначте для сервісного облікового запису роль власника даних BigQuery.
- Перенесіть резервну копію даних у новий набір.
- Щоб створити новий зв’язок із BigQuery, повторіть описану вище процедуру.
Після зміни місцеположення виникне прогалина в даних, оскільки вони не будуть передаватися й експортуватися в проміжку часу, коли наявний зв’язок уже скасовано, а новий ще не створено.
Як скасувати зв’язок із BigQuery
- На сторінці Адміністратор у розділі Зв’язки з іншими продуктами виберіть Зв’язки з BigQuery.
- Натисніть потрібний рядок.
- Угорі праворуч натисніть значок
> Видалити.
> Видалити.Обмеження BigQuery Export
За допомогою BigQuery Export зі стандартних ресурсів GA4 можна експортувати щонайбільше 1 мільйон подій для щоденного (групового) експорту. Кількість подій для потокового експорту необмежена. Якщо ваш ресурс постійно перевищує цей ліміт, щоденний експорт BigQuery буде призупинено, а експорт за попередні дні не буде оброблено повторно.
Редактори й адміністратори ресурсів отримуватимуть сповіщення електронною поштою щоразу, коли ресурс, яким вони керують, перевищує денний ліміт. У цьому сповіщенні буде вказано, коли призупиниться експорт, якщо не вжити заходів. Якщо стандартний ресурс значно перевищує денне обмеження в один мільйон подій, Analytics може негайно призупинити щоденний експорт. Отримавши сповіщення, ви можете скористатись опціями фільтрування даних (експорт потоків даних і виключення подій), щоб зменшити обсяг подій і забезпечити їх безперервний щоденний експорт.
Докладніше про більші ліміти обмежень для ресурсів 360.
Фільтрування даних
Ви можете виключити певні потоки даних чи події, щоб експортувати в BigQuery лише те, що потрібно.
Як виключати потоки даних і події під час зв’язування
Вибираючи під час зв’язування потоки даних для експорту, ви також можете одразу виключити певні події з експорту (як описано в кроці 9 у розділі про зв’язування).
Як додавати й видаляти потоки даних чи події після налаштування зв’язування
Якщо ви вже налаштували зв’язок із BigQuery, потоки даних і події можна додавати або вилучати зі списку виключень.
- На сторінці Адміністратор у розділі Зв’язки з іншими продуктами виберіть Зв’язки з BigQuery.
- Натисніть рядок із проектом, налаштування якого потрібно змінити.
- У розділі Потоки даних і події натисніть Переглянути потоки даних і подій.
- У розділі Потоки даних для експорту можна вибрати додаткові потоки даних для експорту або видалити наявні потоки зі списку.
- У списку Події, які потрібно виключити натисніть Додати, щоб вибрати наявні події зі списку, або натисніть Указати подію за назвою, щоб вибрати наявні події за назвою чи вказати назви подій, які ще не зібрано в ресурсі.
- Щоб вилучити подію зі списку, натисніть знак мінуса у кінці потрібного рядка.
Оплата
У вартість BigQuery входять два компоненти: збереження даних і обробка запитів. Перегляньте таблицю тарифів, щоб дізнатися різницю між інтерактивними та груповими запитами.
Щоб продовжити експортування, потрібно налаштувати дійсний спосіб оплати в Google Cloud. Якщо він буде недійсним, експортування перерветься. Після цього ми вже не зможемо повторно експортувати дані.
Ви також можете безкоштовно експортувати дані Analytics в ізольоване програмне середовище BigQuery, однак пам’ятайте про обмеження щодо ізольованого програмного середовища.
Тривалість інтеграції
Після зв’язування дані почнуть надходити в проект BigQuery протягом 24 годин. Якщо ввімкнути щоденний експорт, щодня експортуватиметься по одному файлу з даними за попередню добу (зазвичай після обіду за налаштованим для ваших звітів часовим поясом).
Причини помилок під час зв’язування
Нижче наведено дві причини виникнення помилок під час зв’язування з BigQuery.
- Правила організації забороняють експортувати дані до США. Якщо ви вибрали США як країну для зберігання своїх даних, змініть її.
- Правила організації забороняють сервісні облікові записи, розміщені в домені, з якого ви хочете експортувати дані. У цьому випадку потрібно змінити правила організації.
Причини помилок експорту
| Помилка | Причина | Результат |
|---|---|---|
| Відсутній сервісний обліковий запис | У вашому проекті Cloud немає сервісного облікового запису з правами користувача. | Analytics не може створювати таблиці. Не вдалося виконати експортування. |
| Обліковий запис робота видалено після встановлення | Користувач облікового запису Cloud вилучив сервісний обліковий запис робота, установлений Google Analytics. | Analytics більше не може створювати таблиці. Усі операції експорту призупинено. |
| Правило організації конфліктує з BigQuery Export | Користувач проекту Cloud створив правило організації, яке не дозволяє Analytics експортувати дані. Правило може перешкоджати створенню таблиць BigQuery або внесенню даних у них. Також правило може конфліктувати з регіоном зберігання даних. | Таблицю не створено або створено, а потім швидко (упродовж приблизно 30 хвилин) видалено. |
| Користувач змінив налаштування платежів | Користувач проекту Cloud перейшов із безкоштовної версії BigQuery на платну. Усе має працювати як завжди, однак помилки можуть виникнути, наприклад, якщо розмір проекту становить понад 10 ГБ (обмеження ізольованого програмного середовища). Експортування може не виконуватись. | Таблиці не заповнюються. |
| Проект Cloud перевищив квоту | Cloud має обмежені ресурси для більшості проектів. Перевищивши квоту на зберігання BigQuery, ви більше не зможете записувати дані. Зверніть увагу, що для безкоштовних проектів ця квота є невеликою (10 ГБ). | Таблиці не заповнюються. |
| Користувач змінив часовий пояс ресурсу | Під час експорту раз на добу виконується зріз даних ресурсу з урахуванням його часового поясу. Через змінення часового поясу період експортування може зменшитись або збільшитись протягом певного дня (наприклад, стати на 3 години коротшим, якщо північноамериканський східний час США зміниться на стандартний тихоокеанський). В обох випадках користувач побачить незвичну кількість подій. | Незвична кількість подій протягом одного дня. Користувач може заплутатись. |
Підтримка
З іншими питаннями щодо BigQuery, наприклад стосовно платежів, звертайтеся в службу підтримки Google Cloud.
Статті за темою
BigQuery Export
Докладнішу інформацію про експорт і доступ до тестового набору даних наведено в документації з BigQuery Export.