Об импорте данных

Загружайте данные из внешних источников и объединяйте их с данными Google Аналитики

Зачем нужен импорт данных

Каждый инструмент, который вы используете для бизнеса, генерирует свой набор данных. Например, у вас может быть CRM-система, отслеживающая рейтинги лояльности клиентов, общую ценность клиентов и предпочтения по продуктам. Если вы веб-издатель, ваша система управления контентом может сохранять такие параметры, как имя автора статьи и ее категория. Если вы управляете интернет-магазином, у вас должна быть база данных с атрибутами товаров, например с ценами, категориями и размерами.

При этом вы используете Google Аналитику, чтобы отслеживать трафик и эффективность своих сайтов и приложений.

Скорее всего, каждый из этих наборов данных хранится отдельно и никак не взаимодействует с остальными. Импорт данных позволяет загружать информацию из всех этих источников в Google Аналитику по заданному расписанию, что повышает эффективность их обработки, открывает новые возможности анализа и упрощает доступ к данным для всех сотрудников организации.

Принцип работы импорта данных

Загрузка данных

Чтобы импортировать данные о расходах, можно подключить источник данных или загрузить в ресурс Аналитики CSV-файлы со сторонними данными. Эти файлы CSV можно экспортировать из офлайн-инструментов для управления бизнесом (например, из системы CRM или CMS). Если объем данных небольшой, файлы можно вручную создавать в текстовом редакторе или таблице.

При импорте офлайн-данные соединяются с данными о событиях, собранными Google Аналитикой. Импортированные данные дополняют отчеты, сравнения и списки аудиторий. В результате создается более полная картина онлайн- и офлайн-действий пользователей.

Объединение данных

В зависимости от типа импортируемых данных, для их объединения используется один из двух способов:

Объединение при сборе и обработке данных. Импортированные данные объединяются с данными Аналитики во время сбора и обработки последних. После этого объединенные данные записываются в сводные таблицы Аналитики. Импортированные данные не соединяются с данными Google Аналитики за прошлые периоды (с уже обработанными данными). Если удалить файл импортированных данных, то объединение прекратится, но данные, которые уже объединены, останутся.
Объединение при создании отчетов и обработке запросов. Импортированные данные объединяются с данными Аналитики, когда вы открываете отчет и Аналитика отправляет запрос для его создания. При этом данные объединяются временно. Если удалить файл импортируемых данных, то объединение прекратится, а ранее объединенные данные станут недоступны в Google Аналитике.

Данные, объединенные при создании отчетов и обработке запросов, недоступны при создании аудиторий в Google Аналитике или сегментов в Исследованиях.

При повторном импорте ранее импортированные данные сохраняются до тех пор, пока не будут добавлены новые данные. Если у импортированных данных тот же набор ключей, что и у предыдущих, старые данные будут перезаписаны.

Примечание. Обрабатываемые импортируемые данные, например пользовательские данные и данные о событиях, объединяются во время сбора/обработки и экспортируются в BigQuery. Данные, полученные во время запроса, например о расходах, позициях и специальных событиях, объединяются при создании отчета или выполнении запроса и могут объединяться в BigQuery.

Типы метаданных для импорта

Метаданные

Импортируемые метаданные добавляются к той информации, которая уже была собрана и обработана ресурсом. Обычно метаданные хранятся в специальных параметрах или показателях. Однако в некоторых случаях имеет смысл заменять ими ранее собранную информацию (например, если вы импортируете каталог товаров с обновленными категориями).

Импортировать можно следующие типы данных:

Данные о расходах – информация о кликах, расходах и показах из внешних рекламных сетей.
Данные о товарах – метаданные товаров, например размер, цвет, стиль и другие параметры товаров.
Пользовательские данные – метаданные о пользователях, например коэффициент лояльности или общая ценность клиента. С помощью этих данных можно создавать сегменты или списки ремаркетинга.
События. Импортируйте данные событий, которые не были собраны в реальном времени (в том числе событий, которые не были собраны тегом Google или были получены из источников без подключения к интернету и возможности регистрации в реальном времени). Удалить их можно только вместе с пользователем или всеми данными.
- Вам необходимо выбрать, с какой платформой будут связаны ваши данные о событиях – веб-сайтом или мобильным приложением. Это поможет Аналитике подбирать наиболее подходящие поля для импортируемых данных и проверять их содержание.
Данные о специальных событиях – метаданные, импортируемые с помощью стандартных полей и/или специальных параметров.

Ограничения

Размер источника данных	1 ГБ
Загрузки за сутки	120 в день на каждый ресурс

Тип импортируемых данных	Лимит количества источников данных на ресурс	Лимит хранилища по типам данных
Данные о расходах		1 ГБ для всех источников импортируемых данных
Данные о товарах	До 5	1 ГБ для всех источников импортируемых данных
Пользовательские данные	До 10	Неприменимо
События	До 10	Неприменимо
Данные пользовательского события	До 5	1 ГБ для всех источников импортируемых данных

Чтобы узнать, какая часть квоты использована в продукте, нажмите кнопку "Информация о квотах".

Как импортировать данные

При импорте данных вы создаете источник данных. Это происходит при подключении нового источника данных или загрузке CSV-файлов со сторонними данными.

Не загружайте файл с одинаковыми ключами (например, с двумя полями user_id).

Подробнее об источниках данных…

Как начать импорт

На странице Администратор и в разделе Сбор и редактирование данных выберите Импорт данных.

Чтобы запустить импорт, Примечание. Эта ссылка ведет на ресурс Аналитики, который был открыт последним. Он будет доступен, если вы вошли в аккаунт Google. Вы можете выбрать другой ресурс с помощью селектора. У вас должна быть по меньшей мере роль редактора, на уровне ресурса, чтобы.
Создайте новый источник данных или выберите существующий (подробные сведения приведены в разделах ниже).

Как создать источник данных

Нажмите Создать источник данных.
Укажите название источника данных.
Выберите один из следующих типов данных:
- Данные о расходах (только импорт во время запроса).
- Данные о товарах (импорт во время запроса и создания отчета).
- Пользовательские данные по идентификатору User-ID (импорт во время сбора и обработки данных).
- Пользовательские данные по идентификатору Client-ID (импорт во время сбора и обработки данных).
- Данные о событиях (импорт во время сбора и обработки данных).
- Данные о специальных событиях (импорт во время запроса и создания отчета).
Если вы импортируете данные об устройствах или пользователях, появится диалоговое окно. В этом случае нажмите Перейти к условиям.
В раскрывающемся списке "Источник импорта" выберите один из следующих вариантов:
- Выберите Загрузка CSV-файла вручную, найдите нужный CSV-файл на своем компьютере и нажмите Открыть.
- Выберите SFTP. Подробнее о том, как импортировать данные с помощью SFTP…
- В раскрывающемся меню выберите источник данных. Поддерживаемые источники данных относятся к общедоступной бета-версии. Они доступны только для данных о расходах. Подробнее о подключении источника данных…
Нажмите Далее, чтобы перейти к сопоставлению полей.
Выберите названия импортируемых полей, которые нужно сопоставлять с полями Google Аналитики.
Нажмите Импортировать.

Как загрузить данные в существующий источник данных

В строке существующего источника данных нажмите Импортировать.
Если для источника данных настроен импорт CSV-файлов, выберите нужный CSV-файл и нажмите Открыть.

Поля импортируемого CSV-файла должны полностью или частично совпадать с полями существующего источника данных. Чтобы импортировать другие поля для того же типа данных, нужно удалить имеющийся источник данных и создать новый.

Данные, импортированные в исходный ресурс, будут автоматически экспортированы в агрегированный и в дочерние ресурсы.

Как импортировать данные с помощью SFTP

Информация, необходимая для загрузки данных

Имя пользователя SFTP-сервера: укажите свое имя пользователя для SFTP-сервера.
URL SFTP-сервера: укажите URL вашего SFTP-сервера.
Частота: укажите частоту загрузок (ежедневно, еженедельно или ежемесячно).
Время начала: укажите, когда должна начаться загрузка.

Что нужно, чтобы использовать SFTP для загрузки данных

Если на шаге 5 вы хотите использовать SFTP, убедитесь, что ваш SFTP-сервер поддерживает алгоритмы ключа хоста ssh-rsa и ssh-dss. Подробнее о том, как узнать, какие алгоритмы ключа хоста вы используете и как отформатировать URL SFTP-сервера…

Как проверить алгоритмы ключа хоста SFTP и отформатировать URL SFTP-сервера

Как проверить алгоритмы

Проверить, используется ли на вашем SFTP-сервере алгоритм ключа хоста ssh-rsa или ssh-dss, можно разными способами. Например, вы можете использовать клиент удаленного входа OpenSSH, чтобы проверить журналы сервера с помощью следующей команды:

ssh -vv <имя вашего SFTP-сервера>

Если ваш сервер поддерживает любой из этих алгоритмов, вы увидите в журнале строку, похожую на эту:

debug2: host key algorithms: rsa-sha2-512, rsa-sha2-256, ssh-rsa

Как отформатировать URL SFTP-сервера

Если URL SFTP-сервера отформатирован неправильно, импорт не будет настроен и вы получите сообщение о внутренней ошибке.

Обычно URL SFTP-сервера, используемый для загрузки файлов импорта данных, состоит из трех частей, Пример:

URL sftp://example.com//home/jon/upload.csv состоит из следующих частей:

домен: example.com;
домашний каталог: //home/jon;
путь к файлу: /upload.csv.

В этом примере загружаемый файл находится в домашнем каталоге.

В качестве домена в URL можно указать доменное имя или IP-адрес сервера (IPv4 или IPv6) с номером порта или без него. Пример:

доменное имя: sftp://example.com;
адрес IPv4 (с номером порта): sftp://142.250.189.4:1234;
адрес IPv4 (без номера порта): sftp://142.250.189.4;
адрес IPv6 (с номером порта): sftp://[2607:f8b0:4007:817::2004]:1234.
IPv6 (без номера порта): sftp://[2607:f8b0:4007:817::2004].

Если вы не укажете номер порта, будет использоваться стандартное значение 22.

Домашний каталог в URL указывать не обязательно. Далее приведены примеры правильного оформления домена в URL (номер порта можно не указывать).

С домашним каталогом:
- sftp://example.com//home/jon/upload.csv (доменное имя);
- sftp://142.250.189.4:1234//home/jon/upload.csv (адрес IPv4 с номером порта).
Без домашнего каталога:
- sftp://example.com/upload.csv (доменное имя);
- sftp://[2607:f8b0:4007:817::2004]:1234/upload.csv (адрес IPv6 с номером порта).

Если загружаемый файл находится в подкаталоге домашнего каталога, URL будет выглядеть, например, так:

sftp://example.com//home/jon/data/upload.csv

В этом случае вы можете использовать следующие форматы:

С домашним каталогом:
- sftp://example.com//home/jon/data/upload.csv
- sftp://142.250.189.4:1234//home/jon/data/upload.csv (адрес IPv4 с номером порта).
Без домашнего каталога:
- sftp://example.com/data/upload.csv
- sftp://[2607:f8b0:4007:817::2004]:1234/data/upload.csv (адрес IPv6 с номером порта).

Если загружаемый файл размещен не в домашнем каталоге (//home/jon) или его подкаталоге (//home/jon/data), а находится в каталоге /foo/bar, URL может выглядеть следующим образом:

sftp://example.com//foo/bar/upload.csv (вместо домашнего каталога указывается //foo/bar).

Как посмотреть сведения об источнике данных, получить открытый ключ для SFTP-сервера, импортировать новые данные или удалить источник данных

На странице Администратор и в разделе Сбор и редактирование данных выберите Фильтры данных.

Примечание. Эта ссылка ведет на ресурс Аналитики, который был открыт последним. Он будет доступен, если вы вошли в аккаунт Google. Вы можете выбрать другой ресурс с помощью селектора.
Для просмотра информации об источнике данных у вас должна быть роль не ниже "Читателя" на уровне ресурса, чтобы.
В строке источника данных нажмите на стрелку вправо .

Вы увидите название, тип данных, открытый ключ и историю каждой загрузки.

Открытый ключ. Общедоступный ключ для SFTP-сервера, соответствующий закрытому ключу, который Google Аналитика хранит, но никогда не разглашает. Закрытый ключ используется для создания безопасного соединения между вашим сервером и серверами импорта данных Google Аналитики. Вам обязательно нужно авторизовать открытый ключ на своем сервере, чтобы обеспечить надежный и безопасный импорт данных.
% импортировано. Отношение числа успешно импортированных строк к числу строк в файле импорта. 100 % означает, что все строки импортированы.
Коэффициент соответствия:
- В случае импорта объектов и специальных событий: доля ключей в файле импорта, которые можно найти в вашем ресурсе за последние 90 дней. 100 % означает, что все импортированные сведения применимы к данным Google Аналитики за последние 90 дней.
- Для импорта данных о расходах: доля импортированных строк, соединенных с данными Аналитики. 100 % означает, что все импортированные строки были соединены. При расчете учитываются только импортированные данные за последние два года.

Примечание. % импорта и коэффициент соответствия касаются импорта данных о стоимости, товарах и специальных событиях, но не применяются к импорту данных о пользователях или событиях.

Чтобы импортировать новые данные, сделайте следующее:

Нажмите Импортировать и найдите нужный CSV-файл на своем компьютере.

Чтобы удалить источник данных, выполните следующие действия:

Нажмите на значок с тремя точками и выберите Удалить источник данных.
Прочитайте уведомление и нажмите Удалить источник данных.

Вы можете удалить исходные данные, импортируемые при сборе и обработке. Однако если вы хотите удалить информацию, загруженную ранее из всех обработанных Google Аналитикой событий, вам также может потребоваться удалить данные о пользователях или свойства пользователей. Удаление импортированного файла не повлияет на обработанные данные событий, зарегистрированных после завершения импорта. Подробнее о запросах удаления данных…

Зарезервированные названия и префиксы

Перечисленные ниже названия событий, параметров событий и свойств пользователей, а также префиксы зарезервированы Google Аналитикой. Вы не сможете загрузить данные, если они содержат зарезервированные названия или префиксы.

Пример:

Если вы попытаетесь импортировать событие, название которого зарезервировано, то ни событие, ни его параметры не будут импортированы.
Если вы попытаетесь импортировать событие с допустимым названием, но один из параметров события будет иметь зарезервированное название, то само событие будет импортировано, а параметр – нет.

Зарезервированные названия событий

ad_activeview
ad_activeview
ad_exposure
ad_impression
ad_query
adunit_exposure
app_clear_data
app_install
app_remove
app_update
error
first_open
first_visit
in_app_purchase
notification_dismiss
notification_foreground
notification_open
notification_receive
os_update
screen_view
session_start
user_engagement

Зарезервированные названия параметров событий

firebase_conversion

Зарезервированные названия свойств пользователей

first_open_after_install
first_open_time
first_visit_time
last_deep_link_referrer
user_id

Зарезервированные префиксы (относятся к параметрам событий и свойствам пользователей)

ga_
google_
firebase_

Зарезервированные названия параметров товаров

affiliation
cid
creative_name
currency
customer_id
customerid
item_brand
item_category
item_category2
item_category3
item_category4
item_category5
item_id
item_list_id
item_list_name
item_name
item_variant
promotion_id
promotion_name
session_id
sessionid
sid
uid
user_id
userid

Эта информация оказалась полезной?

Как можно улучшить эту статью?