Схема BigQuery Export

1. Войдите в консоль Cloud Platform Console и откройте страницу "Управление ресурсами".
2. Перейдите к нужному проекту и нажмите Открыть Google Cloud Shell вверху страницы.
3. Когда откроется оболочка, скопируйте приведенный ниже скрипт в файл migration_script.sql:
   1. Выполните команду cat > migration_script.sql.
   2. Скопируйте в оболочку приведенный ниже скрипт.
   3. Нажмите Ctrl + D, чтобы сохранить изменения и выйти.
   Скрипт (migration_script.sql):

     SELECT
     @date AS event_date,
     event.timestamp_micros AS event_timestamp,
     event.previous_timestamp_micros AS event_previous_timestamp,
     event.name AS event_name,
     event.value_in_usd  AS event_value_in_usd,
      user_dim.bundle_info.bundle_sequence_id AS event_bundle_sequence_id,
     user_dim.bundle_info.server_timestamp_offset_micros as event_server_timestamp_offset,
     (
     SELECT
       ARRAY_AGG(STRUCT(event_param.key AS key,
           STRUCT(event_param.value.string_value AS string_value,
             event_param.value.int_value AS int_value,
             event_param.value.double_value AS double_value, 
             event_param.value.float_value AS float_value) AS value))
     FROM
       UNNEST(event.params) AS event_param) AS event_params,
     user_dim.first_open_timestamp_micros AS user_first_touch_timestamp,
     user_dim.user_id AS user_id,
     user_dim.app_info.app_instance_id AS user_pseudo_id,
     "" AS stream_id,
     user_dim.app_info.app_platform AS platform,
     STRUCT( user_dim.ltv_info.revenue AS revenue,
       user_dim.ltv_info.currency AS currency ) AS user_ltv,
     STRUCT( user_dim.traffic_source.user_acquired_campaign AS name,
         user_dim.traffic_source.user_acquired_medium AS medium,
         user_dim.traffic_source.user_acquired_source AS source ) AS traffic_source,
     STRUCT( user_dim.geo_info.continent AS continent,
       user_dim.geo_info.country AS country,
       user_dim.geo_info.region AS region,
       user_dim.geo_info.city AS city ) AS geo,
     STRUCT( user_dim.device_info.device_category AS category,
       user_dim.device_info.mobile_brand_name,
       user_dim.device_info.mobile_model_name,
       user_dim.device_info.mobile_marketing_name,
       user_dim.device_info.device_model AS mobile_os_hardware_model,
       @platform AS operating_system,
       user_dim.device_info.platform_version AS operating_system_version,
       user_dim.device_info.device_id AS vendor_id,
       user_dim.device_info.resettable_device_id AS advertising_id,
       user_dim.device_info.user_default_language AS language,
       user_dim.device_info.device_time_zone_offset_seconds AS time_zone_offset_seconds,
       IF(user_dim.device_info.limited_ad_tracking, "Yes", "No") AS is_limited_ad_tracking ) AS device,
     STRUCT( user_dim.app_info.app_id AS id,
       @firebase_app_id  AS firebase_app_id,
       user_dim.app_info.app_version AS version,
       user_dim.app_info.app_store AS install_source ) AS app_info,
     (
     SELECT
       ARRAY_AGG(STRUCT(user_property.key AS key,
           STRUCT(user_property.value.value.string_value AS string_value,
             user_property.value.value.int_value AS int_value,
             user_property.value.value.double_value AS double_value,
             user_property.value.value.float_value AS float_value,
             user_property.value.set_timestamp_usec AS set_timestamp_micros ) AS value))
     FROM
       UNNEST(user_dim.user_properties) AS user_property) AS user_properties
   FROM
     `SCRIPT_GENERATED_TABLE_NAME`,
     UNNEST(event_dim) AS event
     

4. Откройте новую оболочку и скопируйте приведенный ниже скрипт в файл migration.sh:
   1. Выполните команду cat > migration.sh.
   2. Скопируйте в оболочку приведенный ниже скрипт.
   3. Нажмите Ctrl + D, чтобы сохранить изменения и выйти.
   Добавьте в приведенный ниже скрипт свой идентификатор ресурса Аналитики, идентификатор проекта BigQuery, идентификатор приложения в Firebase, название набора данных BigQuery, а также укажите даты начала и окончания для нужных данных.
   Скрипт (migration.sh):

   # Идентификатор ресурса Аналитики для проекта. Найдите его в настройках Google Аналитики на платформе Firebase.
   PROPERTY_ID=ваш идентификатор ресурса Аналитики
   
   # Проект Bigquery Export.
   BQ_PROJECT_ID="ваш идентификатор проекта BigQuery" (например, "firebase-public-project")
   
   # Идентификатор вашего приложения в Firebase.
   FIREBASE_APP_ID="идентификатор вашего приложения в Firebase" (например, "1:300830567303:ios:09b1ab1d3ca29bda")
   
   # Набор данных, из которого выполняется импорт.
   BQ_DATASET="название набора данных BigQuery, из которого выполняется импорт" (например, "com_firebase_demo_IOS")
   
   # Платформа
   PLATFORM="платформа приложения – ANDROID или IOS"
   
   # Диапазон дат, данные за которые необходимо перенести, включая [START_DATE,END_DATE].
   START_DATE=20180324
   END_DATE=20180327
   
   # Изменять следующий скрипт не рекомендуется.
   startdate=$(date -d"$START_DATE"  +%Y%m%d) || exit -1
   enddate=$(date -d"$END_DATE"  +%Y%m%d) || exit -1
   
   # Выполните итерации для заданных дат.
   DATE="$startdate"
   while [ "$DATE" -le "$enddate" ]; do
   
           # Таблица BigQuery на основе приведенных выше параметров.
           BQ_TABLE="$BQ_PROJECT_ID.$BQ_DATASET.app_events_$DATE"
   
           echo "Migrating $BQ_TABLE"
   
           cat migration_script.sql | sed -e "s/SCRIPT_GENERATED_TABLE_NAME/$BQ_TABLE/g" | bq query \
           --debug_mode \
           --allow_large_results \
           --noflatten_results \
           --use_legacy_sql=False \
           --destination_table analytics_$PROPERTY_ID.events_$DATE \
           --batch \
           --append_table \
           --parameter=firebase_app_id::$FIREBASE_APP_ID \
           --parameter=date::$DATE \
           --parameter=platform::$PLATFORM \
           --project_id=$BQ_PROJECT_ID
   
   
           temp=$(date -I -d "$DATE + 1 day")
           DATE=$(date -d "$temp" +%Y%m%d)
   
   done
   exit
   
   # ОКОНЧАНИЕ СКРИПТА
   
   

5. Откройте новую оболочку и выполните команду bash migration.sh.

user_dim

event_dim