BigQuery Export

Exporting Data from Google Analytics 4 Properties to BigQuery

Para sa mga subtitle sa iyong wika, i-on ang mga caption sa YouTube. Piliin ang icon ng Mga Setting Larawan ng icon ng mga setting ng YouTube sa ibaba ng video player, pagkatapos ay piliin ang Mga Subtitle/CC at piliin ang iyong wika.


Ang BigQuery ay isang warehouse ng data sa cloud na nagbibigay-daan sa iyong magpatakbo ng mga query na may mahusay na performance para sa malalaking dataset.

Puwede mong i-export sa BigQuery ang lahat ng iyong raw na event mula sa mga property sa Google Analytics (kasama ang mga subproperty at roll-up property), at pagkatapos, puwede kang gumamit ng parang pang-SQL na syntax para i-query ang data na iyon. Sa BigQuery, puwede mong piliing i-export ang iyong data sa external storage o mag-import ng external na data para isama ito sa data mo sa Analytics.

Kapag nag-export ka ng data sa BigQuery, pag-aari mo ang data na iyon, at puwede kang gumamit ng Mga BigQuery ACL para pamahalaan ang mga pahintulot sa mga proyekto at dataset.

Nagkakaroon ng kumpletong pag-export ng data isang beses kada araw. Tuloy-tuloy ring ine-export ang data sa buong araw. Matuto pa tungkol sa Streaming na pag-export.

Puwede kang mag-export ng libreng instance ng BigQuery (BigQuery sandbox), pero may mga singil ang mga pag-export na lampas sa mga limitasyon ng sandbox.

May pang-araw-araw na limitasyon sa BigQuery Export na 1 milyong event ang mga karaniwang property. Matuto pa tungkol sa mga limitasyon sa BigQuery Export.

Mga Paalala:
  • Hindi ine-export ang mga request na magdagdag ng data ng produkto na na-link sa Google Analytics. Naglalaman lang ang BigQuery ng raw na data ng event na natatanggap ng Google Analytics mula sa kliyente.
  • Kapag nag-export ka na ng data mula sa Analytics papuntang BigQuery, hindi mo na ito mare-reexport.

Sa page na ito


Mga uri ng BigQuery Export

Inaalok ng Google Analytics ang mga sumusunod na opsyon sa BigQuery export, ang bawat isa ay may iba't ibang availability ng data para sa kasalukuyang araw at dapat piliin batay sa mga pangangailangan ng data at badyet mo:

Mga uri ng pag-export Pinakamainam kung magre-require ka ng... Mga detalye ng pag-export Mga Limitasyon Mga Babala

Pang-araw-araw na pag-export

(Standard, 360)

kumpletong hanay ng data para sa nakaraang araw at hindi mo kailangan ng data nang mabilisan o hindi ka customer ng 360

Ine-export ang lahat ng raw at hindi na-sample na data ng event nang isang beses bawat araw mula sa nakaraang araw

Hindi garantisado ang partikular na oras

Karaniwang nag-e-export sa gitna ng hapon sa timezone ng iyong property, pero puwedeng maantala hanggang sa bago matapos ang araw o sa susunod na araw

Inoobserbahan ang huling pag-click, walang pagmomodelo

Mga karaniwang property: hanggang 1M event bawat araw, na may mga opsyon sa pag-filter para manatiling mas mababa sa limitasyon

Mga property sa 360: hanggang 20B event bawat araw

Puwedeng maantala nang hanggang 24 na oras ang ilang data, tulad ng attribution ng user; inirerekomenda naming gamitin ang pang-araw-araw na pag-export sa halip na mag-stream para sa data ng attribution ng user

Bago araw-araw

(360)

mas mabilis, mas kumpletong data sa buong araw

Karaniwang dumadating ang data nang 5am

Mga batch update sa buong araw, karaniwang sa loob ng 60 minuto

Parehong schema gaya ng sa pang-araw-araw na pag-export

Magsisimula ang pag-export batay sa timezone ng property

Inoobserbahan ang huling pag-click, walang pagmomodelo

Mas mabilis kaysa sa pang-araw-araw na pag-export

Hindi available ang SLA para sa ilang XL property Available lang para sa "Karaniwan" at "Malaking" property sa 360.

Streaming

(Standard, 360)

halos realtime na data (sa loob ng ilang minuto)

Realtime na pag-export ng data ng kasalukuyang araw

Pinakamahusay na pagsisikap na serbisyo: tumatakbo nang walang SLO sa pagiging kumpleto at posibleng magkaroon ng mga puwang sa data

Walang limitasyon sa dami Hindi kasama sa pag-export ang data ng source ng trapiko ng bagong user at bagong session
Tandaan: Magkakaroon ng gastusin sa bawat pag-export sa bahagi ng BigQuery para sa storage at pagpoproseso. Magkakaroon ka ng mga karagdagang gastusin sa BigQuery para sa paggamit ng streaming na pag-export sa rate na $0.05 sa bawat gigabyte ng data. Ang 1 gigabyte ay katumbas ng humigit-kumulang 600,000 event sa Google Analytics, bagama't mag-iiba ang bilang na iyon depende sa laki ng event. Matuto pa tungkol sa pagpepresyo ng BigQuery.

Mga pinagkaiba ng interface ng Google Analytics at ng BigQuery Export

Ang pag-export ng event sa BigQuery ay nagbibigay ng access sa raw na data ng event at data sa level ng user, hindi kasama ang anumang value na idaragdag ng Google Analytics na makikita sa mga karaniwang ulat at pag-explore. Dahil dito, posibleng mag-iba ang data mula sa pag-export ng event sa BigQuery kaysa sa data sa interface ng Google Analytics.

Para maunawaan ang mga pinagkaiba ng pag-export ng event sa BigQuery at ng interface ng Google Analytics, at mag-explore ng mga paraan para mabawasan ang mga pinagkaibang ito kapag posible, tingnan ang Pag-uugnay ng UI ng Google Analytics at BigQuery Export.

Streaming na pag-export

Puwede mong piliin ang opsyong streaming na pag-export kapag na-link mo sa BigQuery ang iyong property sa Google Analytics.

Ginagawang available ng streaming na pag-export ng BigQuery ang data para sa kasalukuyang araw sa loob ng ilang minuto sa pamamagitan ng BigQuery Export.

Kapag ginamit mo ang opsyon sa pag-export na ito, mayroong mas bagong impormasyon ang BigQuery na masusuri mo tungkol sa iyong mga user at sa kanilang trapiko sa property mo.

Para sa bawat araw, gumagawa ng isang bagong talahanayan ang streaming na pag-export:

  • events_intraday_YYYYMMDD: Isang internal na talahanayan ng staging na naglalaman ng mga talaan ng aktibidad ng session na nangyari sa buong araw. Ang streaming na pag-export ay isang operation na nangangailangan ng pinakamahusay na pagsisikap at posibleng hindi kasama rito ang lahat ng data para sa mga dahilang tulad ng pagpoproseso ng mga huling event at/o hindi matagumpay na pag-upload. Tuloy-tuloy na ine-export ang data sa buong araw. Puwedeng kasama sa talahanayang ito ang mga talaan ng isang session kapag sumasaklaw ang session na iyon sa maraming operation ng pag-export. Ide-delete ang talahanayang ito kapag kumpleto na ang events_YYYYMMDD.

Kung pipiliin mo ang pang-araw-araw na opsyon kapag nag-set up ka ng BigQuery Export, magagawa rin ang sumusunod na talahanayan bawat araw.

  • events_YYYYMMDD: Ang kumpletong pang-araw-araw na pag-export ng mga event.

events_YYYYMMDD ang dapat mong i-query sa halip na events_intraday_YYYYMMDD para stable na dataset ang kinu-query mo sa araw.

Tingnan ang schema ng BigQuery Export para sa higit pang impormasyon tungkol sa mga talahanayang events_YYYYMMDD at events_intraday_YYYYMMDD.

Hindi kasama sa streaming na pag-export ng BigQuery ang sumusunod na data ng attribution ng user para sa mga bagong user:

  • traffic_source.name (dimensyon ng pag-uulat: Campaign ng user)
  • traffic_source.source (dimensyon ng pag-uulat: Source ng user)
  • traffic_source.medium (dimensyon ng pag-uulat: Medium ng user)

Kasama ang data ng attribution ng user para sa mga kasalukuyang user pero kailangan ng data na iyon ng ~24 na oras bago ito ganap na maproseso, kaya inirerekomenda naming huwag umasa sa data na iyon mula sa streaming na pag-export at sa halip, kumuha ng data ng attribution ng user mula sa kumpletong pang-araw-araw na pag-export.

Magkakaroon ka ng mga karagdagang gastusin sa BigQuery para sa paggamit ng streaming na pag-export sa rate na $0.05 sa bawat gigabyte ng data. Ang 1 gigabyte ay katumbas ng humigit-kumulang 600,000 event sa Google Analytics, bagama't mag-iiba ang bilang na iyon depende sa laki ng event. Matuto pa tungkol sa pagpepresyo ng BigQuery.

Pag-export na Bago Araw-araw

Puwede mo na ngayong piliin ang Bago Araw-araw na pag-export bukod sa mga opsyong Araw-araw at Streaming na pag-export. Kasalukuyang available ang Bago Araw-araw na pag-export para sa mga property sa Analytics 360, at mae-enable ang bawat isa sa 3 opsyon sa pag-export nang hiwalay sa isa't isa.

Para ma-configure ang Bago Araw-araw na pag-export, may naka-set up ka dapat na pagsingil sa Google Cloud Platform. Matuto pa tungkol sa Bago Araw-araw na pag-export ng BigQuery (GA360).


Signal ng pagiging kumpleto

Kung gagamitin mo ang Pang-araw-araw o Bago Araw-araw na pag-export sa isang property sa 360, magpapadala ang Google Analytics ng signal ng pagiging kumpleto na magsasabi sa iyo kapag na-export na ang lahat ng data ng nakaraang araw. Matutukoy mo ang pagkakaiba ng signal ng pagiging kumpleto na Pang-araw-araw o Bago Araw-araw sa pamamagitan ng partikular na pangalan ng log.

Para i-access ang signal ng pagiging kumpleto:

  1. Mag-sign in sa Cloud Logging at pumunta sa seksyong “Logs Explorer.”
  2. Hanapin ang "export complete."
  3. Tingnan ang pangalan ng log para matukoy kung para sa Pang-araw-araw o Bago Araw-araw na pag-export ang signal.

Baka kailangang taasan ang saklaw ng timestamp ng explorer ng mga log; kadalasang nangyayari ang mensahe sa bandang 5am sa timezone ng property.

Puwede mong tingnan ang Signal ng Pagiging Kumpleto sa seksyong Router ng Log ng Cloud Logging, na puwedeng i-push sa mga paksa sa Cloud Pub/Sub.

Tandaan: Posibleng maging dahilan ang ilang pagbabago sa iyong property sa Google Analytics para mawala o maging hindi tumpak ang signal ng pagiging kumpleto sa unang araw. Kasama rito ang mga sitwasyon gaya ng:
  • Pagkatapos mabago ang timezone ng property
  • Pagkatapos magawa ang pag-link sa BigQuery para sa property

Paano gumagana ang signal ng pagiging kumpleto

Nagbibigay ang signal ng pagiging kumpleto ng insight sa kabuuang bilang ng mga event na naproseso at na-export para sa isang partikular na araw. Kasama rito ang mga event na posibleng nangyari sa mas maagang petsa pero natanggap o na-backfill sa ibang pagkakataon. Ipinapakita ng signal ang daloy ng data para sa araw ng pag-export, hindi ang orihinal na timestamp ng event.

Halimbawa

Pag-isipan ang sumusunod na sitwasyon kung saan nagsimulang mangolekta ng mga event ang isang property sa Google Analytics para sa mga app at web stream noong Hulyo 29:

  • Hulyo 29: Ipinadala ang X events sa Google Analytics at agad itong naproseso. Bukod pa rito, nangyari ang mga event sa L app noong araw na ito, pero dahil offline ang mga user, hindi natanggap ng Google Analytics ang mga ito hanggang Hulyo 30.
  • Hulyo 30: Y events ang nangyari at ipinadala sa Google Analytics noong araw na ito.
  • Hulyo 31: Na-backfill sa pamamagitan ng Protocol ng Pagsukat ang M events na nangyari noong Hulyo 29. Z events ang nangyari at ipinadala rin sa Google Analytics noong araw na ito.

Sa halimbawang ito, ipapakita ng signal ng pagiging kumpleto ang mga sumusunod:

  • Hulyo 29: Isasaalang-alang ng signal ng pagkakumpleto ang X events.
  • Hulyo 30: Isasaalang-alang ng signal ng pagkakumpleto ang Y at L events.
  • Hulyo 31: Isasaalang-alang ng signal ng pagkakumpleto ang M at Z events.

Ang iskedyul para sa mga update sa talahanayan

Ang mga update sa mga talahanayang ginawa bilang bahagi ng BigQuery Export ay nasasaklawan ng time zone ng property sa Analytics kung saan ine-export ang data. Kung babaguhin ang time zone ng property, makakaapekto ito sa BigQuery export, na puwedeng humantong sa pagkakaiba sa data o lalaktawan ang pang-araw-araw na pag-export.

Tuloy-tuloy na ina-update ang mga talahanayan ng streaming na pag-export (events_intraday_YYYYMMDD) sa buong araw, mula 12:00:00 am hanggang 11:59:59 pm sa time zone ng property. Kapag nagsimula ang isang bagong araw sa time zone ng property, isusulat ang mga event sa isang bagong intraday na talahanayan.

Ginagawa ang mga talahanayan ng pang-araw-araw na pag-export (events_YYYYMMDD) pagkatapos makolekta ng Analytics ang lahat ng event para sa araw na iyon. Ia-update ng Analytics ang mga pang-araw-araw na talahanayan sa loob ng hanggang 2 araw sa kalendaryo, kasama ang kasalukuyang araw pagkatapos ng petsa ng talahanayan kasama ang mga event na na-timestamp ng petsa ng talahanayan, gaya ng mga bundle ng event na nahuling dumating mula sa Protocol ng Pagsukat o Mga Firebase SDK. Halimbawa, kung 20220101 ang petsa ng talahanayan, ia-update ng Analytics ang talahanayan hanggang 20220104 na may mga event na na-timestamp ng 20220101.

Paminsan-minsan, posibleng i-update ng Analytics ang mga pang-araw-araw na talahanayan anumang oras pagkalipas ng palugit na 2 araw sa kalendaryo, kasama ang kasalukuyang araw sa mga sitwasyon kung saan nire-require na iproseso ulit ng Analytics ang dating data, gaya ng pag-aayos ng bug na nag-aayos ng isang error sa pagpoproseso.


Mga ping na walang cookies at data na ibinigay ng customer

Kapag ipinatupad ang consent mode, magkakaroon sa BigQuery export ng mga ping na walang cookies na kinokolekta ng Analytics, kasama ang data na ibinigay ng customer tulad ng user_id at mga custom na dimensyon.


Mga dimensyon ng backfill na “Not Available” na source ng trapiko

Puwede mong gamitin ang mga sumusunod na resource para hanapin ang mga na-attribute na dimensyon ng source ng trapiko para sa isang partikular na GCLID. Tandaang hindi kasama sa BigQuery Export ang mga wBRAID at gBRAID na identifier.

  • Google Ads API
  • Mga Google Ads Script
  • Serbisyo ng Paglilipat ng Data ng BigQuery para sa Google Ads

Para hanapin ang GCLID para sa record na "Hindi Available" sa column na "traffic_source," i-query ang field na GCLID sa column na “collected_traffic_source.” Para sa higit pang detalye tungkol sa kung paano maghanap ng impormasyon ng campaign sa Google Ads mula sa isang partikular na GCLID, tingnan ang I-backfill ang data ng source ng trapiko ng Google Ads sa lalong madaling panahon (GA 360).


Google Analytics - Pag-integrate ng Firebase at BigQuery

Kung naka-integrate ang isang property sa Google Analytics at isang proyekto sa Firebase, hindi puwedeng i-link ang mga ito sa magkahiwalay na proyekto sa BigQuery.


Mga kaugnay na resource

Bisitahin ang Developers Guide ng BigQuery para matuto pa tungkol sa:

Nakatulong ba ito?

Paano namin mapapaganda ito?
Search
I-clear ang paghahanap
Isara ang paghahanap
Mga app ng Google
Pangunahing menu
15368661210283902708
true
Maghanap sa Help Center
false
true
true
true
true
true
69256
false
false
false
false
false