- 1. darbība. Jauna Google Cloud Console projekta izveide un BigQuery iespējošana
- 2. darbība. Projekta sagatavošana funkcijas BigQuery Export izmantošanai
- 3. darbība. BigQuery saistīšana ar Google Analytics 4 īpašumiem
- Saites uz BigQuery dzēšana
- BigQuery Export ierobežojumi
- Datu filtrēšana
- Cenas un norēķini
- Datu plūsmas saņemšana
- Nesekmīgas saistīšanas iemesli
- Eksportēšanas kļūdu iemesli
- Saistītie resursi
1. darbība. Google API konsoles projekta izveide un BigQuery iespējošana
- Piesakieties pakalpojumā Google Cloud Console.
- Izveidojiet jaunu Google Cloud Console projektu vai atlasiet esošu projektu.
- Pārejiet uz API tabulu.
Augšējā kreisajā stūrī atveriet navigācijas izvēlni, noklikšķiniet uz APIs & Services (API un pakalpojumi) un pēc tam noklikšķiniet uz Library (Bibliotēka). - Aktivizējiet BigQuery.
Sadaļā Google Cloud APIs noklikšķiniet uz BigQuery API. Nākamajā lapā noklikšķiniet uz Enable (Iespējot). - Ja tas tiek lūgts, izskatiet pakalpojumu sniegšanas noteikumus un piekrītiet tiem.
2. darbība. Projekta sagatavošana funkcijas BigQuery Export izmantošanai
Varat eksportēt Google Analytics datus uz BigQuery smilškasti bez maksas (spēkā ir smilškastes ierobežojumi).
Uzziniet vairāk par jaunināšanu no smilškastes un par BigQuery cenām.
3. darbība. Google Analytics 4 īpašuma saistīšana ar BigQuery
Pēc pirmo divu darbību veikšanas Analytics konta sadaļā “Administrēšana” varēsiet iespējot funkciju BigQuery Export.
Uz funkciju BigQuery Export attiecas tādi paši datu vākšanas un konfigurācijas ierobežojumi kā pakalpojumā Google Analytics. Ja jums ir nepieciešami augstāki ierobežojumi, varat jaunināt savu īpašumu uz līmeni 360.
Pierakstoties pakalpojumā Analytics, izmantojiet e-pasta adresi, kurai ir ĪPAŠNIEKA piekļuve (skatiet tālāk pieejamo sadaļu Atļaujas, kurā ir sniegtas detalizētākas prasības attiecībā uz piekļuvi) BigQuery projektam, kā arī redaktora loma Analytics īpašumā, kas ietver to datu straumi, kuru vēlaties saistīt.
- Lapas Administrēšana sadaļā Produktu saites noklikšķiniet uz BigQuery saites.
- Noklikšķiniet uz Saistīt.
- Noklikšķiniet uz Izvēlēties BigQuery projektu, lai skatītu to projektu sarakstu, kuriem jums ir piekļuve.
Ja esat saistījis Analytics un Firebase (vai plānojat to darīt), izvērtējiet iespēju eksportēt uz vienu un to pašu mākoņprojektu, kas atvieglos apvienošanu ar citiem Firebase datiem. - Sarakstā atlasiet projektu un pēc tam noklikšķiniet uz Apstiprināt.
- Atlasiet datu atrašanās vietu. (Ja jūsu projektam jau ir Analytics īpašuma datu kopa, šo opciju nevar konfigurēt.)
- Noklikšķiniet uz Tālāk.
- Atlasiet opciju Konfigurēt datu straumes un notikumus, lai izvēlētos datu straumes, ko iekļaut eksportēšanā, un konkrētus notikumus, ko izslēgt no eksportēšanas. Varat izslēgt notikumus, noklikšķinot uz Pievienot, lai atlasītu kādu no esošo notikumu saraksta, vai noklikšķinot uz Norādīt notikuma nosaukumu, lai izvēlētos esošos notikumus pēc nosaukuma vai norādītu to notikumu nosaukumus, kuri īpašumā vēl netiek vākti.
- Noklikšķiniet uz Gatavs.
- Ja vēlaties iekļaut reklamēšanas identifikatorus, atlasiet Iekļaut reklamēšanas identifikatorus mobilo lietotņu straumēm.
- Atlasiet datu eksportēšanas veidu Katru dienu (reizi dienā), vai Straumēšana (nepārtraukti) vai abus šos veidus.
- Noklikšķiniet uz Tālāk.
- Pārskatiet iestatījumus un pēc tam noklikšķiniet uz Iesniegt.
Atļaujas
Projekta getIamPolicy/setIamPolicy tiesības, pakalpojumu get/enable tiesības
OWNER (Īpašnieks) ir šo atļauju galvenā kopa.Lai izveidotu BigQuery saiti, nepieciešamas vismaz tālāk norādītās atļaujas.
resourcemanager.projects.get- Lai iegūtu projektu
resourcemanager.projects.getIamPolicy- Lai iegūtu atļauju sarakstu
resourcemanager.projects.setIamPolicy- Lai pārbaudītu, vai lietotājam ir atļauja izveidot saiti ar šo projektu
serviceusage.services.enable- Lai iespējotu BigQuery API
serviceusage.services.get- Lai pārbaudītu, vai BigQuery API ir iespējota
Pakalpojuma konta verificēšana
Saistot Analytics un BigQuery, tiek izveidots tālāk norādītais pakalpojuma konts.
firebase-measurement@system.gserviceaccount.com
Pārliecinieties, vai konts ir pievienots kā projekta dalībnieks un tam ir piešķirta BigQuery lietotāja loma (roles/bigquery.user).
Ja iepriekš iestatījāt funkciju BigQuery Export, lai savam pakalpojuma kontam Google mākoņprojektā piešķirtu redaktora lomu, varat pazemināt šīs lomas līmeni uz BigQuery lietotāja lomu. Lai mainītu pakalpojuma konta lomu, jums ir jāatsaista Analytics konts un pēc tam atkārtoti jāsaista tas ar savu BigQuery projektu. Vispirms atsaistiet Analytics un BigQuery un noņemiet pakalpojuma kontu ar redaktora lomu. Pēc tam atkārtoti saistiet Analytics un BigQuery, izpildot iepriekš sniegtos norādījumus, lai izveidotu jaunu pakalpojuma kontu ar pareizo projekta atļauju.
Pēc atkārtotas saistīšanas pārliecinieties, vai pakalpojuma kontam esošajā eksportēšanas datu kopā ir īpašnieka (bigquery.dataOwner) loma. Lai to paveiktu, skatiet datu kopas piekļuves politiku.
Reģionu maiņa
Ja izvēlaties nepareizu reģionu un pēc saites izveides tas ir jāmaina, veiciet tālāk norādītās darbības.
- Dzēsiet saiti uz BigQuery (skatīt tālāk).
- Dublējiet datus citā BigQuery datu kopā (pārvietot vai kopēt).
- Dzēsiet sākotnējo datu kopu. Pierakstiet nosaukumu: tas būs nepieciešams nākamajā darbībā.
- Izveidojiet jaunu datu kopu ar tādu pašu nosaukumu, kāda ir tikko dzēstajai datu kopai, un atlasiet datu atrašanās vietu.
- Kopīgojiet jauno datu kopu ar firebase-measurement@system.gserviceaccount.com un piešķiriet pakalpojuma kontam BigQuery datu īpašnieka lomu.
- Iekopējiet dublējuma datus jaunajā datu kopā.
- Atkārtojiet iepriekš aprakstītās darbības, lai izveidotu jaunu saiti uz BigQuery.
Pēc atrašanās vietas mainīšanas būs novērojama datu plaisa: datu straumēšana un datu ikdienas eksportēšana netiks apstrādāta laikā starp esošās saites dzēšanu un jaunās saites izveidi.
Saites uz BigQuery dzēšana
- Lapas Administrēšana sadaļā Produktu saites noklikšķiniet uz BigQuery saites.
- Lai piekļūtu saitei, noklikšķiniet uz rindas.
- Augšējā labajā stūrī noklikšķiniet uz
> Dzēst.
> Dzēst.BigQuery Export ierobežojumi
Izmantojot BigQuery Export, standarta GA4 īpašumiem dienas (grupu) ierobežojums eksportēšanai ir viens miljons notikumu. Straumētu datu eksportēšanai notikumu skaits nav ierobežots. Ja jūsu īpašums pastāvīgi pārsniedz eksportēšanas ierobežojumu, ikdienas BigQuery eksportēšana tiks apturēta un iepriekšējās dienās veiktā eksportēšana netiks atkārtoti apstrādāta.
Īpašumu redaktori un administratori saņems e-pasta paziņojumu katru reizi, kad viņu pārvaldītais īpašums pārsniegs dienas ierobežojumu. Šajā paziņojumā būs norādīts, kad tiks apturēta eksportēšana, ja netiks veiktas nekādas darbības. Turklāt, ja standarta īpašums būtiski pārsniedz viena miljona notikumu dienas ierobežojumu, Analytics var nekavējoties pārtraukt ikdienas eksportēšanu. Ja saņemat paziņojumu, izmantojiet datu filtrēšanas opcijas (datu straumes eksportēšanu un notikumu izslēgšanu), lai samazinātu katru dienu eksportēto notikumu skaitu un gādātu par ikdienas eksportēšanas turpināšanu.
Uzziniet vairāk par augstāku ierobežojumu slieksni, kas pieejams līmeņa 360 īpašumos.
Datu filtrēšana
No eksportēšanas varat izslēgt konkrētas datu straumes un notikumus, lai ierobežotu eksportēšanas apjomu vai nodrošinātu, ka tiek eksportēti tikai vēlamie BigQuery notikumi.
Datu straumju un notikumu izslēgšana saistīšanas procesā
Saistīšanas laikā, atlasot eksportējamās datu straumes, varat atlasīt arī notikumus, kurus izslēgt no eksportēšanas. Skatiet saistīšanas procesa 9. darbību.
Datu straumju un notikumu pievienošana un noņemšana pēc saistīšanas konfigurēšanas
Pēc BigQuery saites konfigurēšanas varat izslēgšanas sarakstam pievienot datu straumes un notikumus vai tos no izslēgšanas saraksta noņemt.
- Lapas Administrēšana sadaļā Produktu saites noklikšķiniet uz BigQuery saites.
- Noklikšķiniet uz tā projekta rindas, kura saiti vēlaties pārveidot.
- Sadaļā Datu straumes un notikumi noklikšķiniet uz Skatīt datu straumes un notikumus.
- Sadaļā Datu straumes eksportēšanai varat atlasīt papildu datu straumes, lai eksportētu vai noņemtu esošās datu straumes no saraksta.
- Sarakstā Notikumi, kas jāizslēdz noklikšķiniet uz Pievienot, lai atlasītu kādu no esošajiem notikumiem, vai noklikšķiniet uz Norādīt notikuma nosaukumu, lai pēc nosaukuma izvēlētos esošus notikumus vai norādītu to notikumu nosaukumus, kas īpašumā vēl netiek vākti.
- Lai noņemtu notikumu no saraksta, noklikšķiniet uz mīnuszīmes attiecīgās rindas beigās.
Cenas un norēķini
BigQuery izmantošana ir par maksu un ietver divus cenu noteikšanas komponentus: krātuvi un vaicājumu apstrādi. Varat pārskatīt cenu tabulu un uzzināt par atšķirībām starp interaktīviem un grupas vaicājumiem.
Lai turpinātu eksportēšanu, mākoņa failā ir nepieciešams derīgs maksājuma veids. Ja eksportēšana tiks pārtraukta nederīga maksājuma veida dēļ, mēs nevarēsim atkārtoti eksportēt datus par šo laika periodu.
Varat arī eksportēt Analytics datus uz BigQuery smilškasti bez maksas, taču ņemiet vērā, ka spēkā ir smilškastes ierobežojumi.
Datu plūsmas saņemšana
Datu plūsmai uz jūsu BigQuery projektu vajadzētu sākties 24 stundu laikā pēc saistīšanas. Ja iespējosiet eksportēšanu katru dienu, tad ik dienas tiks eksportēts viens fails ar datiem par iepriekšējo dienu (parasti tas notiek agrā pēcpusdienā, ņemot vērā pārskatiem iestatīto laika joslu).
Nesekmīgas saistīšanas iemesli
Saites izveide ar BigQuery var neizdoties divu tālāk norādīto iemeslu dēļ.
- Saskaņā ar jūsu organizācijas politiku ir aizliegta eksportēšana uz Amerikas Savienotajām Valstīm. Ja par savu datu atrašanās vietu esat izvēlējies ASV, atlasiet citu atrašanās vietu.
- Saskaņā ar jūsu organizācijas politiku ir aizliegta pakalpojuma kontu izveide domēnā, no kura vēlaties eksportēt datus. Šādā gadījumā ir jāmaina organizācijas politika.
Eksportēšanas kļūdu iemesli
| Kļūdas | Iemesls | Rezultāts |
|---|---|---|
| Nav pakalpojuma konta | Jūsu Cloud projektā nav neviena pakalpojuma konta ar lietotāja lomu. | Analytics nevar izveidot tabulas. Eksportēšana neizdevās. |
| Robota konts pēc instalēšanas tiek izdzēsts | Kāds mākoņa konta lietotājs noņēma Google Analytics instalēto robota pakalpojumu kontu. | Pakalpojumā Analytics vairs nevar izveidot tabulas. Visa eksportēšana ir apturēta. |
| Organizācijas politikas konflikts ar rīku BigQuery Export | Kāds lietotājs Cloud projektā izveidoja organizācijas politiku, kas neļauj pakalpojumam Analytics eksportēt datus. Politika var liegt izveidot BigQuery tabulas vai rakstīt tabulās. Tāpat politikā var būt norādīti iebildumi pret datu krātuves reģionu. | Tabula nav izveidota vai ir izveidota, bet uzreiz (~30 min. laikā) izdzēsta. |
| Lietotājs maina norēķinu iestatījumus | Mākoņprojekta lietotājs pāriet no BigQuery bezmaksas versijas uz maksas versiju Parasti tas izdodas, tomēr var rasties kļūmes, piemēram, ja projekta lielums jau pārsniedz 10 GB (smilškastes ierobežojums). Praksē eksportēšana var neizdoties. | Tabulas netiek aizpildītas. |
| Cloud projekts pārsniedz kvotu | Pakalpojumā Cloud lielākajai daļai projektu ir pieejami ierobežoti resursi. Varat pārsniegt BigQuery krātuves kvotu, un pēc tam jūs nevarēsiet rakstīt vairāk datu. Ņemiet vērā, ka šī kvota bezmaksas projektiem ir maza (10 GB). | Tabulas netiek aizpildītas. |
| Lietotājs maina īpašuma laika joslu | Eksportēšanā tiek veikts īpašuma 24 stundu momentuzņēmums, pamatojoties uz īpašuma laika joslu. Ja laika josla mainās, eksportēšanas logs attiecīgā dienā var tikt samazināts vai palielināts (piemēram, par trijām stundām mazāks, ja laika josla ir mainīta no ASV Austrumu standarta laika uz ASV Klusā okeāna piekrastes laiku). Abos gadījumos lietotājs redzēs neparastu notikumu skaitu. | Vienas dienas ar neparastu notikumu skaitu. Vispārīga lietotāja maldināšana. |
Atbalsts
Ja radušās problēmas ar BigQuery, piemēram, ar norēķiniem, sazinieties ar Google Cloud atbalstu.
Saistītie resursi
BigQuery Export
Informācija par eksportēšanu un piekļuvi parauga datu kopai ir pieejama BigQuery Export dokumentācijā.