- 1. darbība. Jauna Google Cloud Console projekta izveide un BigQuery iespējošana
- 2. darbība. Projekta sagatavošana funkcijas BigQuery Export izmantošanai
- 3. darbība. BigQuery saistīšana ar Google Analytics īpašumiem
- Google Cloud Platform (GCP) identitātes un piekļuves pārvaldības (IAM) atļauju verificēšana
- Saites uz BigQuery dzēšana
- BigQuery Export ierobežojumi
- Datu filtrēšana
- Cenas un norēķini
- Datu plūsmas saņemšana
- Nesekmīgas saistīšanas iemesli
- Eksportēšanas kļūdu iemesli
- Saistītie resursi
1. darbība. Google API konsoles projekta izveide un BigQuery iespējošana
- Piesakieties pakalpojumā Google Cloud Console.
- Izveidojiet jaunu Google Cloud Console projektu vai atlasiet esošu projektu.
- Pārejiet uz API tabulu. Augšējā kreisajā stūrī atveriet navigācijas izvēlni, noklikšķiniet uz APIs & Services (API un pakalpojumi) un pēc tam — uz Library (Bibliotēka).
- Aktivizējiet BigQuery. Sadaļā Google Cloud APIs noklikšķiniet uz BigQuery API. Nākamajā lapā noklikšķiniet uz Enable (Iespējot).
- Ja tas tiek lūgts, izskatiet pakalpojumu sniegšanas noteikumus un piekrītiet tiem.
2. darbība. Projekta sagatavošana funkcijas BigQuery Export izmantošanai
Varat eksportēt Google Analytics datus uz BigQuery smilškasti bez maksas (spēkā ir smilškastes ierobežojumi).
Uzziniet vairāk par jaunināšanu no smilškastes un par BigQuery cenām.
3. darbība. Google Analytics īpašuma saistīšana ar BigQuery
Pēc pirmo divu darbību veikšanas Analytics konta sadaļā “Administrēšana” varēsiet iespējot funkciju BigQuery Export.
Uz funkciju BigQuery Export attiecas tādi paši datu vākšanas un konfigurācijas ierobežojumi kā pakalpojumā Google Analytics. Ja jums ir nepieciešami augstāki ierobežojumi, varat jaunināt savu īpašumu uz līmeni 360.
- Lapas Administrēšana: sadaļā Produktu saites noklikšķiniet uz BigQuery saites.
Piezīme. Izmantojot iepriekšējo saiti, tiks atvērts pēdējais Google Analytics īpašums, kam piekļuvāt. Lai atvērtu īpašumu, jums ir jāpierakstās Google kontā. Varat mainīt īpašumu, izmantojot īpašumu atlasītāju.
- Jums ir jābūt Google Analytics konta redaktora vai augstāka līmeņa lomaiīpašuma līmenī uz saistītu Analytics īpašumu ar BigQuery.
- Jums ir arī jāizmanto e-pasta adrese, kurai ir ĪPAŠNIEKA piekļuve BigQuery projektam (detalizētas piekļuves prasības skatiet tālāk sadaļā Atļaujas).
- Noklikšķiniet uz Saistīt.
- Noklikšķiniet uz Izvēlēties BigQuery projektu, lai skatītu to projektu sarakstu, kuriem jums ir piekļuve. Ja esat saistījis Analytics un Firebase (vai plānojat to darīt), ieteicams eksportēt datus uz vienu un to pašu mākoņprojektu, jo tā būs vieglāk apvienot šos datus ar citiem Firebase datiem.
- Sarakstā atlasiet projektu un pēc tam noklikšķiniet uz Apstiprināt.
- Atlasiet datu atrašanās vietu. (Ja jūsu projektam jau ir Analytics īpašuma datu kopa, šo opciju nevar konfigurēt.)
- Noklikšķiniet uz Tālāk.
- Atlasiet opciju Konfigurēt datu straumes un notikumus, lai izvēlētos datu straumes, ko iekļaut eksportēšanā, un konkrētus notikumus, ko izslēgt no eksportēšanas. Varat izslēgt notikumus, noklikšķinot uz Pievienot, lai atlasītu kādu no esošo notikumu saraksta, vai noklikšķinot uz Norādīt notikuma nosaukumu, lai izvēlētos esošos notikumus pēc nosaukuma vai norādītu to notikumu nosaukumus, kuri īpašumā vēl netiek vākti.
- Noklikšķiniet uz Gatavs.
- Ja vēlaties iekļaut reklamēšanas identifikatorus, atlasiet Iekļaut reklamēšanas identifikatorus mobilo lietotņu straumēm.
- Atlasiet datu eksportēšanas veidu Katru dienu (reizi dienā), vai Straumēšana (nepārtraukti) vai abus šos veidus. Analytics 360 īpašumiem varat arī atlasīt opciju Atsvaidzināšana katru dienu.
- Noklikšķiniet uz Tālāk.
- Pārskatiet iestatījumus un pēc tam noklikšķiniet uz Iesniegt.
Atļaujas
Projekta getIamPolicy/setIamPolicy tiesības, pakalpojumu get/enable tiesības
OWNER (Īpašnieks) ir šo atļauju galvenā kopa.Lai izveidotu BigQuery saiti, nepieciešamas vismaz tālāk norādītās atļaujas.
resourcemanager.projects.get- Lai iegūtu projektu
resourcemanager.projects.getIamPolicy- Lai iegūtu atļauju sarakstu
resourcemanager.projects.setIamPolicy- Lai pārbaudītu, vai lietotājam ir atļauja izveidot saiti ar šo projektu
serviceusage.services.enable- Lai iespējotu BigQuery API
serviceusage.services.get- Lai pārbaudītu, vai BigQuery API ir iespējota
Google Cloud Platform (GCP) identitātes un piekļuves pārvaldības (IAM) atļauju verificēšana
Saistot Google Analytics un BigQuery, jūsu BigQuery projekta identitātes un piekļuves pārvaldības (IAM) politika tiek grozīta, lai piešķirtu atļaujas jūsu jaunās Analytics BigQuery saites iebūvētajai resursa identitātei. Uzziniet vairāk par identitātes un piekļuves pārvaldību.
Iebūvētā resursa identitāte ir pieejama BigQuery saites detalizētās informācijas lapā.
Lai pārbaudītu, vai identitātei ir piešķirtas atbilstošas atļaujas, izmantojiet Google Cloud Console, lai pārbaudītu, vai tā ir projekta dalībnieks un vai tai ir piešķirta BigQuery lietotāja loma (roles/bigquery.user).
BigQuery saišu jaunināšana
Piezīme. Ja jums ir vecāka BigQuery saite, iespējams, tajā tiek izmantots mantotais pakalpojuma konts (firebase-measurement@system.gserviceaccount.com), nevis iebūvētā resursa identitāte.
Esošās BigQuery saites, kurās tiek izmantots pakalpojuma konts, joprojām darbosies. Varat arī jaunināt esošo saiti, lai izmantotu iebūvētu resursa identitāti un iegūtu tālāk norādītās priekšrocības.
- Piekļuve eksportēšanas opcijai “Atsvaidzināšana katru dienu”. Uzziniet vairāk par BigQuery jaunāko dienas datu eksportēšanu (GA360).
- Automātisks atbalsts Google Cloud uzņēmumu drošības funkcijām. Uzziniet vairāk par tikai domēna ietvaros veicamu kopīgošanu un VPC pakalpojuma vadīklām.
Lai jauninātu saiti, varat izmantot jaunināšanas paziņojumu, kas redzams BigQuery saites detalizētās informācijas lapā.
Reģionu maiņa
Ja izvēlaties nepareizu reģionu un pēc saites izveides tas ir jāmaina, veiciet tālāk norādītās darbības.
- Dzēsiet saiti uz BigQuery (skatīt tālāk).
- Dublējiet datus citā BigQuery datu kopā (pārvietot vai kopēt).
- Dzēsiet sākotnējo datu kopu. Pierakstiet nosaukumu: tas būs nepieciešams nākamajā darbībā.
- Izveidojiet jaunu datu kopu ar tādu pašu nosaukumu, kāda ir tikko dzēstajai datu kopai, un atlasiet datu atrašanās vietu.
- Kopīgojiet jauno datu kopu ar firebase-measurement@system.gserviceaccount.com un piešķiriet pakalpojuma kontam BigQuery datu īpašnieka lomu.
- Iekopējiet dublējuma datus jaunajā datu kopā.
- Atkārtojiet iepriekš aprakstītās darbības, lai izveidotu jaunu saiti uz BigQuery.
Pēc atrašanās vietas mainīšanas var būt novērojamas datu nepilnības: laikā no esošās saites izdzēšanas līdz jaunās saites izveidei datu straumēšana un datu ikdienas eksportēšana netiks apstrādāta.
Varat arī migrēt datu kopu uz citu reģionu, izmantojot starpreģionu datu kopu replicēšanu. Migrējot datu kopu, varat to kopēt vai pārnest uz citu reģionu, neizdzēšot saiti ar BigQuery. Tā tiek novērstas datu nepilnības starp Analytics īpašumu un BigQuery. Uzziniet vairāk par starpreģionu datu kopu replicēšanu.
Saites uz BigQuery dzēšana
- Lapas Administrēšana: sadaļā Produktu saites noklikšķiniet uz BigQuery saites.
Piezīme. Izmantojot iepriekšējo saiti, tiks atvērts pēdējais Google Analytics īpašums, kam piekļuvāt. Lai atvērtu īpašumu, jums ir jāpierakstās Google kontā. Varat mainīt īpašumu, izmantojot īpašumu atlasītāju.Jums ir jābūt Google Analytics konta redaktora vai augstāka līmeņa lomaiīpašuma līmenī uz dzēstu saiti uz BigQuery.
- Lai piekļūtu saitei, noklikšķiniet uz rindas.
- Augšējā labajā stūrī noklikšķiniet uz
> Dzēst.
> Dzēst.BigQuery Export ierobežojumi
Izmantojot BigQuery Export, standarta Google Analytics īpašumiem dienas (grupu) ierobežojums eksportēšanai ir viens miljons notikumu. Straumētu datu eksportēšanai notikumu skaits nav ierobežots. Ja jūsu īpašums pastāvīgi pārsniedz eksportēšanas ierobežojumu, ikdienas BigQuery eksportēšana tiks apturēta un iepriekšējās dienās veiktā eksportēšana netiks atkārtoti apstrādāta.
Analytics 360 īpašumiem opcijas “Atsvaidzināšana katru dienu” eksporta failā tiek ietverti visi datu lauki un kolonnas, kas tiek uzskatīti par dienas eksporta datiem, tostarp novērotā lietotāja attiecinājuma un reklāmu seansu dati. Uzziniet vairāk par jaunāko dienas datu eksportēšanu.
Īpašumu redaktori un administratori saņems e-pasta paziņojumu katru reizi, kad viņu pārvaldītais īpašums pārsniegs dienas ierobežojumu. Šajā paziņojumā būs norādīts, kad tiks apturēta eksportēšana, ja netiks veiktas nekādas darbības. Turklāt, ja standarta īpašums būtiski pārsniedz viena miljona notikumu dienas ierobežojumu, Analytics var nekavējoties pārtraukt ikdienas eksportēšanu. Ja saņemat paziņojumu, izmantojiet datu filtrēšanas opcijas (datu straumes eksportēšanu un notikumu izslēgšanu), lai samazinātu katru dienu eksportēto notikumu skaitu un gādātu par ikdienas eksportēšanas turpināšanu.
Uzziniet vairāk par augstāku ierobežojumu slieksni, kas pieejams līmeņa 360 īpašumos.
Datu filtrēšana
No eksportēšanas varat izslēgt konkrētas datu straumes un notikumus, lai ierobežotu eksportēšanas apjomu vai nodrošinātu, ka tiek eksportēti tikai vēlamie BigQuery notikumi.
Datu straumju un notikumu izslēgšana saistīšanas procesā
Saistīšanas laikā, atlasot eksportējamās datu straumes, varat atlasīt arī notikumus, kurus izslēgt no eksportēšanas. Skatiet saistīšanas procesa 9. darbību.
Datu straumju un notikumu pievienošana un noņemšana pēc saistīšanas konfigurēšanas
Pēc BigQuery saites konfigurēšanas varat izslēgšanas sarakstam pievienot datu straumes un notikumus vai tos no izslēgšanas saraksta noņemt.
- Lapas Administrēšana: sadaļā Produktu saites noklikšķiniet uz BigQuery saites.
Piezīme. Izmantojot iepriekšējo saiti, tiks atvērts pēdējais Google Analytics īpašums, kam piekļuvāt. Lai atvērtu īpašumu, jums ir jāpierakstās Google kontā. Varat mainīt īpašumu, izmantojot īpašumu atlasītāju.
- Jums ir jābūt Google Analytics konta redaktora vai augstāka līmeņa lomaiīpašuma līmenī uz pievienotu vai noņemtu datu straumes vai notikumus.
- Jums ir arī jāizmanto e-pasta adrese, kurai ir ĪPAŠNIEKA piekļuve BigQuery projektam.
- Noklikšķiniet uz tā projekta rindas, kura saiti vēlaties pārveidot.
- Sadaļā Datu straumes un notikumi noklikšķiniet uz Skatīt datu straumes un notikumus.
- Sadaļā Datu straumes eksportēšanai varat atlasīt papildu datu straumes, lai eksportētu vai noņemtu esošās datu straumes no saraksta.
- Sarakstā Notikumi, kas jāizslēdz noklikšķiniet uz Pievienot, lai atlasītu kādu no esošajiem notikumiem, vai noklikšķiniet uz Norādīt notikuma nosaukumu, lai pēc nosaukuma izvēlētos esošus notikumus vai norādītu to notikumu nosaukumus, kas īpašumā vēl netiek vākti.
- Lai noņemtu notikumu no saraksta, noklikšķiniet uz mīnuszīmes attiecīgās rindas beigās.
Cenas un norēķini
BigQuery izmantošana ir par maksu un ietver divus cenu noteikšanas komponentus: krātuvi un vaicājumu apstrādi. Varat pārskatīt cenu tabulu un uzzināt par atšķirībām starp interaktīviem un grupas vaicājumiem.
Lai turpinātu eksportēšanu, mākoņa failā ir nepieciešams derīgs maksājuma veids. Ja eksportēšana tiks pārtraukta nederīga maksājuma veida dēļ, mēs nevarēsim atkārtoti eksportēt datus par šo laika periodu.
Varat arī eksportēt Analytics datus uz BigQuery smilškasti bez maksas, taču ņemiet vērā, ka spēkā ir smilškastes ierobežojumi.
Datu plūsmas saņemšana
Datu plūsmai uz jūsu BigQuery projektu vajadzētu sākties 24 stundu laikā pēc saistīšanas. Ja iespējosiet eksportēšanu katru dienu, tad ik dienas tiks eksportēts viens fails ar datiem par iepriekšējo dienu (parasti tas notiek agrā pēcpusdienā, ņemot vērā pārskatiem iestatīto laika joslu).
Nesekmīgas saistīšanas iemesli
Saites izveide ar BigQuery var neizdoties divu tālāk norādīto iemeslu dēļ.
- Saskaņā ar jūsu organizācijas politiku ir aizliegta eksportēšana uz Amerikas Savienotajām Valstīm. Ja par savu datu atrašanās vietu esat izvēlējies ASV, atlasiet citu atrašanās vietu.
- Saskaņā ar jūsu organizācijas politiku ir aizliegta pakalpojuma kontu izveide domēnā, no kura vēlaties eksportēt datus. Šādā gadījumā ir jāmaina organizācijas politika.
Eksportēšanas kļūdu iemesli
| Kļūdas | Iemesls | Rezultāts |
|---|---|---|
| Nav pakalpojuma konta | Jūsu Cloud projektā nav neviena pakalpojuma konta ar aktīvā lietotāja lomu. | Analytics nevar izveidot tabulas. Eksportēšana neizdevās. |
| Robota konts pēc instalēšanas tiek izdzēsts | Kāds mākoņa konta lietotājs noņēma Google Analytics instalēto robota pakalpojumu kontu. | Pakalpojumā Analytics vairs nevar izveidot tabulas. Visa eksportēšana ir apturēta. |
| Organizācijas politikas konflikts ar rīku BigQuery Export | Kāds lietotājs Cloud projektā izveidoja organizācijas politiku, kas neļauj pakalpojumam Analytics eksportēt datus. Politika var liegt izveidot BigQuery tabulas vai rakstīt tabulās. Tāpat politikā var būt norādīti iebildumi pret datu krātuves reģionu. | Tabula nav izveidota vai ir izveidota, bet uzreiz (~30 min. laikā) izdzēsta. |
| Lietotājs maina norēķinu iestatījumus | Mākoņprojekta lietotājs pāriet no BigQuery bezmaksas versijas uz maksas versiju Parasti tas izdodas, tomēr var rasties kļūmes, piemēram, ja projekta lielums jau pārsniedz 10 GB (smilškastes ierobežojums). Praksē eksportēšana var neizdoties. | Tabulas netiek aizpildītas. |
| Cloud projekts pārsniedz kvotu | Pakalpojumā Cloud lielākajai daļai projektu ir pieejami ierobežoti resursi. Varat pārsniegt BigQuery krātuves kvotu, un pēc tam jūs nevarēsiet rakstīt vairāk datu. Ņemiet vērā, ka šī kvota bezmaksas projektiem ir maza (10 GB). | Tabulas netiek aizpildītas. |
| Lietotājs maina īpašuma laika joslu | Eksportēšanā tiek veikts īpašuma 24 stundu momentuzņēmums, pamatojoties uz īpašuma laika joslu. Ja laika josla mainās, eksportēšanas logs attiecīgā dienā var tikt samazināts vai palielināts (piemēram, par trijām stundām mazāks, ja laika josla ir mainīta no ASV Austrumu standarta laika uz ASV Klusā okeāna piekrastes laiku). Abos gadījumos lietotājs redzēs neparastu notikumu skaitu. | Vienas dienas ar neparastu notikumu skaitu. Vispārīga lietotāja maldināšana. |
Atbalsts
Ja radušās problēmas ar BigQuery, piemēram, ar norēķiniem, sazinieties ar Google Cloud atbalstu.
Saistītie resursi
BigQuery Export
Informācija par eksportēšanu un piekļuvi parauga datu kopai ir pieejama BigQuery Export dokumentācijā.