- שלב 1: יצירת פרויקט חדש במסוף Google Cloud והפעלת BigQuery
- שלב 2: הכנת הפרויקט ל-BigQuery Export
- שלב 3: קישור BigQuery אל נכסי Google Analytics 4
- מחיקת קישור ל-BigQuery
- המגבלות של BigQuery Export
- סינון נתונים
- תמחור וחיוב
- מתי תתחילו לראות נתונים
- סיבות לכשלים בקישור
- סיבות לכשלים בייצוא
- מקורות מידע קשורים
שלב 1: יצירת פרויקט ב-Google API Console והפעלת BigQuery
- מתחברים אל מסוף Google Cloud.
- יוצרים פרויקט חדש במסוף Google Cloud או בוחרים פרויקט קיים.
- עוברים לטבלת ממשקי ה-API.
פותחים את תפריט הניווט בפינה השמאלית העליונה, לוחצים על APIs & Services (ממשקי API ושירותים), ואז לוחצים על Library (ספרייה). - מפעילים את BigQuery.
בקטע Google Cloud APIs, לוחצים על BigQuery API. בדף הבא לוחצים על Enable (הפעלה). - אם תופיע בקשה, תצטרכו לקרוא את התנאים וההגבלות ולאשר אותם.
שלב 2: הכנת הפרויקט ל-BigQuery Export
ניתן לייצא נתונים מ-Google Analytics ל-Sandbox של BigQuery בחינם (בכפוף למגבלות של ה-Sandbox).
בקישורים הבאים מפורט מידע נוסף על שדרוג מ-Sandbox ועל התמחור של BigQuery.
שלב 3: קישור של נכס Google Analytics 4 ל-BigQuery
אחרי השלמת שני השלבים הראשונים, תוכלו להפעיל את BigQuery Export דרך הדף 'ניהול' ב-Analytics.
ב-BigQuery Export חלות אותן מגבלות בנוגע לאיסוף ולהגדרות האישיות שקיימות ב-Google Analytics. אם אתם צריכים להרחיב את המגבלות, אתם יכולים לשדרג את הנכס ל-360.
כשנכנסים ל-Analytics, צריך להשתמש בכתובת אימייל עם הרשאת בעלים (בקטע הרשאות שבהמשך מופיעות דרישות מפורטות יותר לגבי ההרשאות) בפרויקט BigQuery, ועם הרשאת עריכה בנכס Analytics שכולל את מקור הנתונים שרוצים לקשר.
- בדף ניהול, בקטע קישורי מוצרים, לוחצים על קישורים ל-BigQuery.
- לוחצים על קישור.
- לוחצים על בחירת פרויקט ב-BigQuery כדי להציג את רשימת הפרויקטים שיש לכם הרשאה בהם.
אם קישרתם בין Analytics לבין Firebase (או אם אתם מתכננים לעשות זאת), מומלץ לייצא לאותו פרויקט ב-Cloud כדי שיהיה נוח יותר להריץ שאילתות איחוד (join) עם נתונים אחרים ב-Firebase. - בוחרים פרויקט מהרשימה ולאחר מכן לוחצים על אישור.
- בוחרים את המיקום של הנתונים (אם הפרויקט כבר כולל מערך נתונים עבור הנכס ב-Analytics, לא ניתן להגדיר את האפשרות הזו).
- לוחצים על הבא.
- כדי לבחור את מקורות הנתונים שיהיו כלולים בייצוא ואת האירועים הספציפיים שיוחרגו מהייצוא, בוחרים את האפשרות הגדרה של אירועים ומקורות נתונים. אם רוצים להחריג אירועים, אפשר ללחוץ על הוספה כדי לבחור מתוך רשימה של אירועים קיימים, או ללחוץ על ציון אירוע לפי שם כדי לבחור אירועים קיימים לפי שם או כדי לציין שמות של אירועים שעדיין לא נאספו בנכס.
- לוחצים על סיום.
- אם רוצים לכלול מזהי פרסום, צריך לבחור את האפשרות הכללה של מזהי פרסום עבור מקורות נתונים של אפליקציות.
- בוחרים את אחת מהאפשרויות הבאות או את שתיהן: ייצוא נתונים יומי (פעם ביום) או ייצוא נתונים בסטרימינג (באופן רציף).
- לוחצים על הבא.
- בודקים את ההגדרות ולוחצים על שליחה.
הרשאות
הרשאות getIamPolicy/setIamPolicy בפרויקט, הרשאות get/enable בשירותים
בעלים היא קבוצת-על של ההרשאות האלה.כדי ליצור קישור ל-BigQuery, דרושות ההרשאות המינימליות הבאות:
resourcemanager.projects.get- כדי לקבל את הפרויקט
resourcemanager.projects.getIamPolicy- כדי לקבל רשימת הרשאות
resourcemanager.projects.setIamPolicy- כדי לבדוק אם למשתמש יש הרשאה ליצור את הקישור בפרויקט הזה
serviceusage.services.enable- כדי להפעיל את BigQuery API
serviceusage.services.get- כדי לבדוק אם BigQuery API מופעל
אימות של חשבון השירות
כשמקשרים את Analytics ל-BigQuery, נוצר חשבון השירות הבא:
firebase-measurement@system.gserviceaccount.com
מוודאים שהחשבון נוסף כחבר בפרויקט ושהוקצה לו התפקיד BigQuery User (roles/bigquery.user) (משתמש ב-BigQuery).
אם כבר הגדרתם שהמערכת של BigQuery Export תעניק לחשבון השירות שלכם את תפקיד העריכה בפרויקט ב-Google Cloud, אתם יכולים להוריד את רמת התפקיד ל-BigQuery User (משתמש ב-BigQuery). כדי לשנות את התפקיד של חשבון השירות, צריך לבטל את הקישור של Analytics לפרויקט BigQuery ואז לקשר מחדש. השלב הראשון הוא לבטל את הקישור בין Analytics לבין BigQuery ולהסיר את חשבון השירות עם הרשאת העריכה. לאחר מכן, מבצעים את ההוראות שלמעלה כדי לקשר מחדש בין Analytics לבין BigQuery, ויוצרים חשבון שירות חדש שמוגדרות בו ההרשאות המתאימות לפרויקט.
אחרי הקישור מחדש, מוודאים שלחשבון השירות הוקצה התפקיד Owner (bigquery.dataOwner) (בעלים ב-BigQuery) במערך הנתונים הקיים לייצוא. כדי לעשות זאת, מציגים את מדיניות הגישה של מערך הנתונים.
שינוי האזורים
אם בוחרים אזור שגוי וצריך לשנות אותו אחרי יצירת הקישור:
- מוחקים את הקישור ל-BigQuery (לפי ההוראות שבהמשך).
- מגבים את הנתונים במערך נתונים אחר ב-BigQuery (באמצעות העברה או העתקה).
- מוחקים את מערך הנתונים המקורי. חשוב לשים לב לשם: יש להזין אותו בשלב הבא.
- יוצרים מערך נתונים חדש עם שם שזהה לשם של מערך הנתונים שנמחק, ובוחרים את המיקום של הנתונים.
- משתפים את מערך הנתונים החדש עם firebase-measurement@system.gserviceaccount.com ומעניקים לחשבון השירות את התפקיד BigQuery Data Owner (בעלי הנתונים ב-BigQuery).
- מעתיקים את נתוני הגיבוי למערך הנתונים החדש.
- חוזרים על התהליך שמתואר למעלה כדי ליצור קישור חדש ל-BigQuery.
אחרי שינוי המיקום יווצר פער בנתונים: הסטרימינג והיצוא היומי של הנתונים לא יתקיימו בתקופה שבין מחיקת הקישור הקיים ליצירת הקישור החדש.
מחיקת קישור ל-BigQuery
- בדף ניהול, בקטע קישורי מוצרים, לוחצים על קישורים ל-BigQuery.
- לוחצים על השורה של הקישור.
- בפינה השמאלית העליונה, לוחצים על
> מחיקה.
> מחיקה.המגבלות של BigQuery Export
לנכסי GA4 רגילים יש מגבלת BigQuery Export של מיליון אירועים לייצוא יומי (באצווה). אין הגבלה על מספר האירועים לייצוא בסטרימינג. אם הנכס שלכם יחרוג באופן עקבי ממגבלת הייצוא, הייצוא היומי מ-BigQuery יושהה והייצוא מהימים הקודמים לא יעובד.
עורכים ומנהלים של נכסים יקבלו התראה באימייל בכל פעם שבה נכס שהם מנהלים יחרוג מהמגבלה היומית. בהתראה הזו יצוין המועד שבו הייצוא יושהה אם הבעיה לא תטופל. בנוסף, אם נכס רגיל חורג בצורה משמעותית מהמגבלה היומית של 1,000,000 אירועים, מערכת Analytics עשויה להשהות את הייצוא היומי באופן מיידי. אם אתם מקבלים התראה, אפשר להפחית את נפח האירועים שעוברים ייצוא מדי יום ולהבטיח את המשך הייצוא היומי באמצעות אפשרויות סינון הנתונים (ייצוא מקורות נתונים והחרגת אירועים).
מידע נוסף על המגבלות הרחבות יותר שזמינות בנכסי 360
סינון נתונים
ניתן להחריג אירועים ומקורות נתונים ספציפיים מהייצוא, כדי להגביל את היקף הייצוא או כדי לוודא שאתם מייצאים ל-BigQuery רק את האירועים שאתם רוצים.
החרגה של אירועים ומקורות נתונים במהלך הקישור
במהלך הקישור, כאשר בוחרים את מקורות הנתונים שרוצים לייצא, אפשר גם לבחור אירועים שיוחרגו מהייצוא. ניתן לעיין בשלב 9 בתהליך הקישור.
הוספה או הסרה של מקורות נתונים או של אירועים לאחר שהגדרתם את הקישור
אחרי שמגדירים את הקישור ל-BigQuery, אפשר להוסיף או להסיר מקורות נתונים, ולהוסיף אירועים לרשימת ההחרגות או להסיר אותם ממנה.
- בדף ניהול, בקטע קישורי מוצרים, לוחצים על קישורים ל-BigQuery.
- לוחצים על השורה של הפרויקט שאת הקישור שלו רוצים לשנות.
- בקטע אירועים ומקורות נתונים, לוחצים על הצגה של אירועים ומקורות נתונים.
- בקטע מקורות נתונים לייצוא, אפשר לבחור מקורות נתונים נוספים לייצוא או להסיר מקורות נתונים קיימים מהרשימה.
- ברשימת האירועים להחרגה, לוחצים על הוספה כדי לבחור מתוך רשימה של אירועים קיימים, או לוחצים על ציון אירוע לפי שם כדי לבחור אירועים קיימים לפי שם או כדי לציין שמות של אירועים שעדיין לא נאספו בנכס.
- כדי להסיר אירוע מהרשימה, לוחצים על סמל המינוס בקצה של אותה שורה.
תמחור וחיוב
החיובים ב-BigQuery חלים על השימוש לפי שני רכיבי תמחור: אחסון ועיבוד שאילתות. אפשר לעיין בטבלת התמחור כדי להבין את ההבדלים בין שאילתות אינטראקטיביות לשאילתות אצווה.
אתם עדיין צריכים להגדיר אמצעי תשלום תקף ב-Could כדי שהיצוא יימשך. אם הייצוא ייקטע עקב אמצעי תשלום לא תקף, לא נוכל לייצא מחדש את הנתונים שהתקבלו בזמן הזה.
ניתן גם לייצא נתונים מ-Analytics ל-Sandbox של BigQuery בחינם, אבל חשוב לשים לב שהייצוא כפוף למגבלות של ה-Sandbox.
מתי תתחילו לראות נתונים
אחרי השלמת הקישור, הנתונים יתחילו לזרום לפרויקט BigQuery תוך 24 שעות. אם תפעילו ייצוא יומי, המערכת תייצא בכל יום קובץ אחד שמכיל את הנתונים מהיום הקודם (בדרך כלל בשעות הצהריים באזור הזמן שהוגדר לצורך הדיווח).
סיבות לכשלים בקישור
יצירת הקישור ל-BigQuery יכולה להיכשל מאחת מהסיבות האלה:
- במדיניות הארגון נאסר ייצוא לארצות הברית. אם המיקום שבחרתם לנתונים הוא ארצות הברית, עליכם לבחור מיקום אחר.
- במדיניות הארגון נאסר לייצא נתונים מהדומיין של חשבונות השירות שבחרתם. במקרה כזה צריך לשנות את מדיניות הארגון.
סיבות לכשלים בייצוא
| כשל | סיבה | תוצאה |
|---|---|---|
| אין חשבון שירות | בפרויקט ב-Cloud אין חשבון שירות עם התפקיד User (משתמש). | מערכת Analytics לא יכולה ליצור טבלאות. הייצוא נכשל. |
| החשבון הרובוטי נמחק לאחר ההתקנה | משתמש בחשבון Cloud הסיר את חשבון השירות הרובוטי שהותקן על ידי Google Analytics. | מערכת Analytics לא יכולה יותר ליצור טבלאות. כל פעולות הייצוא מופסקות. |
| התנגשות בין מדיניות הארגון לבין BigQuery Export | משתמש בפרויקט Cloud יצר מדיניות ארגון שמונעת מ-Analytics לייצא נתונים. המדיניות עלולה למנוע יצירה של טבלאות BigQuery או כתיבה בטבלאות. בנוסף, המדיניות עלולה להוביל להתנגשות בנוגע לאזור האחסון של הנתונים. | הטבלה לא נוצרת, או נוצרת ונמחקת לאחר זמן קצר (כ-30 דקות). |
| המשתמש משנה את הגדרות החיוב | משתמש בפרויקט Cloud עובר משימוש ב-BigQuery בחינם לשימוש ב-BigQuery בתשלום. השינוי בדרך כלל לא גורם לבעיות, אבל בחלק מהמקרים עשויים להיגרם כשלים, למשל אם הפרויקט כבר חרג מ-10GB (מגבלת ארגז החול). בפועל, אחרי השינוי ייתכנו כשלים בייצוא. | הטבלאות לא מאוכלסות. |
| פרויקט ב-Cloud חורג מהמכסה | לרוב הפרויקטים ב-Cloud מוקצים משאבים מוגבלים. חריגה ממכסת האחסון ב-BigQuery מובילה למניעת כתיבה של נתונים נוספים. חשוב לזכור שבפרויקטים חינמיים מדובר במכסה קטנה (10GB). | הטבלאות לא מאוכלסות. |
| המשתמש משנה את אזור הזמן של הנכס | הייצוא מהווה תמונת מצב של הנכס שמשקפת 24 שעות, על בסיס אזור הזמן של הנכס. אם אזור הזמן משתנה, חלון הייצוא עשוי להתקצר או להתארך ביום מסוים (למשל חלון קצר יותר בשעתיים אם עוברים משעון ישראל לשעון בריטניה). בכל אחת מהאפשרויות המשתמש יבחין בספירת אירועים חריגה. | ספירת אירועים חריגה ביום אחד. בלבול כללי שנגרם למשתמש. |
תמיכה
כדי לטפל בבעיות שקשורות ל-BigQuery, למשל בנושאי חיוב, ניתן לפנות לתמיכה של Google Cloud.
מקורות מידע קשורים
BigQuery Export
כדי לקבל מידע נוסף על הייצוא ולגשת למערך נתונים לדוגמה, ניתן לעיין במסמכי התיעוד של BigQuery Export.