BigQuery הוא מחסן נתונים בענן שאפשר להריץ דרכו שאילתות ברמת ביצועים גבוהה על מערכי נתונים גדולים.
אתם יכולים לייצא את כל נתוני האירועים הגולמיים מנכסי Google Analytics 4 (כולל נכסי משנה ונכסי-על) אל BigQuery, ואז להשתמש בתחביר דמוי-SQL כדי להריץ שאילתות על הנתונים האלה. ב-BigQuery, אפשר לייצא את הנתונים להתקן אחסון חיצוני, או לייבא נתונים חיצוניים כדי לשלב אותם עם הנתונים מ-Analytics.
כשאתם מייצאים נתונים ל-BigQuery, אתם מוגדרים כבעלים של הנתונים ויכולים להשתמש ברשימות ACL של BigQuery כדי לנהל הרשאות בפרויקטים ובמערכי נתונים.
ייצוא מלא של נתונים מתבצע פעם ביום. בנוסף, הנתונים מיוצאים על בסיס קבוע במהלך היום (ניתן לעיין במידע נוסף למטה, בקטע ייצוא בסטרימינג).
אתם יכולים לייצא נתונים אל מופע חינמי של BigQuery (BigQuery Sandbox), אבל אם הייצוא יחרוג מהמגבלות של Sandbox, תחויבו בתשלום.
לנכסים רגילים יש מגבלת BigQuery Export יומית של מיליון אירועים (1,000,000). מידע נוסף על מגבלות אחרות של BigQuery Export.
ההבדלים בין הממשק של Google Analytics לבין BigQuery Export
ייצוא האירועים ב-BigQuery נותן גישה לנתונים גולמיים ברמת המשתמש והאירוע, בלי תוספות של ערכים ששירות Google Analytics מוסיף לנתונים המופיעים בדוחות ובכלי הניתוחים הרגילים. לכן, הנתונים מייצוא האירועים ב-BigQuery עשויים להיות שונים מאלה שבממשק של Google Analytics.
כדי לקבל הסבר על ההבדלים בין ייצוא אירועים ב-BigQuery לממשק של Google Analytics, וכדי למצוא דרכים לצמצום ההבדלים האלו כשאפשר, כדאי לעיין במאמר צמצום הפער בין ממשק המשתמש של Google Analytics לבין BigQuery Export.
ייצוא בסטרימינג
אתם יכולים לבחור באפשרות הייצוא בסטרימינג כשאתם מקשרים נכס Google Analytics 4 אל BigQuery.
ייצוא בסטרימינג ב-BigQuery מאפשר לראות נתונים על היום הנוכחי בתוך מספר דקות באמצעות BigQuery Export.
כשאתם משתמשים באפשרות הייצוא הזו, ל-BigQuery יש מידע עדכני יותר על המשתמשים שלכם ועל התנועה בנכס, ואתם יכולים לנתח את המידע הזה.
כשמשתמשים בייצוא בסטרימינג, המערכת יוצרת לכל יום טבלה חדשה אחת:
events_intraday_YYYYMMDD: טבלת ביניים פנימית שכוללת רשומות של פעילויות בסשנים שהתרחשו במהלך היום. ייצוא בסטרימינג הוא הפעולה שתביא לתוצאות הטובות ביותר. פעולה כזו עשויה שלא לכלול את כל הנתונים מסיבות שונות, כמו עיבוד של אירועים מאוחרים ו/או העלאות שנכשלו. המערכת מייצאת את הנתונים בצורה רציפה במשך היום. הטבלה הזו יכולה לכלול רשומות של סשן כשהוא כולל פעולות ייצוא מרובות. הטבלה הזו נמחקת כשהמערכת מסיימת ליצור את הטבלהevents_YYYYMMDD.
אם בוחרים באפשרות היומית כשמגדירים את BigQuery Export, נוצרת גם הטבלה הבאה בכל יום.
events_YYYYMMDD: כל האירועים שיוצאו ביום מסוים.
כדי ליצור שאילתות לגבי מערכי נתונים יציבים עבור היום הרצוי, מומלץ להפעיל אותן בטבלה events_YYYYMMDD ולא בטבלה events_intraday_YYYYMMDD.
מידע נוסף על הטבלאות events_YYYYMMDD ו-events_intraday_YYYYMMDD זמין בסכימת BigQuery Export.
כשמייצאים בסטרימינג מ-BigQuery, המערכת לא מייצאת חלק מנתוני השיוך למשתמשים שמתייחסים למשתמשים חדשים. אלה הנתונים שלא מיוצאים:
- traffic_source.name (המאפיין בדיווח: הקמפיין שדרכו הגיע המשתמש)
- traffic_source.source (המאפיין בדיווח: המקור שממנו הגיע המשתמש)
- traffic_source.medium (המאפיין בדיווח: אמצעי ההגעה לאתר של המשתמש)
נתוני שיוך של משתמשים קיימים נכללים בייצוא, אבל יחלפו כ-24 שעות עד שהעיבוד שלהם יסתיים. לכן מומלץ לא להסתמך על הנתונים האלה שמתקבלים מהייצוא בסטרימינג, אלא לעיין בנתוני השיוך של משתמשים שמתקבלים בייצוא היומי המלא.
ייצוא בסטרימינג אל BigQuery כרוך בתוספת תשלום בתעריף של $0.05 לכל ג'יגה-בייט של נתונים. 1 ג'יגה-בייט של נתונים שווה ערך לכ-600,000 אירועים של Google Analytics, אם כי המספר משתנה בהתאם לגודל האירוע. מידע נוסף על התמחור של BigQuery
לוח הזמנים לעדכוני הטבלאות
העדכונים לטבלאות שנוצרו כחלק מהשימוש ב-BigQuery Export כפופים לאזור הזמן שמוגדר בנכס Analytics שממנו הנתונים מיוצאים.
טבלאות של ייצוא בסטרימינג (events_intraday_YYYYMMDD) מתעדכנות באופן רציף לאורך היום (לדוגמה, החל משעה 00:00 ועד השעה 23:59 באזור הזמן של הנכס). ברגע שמתחיל יום חדש באזור הזמן של הנכס, האירועים מתווספים לטבלה חדשה של נתונים שהתקבלו באותו יום.
טבלאות של ייצוא יומי (events_YYYYMMDD) נוצרות אחרי שמערכת Analytics אוספת את כל האירועים שהתרחשו באותו יום. מערכת Analytics תעדכן את הטבלאות היומיות למשך עד 72 שעות אחרי התאריך של הטבלה עם האירועים שחותמת הזמן שלהם היא התאריך של הטבלה. לדוגמה, חבילות של אירועים שהתקבלו באיחור מ-Measurement Protocol או מערכות Firebase SDK. לדוגמה, אם תאריך הטבלה הוא 01.01.2022, מערכת Analytics תעדכן את הטבלה עד 04.01.2022 ותוסיף לה אירועים שחותמת הזמן שלהם היא 01.01.2022.
מדי פעם, מערכת Analytics עשויה לעדכן את הטבלאות היומיות גם אחרי החלון של 72 השעות, בהתאם לנסיבות שמחייבות את Analytics לבצע עיבוד מחדש של נתונים היסטוריים (לדוגמה, תיקון באגים שמטפל בבעיה בעיבוד).
פינגים ללא קובצי cookie ונתונים שסופקו על ידי הלקוח
כשמטמיעים את התכונה סטטוס הסכמה, פינגים ללא קובצי cookie שנאספו על ידי Analytics יוצגו ב-BigQuery Export, יחד עם נתונים שסופקו על ידי הלקוח, כמו User-ID ומאפיינים מותאמים אישית.
GA4 – שילוב Firebase ו-BigQuery
אם נכס GA4 ופרויקט Firebase משולבים, לא ניתן לקשר אותם לפרויקטים נפרדים ב-BigQuery.
השוואה בין BigQuery Export ב-Google Analytics 4 לבין BigQuery Export ב-Universal Analytics
| Google Analytics 4 | Universal Analytics |
|---|---|
|
זמינה ללקוחות עם תכנית Standard (בחינם) וללקוחות של תכנית 360 (בתשלום) מגבלת Standard : מיליון אירועים ביום מגבלת 360 : מיליארדי אירועים ביום |
זמינה ללקוחות של 360 (בתשלום) |
|
עלות ייצוא בחינם לארגז החול של BigQuery במסגרת המגבלות של Sandbox נתונים מיוצאים החורגים ממגבלות Sandbox כרוכים בחיובים לפי תנאי החוזה |
עלות ייצוא בחינם לארגז החול של BigQuery במסגרת המגבלות של Sandbox נתונים מיוצאים החורגים ממגבלות Sandbox כרוכים בחיובים לפי תנאי החוזה |
|
הגדרה אפשר לכלול מקורות נתונים ספציפיים ולהחריג אירועים ספציפיים עבור כל נכס (יש אפשרות לשלוט על נפח הייצוא והעלות) |
הגדרה אפשר לקשר תצוגה מפורטת אחת לכל נכס (כל הנתונים שבתצוגה המפורטת הזו מיוצאים) |
|
ייצוא בסטרימינג 0.05$ לכל GB (למידע נוסף על התמחור ב-BigQuery) טבלה שנוצרה: events_intraday_YYYMMDD הטבלה נמחקת כל יום:
הטבלה לא כוללת נתוני קמפיינים של משתמשים, מקורות של משתמשים, או אמצעי הגעה לאתר עבור משתמשים חדשים |
ייצוא בסטרימינג 0.05$ לכל GB (למידע נוסף על התמחור ב-BigQuery) טבלה שנוצרה: ga_realtime_sessions_YYYYMMDD BigQuery תצוגה מפורטת שנוצרה: ga_realtime_sessions_view_YYYYMMDD |
|
ייצוא יומי טבלה שנוצרה: events_YYYYMMDD |
ייצוא יומי טבלאות שנוצרו ga_sessions_intraday_YYYYMMDD
ga_sessions_YYYYMMDD
|
|
ייצוא, כללי מילוי חוסרים (backfill): ללא מילוי חוסרים מערך נתונים: לכל נכס מקושר יש ליצור מערך נתונים אחד בשם analytics_<מזהה נכס> אם יישמתם סטטוס הסכמה, הייצוא כולל:
|
ייצוא, כללי מילוי חוסרים (backfill): בזמן הקישור, מילוי חוסרים של 13 חודשים של נתונים או 10 מיליארד היטים, הקטן מביניהם (מילוי חוסרים בארגז החול של BigQuery עלול להיכשל) מערך נתונים: לכל תצוגה מפורטת מקושרת, יש ליצור מערך נתונים בשם זהה לשם התצוגה המפורטת |
|
ייצוא סכימה כל שורה בטבלת BigQuery מייצגת אירוע נתוני אירועים שהם ייחודיים ל-Google Analytics 4 למרות שיש כמה שדות של Google Analytics 4 שזהים לשדות של Universal Analytics (למשל, device.category ו-device.deviceCategory), יש יותר הבדלים מאשר קווי דמיון בין נתוני אירועי GA4 ונתוני היט של UA |
ייצוא סכימה כל שורה בטבלת BigQuery מייצגת סשן נתוני היט שהם ייחודיים ל-Universal Analytics למרות שיש כמה שדות של Universal Analytics שזהים לשדות של Google Analytics 4 (למשל, device.deviceCategory ו-device.category), יש יותר הבדלים מאשר קווי דמיון בין נתוני היט של UA ונתוני אירועי GA4. |
מקורות מידע שקשורים לנושא
במדריך למפתחים של BigQuery ניתן למצוא מידע נוסף על: