[GA4] BigQuery Export

Exporting Data from Google Analytics 4 Properties to BigQuery

‫BigQuery הוא מחסן נתונים בענן שאפשר להריץ דרכו שאילתות ברמת ביצועים גבוהה על מערכי נתונים גדולים.

אתם יכולים לייצא את כל נתוני האירועים הגולמיים מנכסי Google Analytics 4 (כולל נכסי משנה ונכסי-על) אל BigQuery, ואז להשתמש בתחביר דמוי-SQL כדי להריץ שאילתות על הנתונים האלה. ב-BigQuery, אפשר לייצא את הנתונים להתקן אחסון חיצוני, או לייבא נתונים חיצוניים כדי לשלב אותם עם הנתונים מ-Analytics.

כשאתם מייצאים נתונים ל-BigQuery, אתם מוגדרים כבעלים של הנתונים ויכולים להשתמש ברשימות ACL של BigQuery כדי לנהל הרשאות בפרויקטים ובמערכי נתונים.

הערה: אחרי שמייצאים נתונים מ-Analytics ל-BigQuery, אי אפשר לייצא אותם שוב.

ייצוא מלא של נתונים מתבצע פעם ביום. בנוסף, הנתונים מיוצאים על בסיס קבוע במהלך היום (ניתן לעיין במידע נוסף למטה, בקטע ייצוא בסטרימינג).

אתם יכולים לייצא נתונים אל מופע חינמי של BigQuery (BigQuery Sandbox‏), אבל אם הייצוא יחרוג מהמגבלות של Sandbox, תחויבו בתשלום.

לנכסים רגילים יש מגבלת BigQuery Export יומית של מיליון אירועים (1,000,000). מידע נוסף על מגבלות אחרות של BigQuery Export.

סוגים של BigQuery Export

מערכת Google Analytics מציעה את אפשרויות הייצוא הבאות ל-BigQuery. לכל אחת מהן זמינות נתונים שונה לגבי היום הנוכחי, ואתם יכולים לבחור באפשרות הרצויה בהתאם לצורכי הנתונים ולתקציב שלכם:

סוגי ייצוא	מתאים במיוחד אם אתם צריכים...	פרטי הייצוא	מגבלות	נקודות שצריך לשים לב אליהן:
ייצוא יומי (רגיל, 360)	מערך מלא של נתונים מהיום הקודם, ואם אתם לא זקוקים לנתונים במהירות או שאתם לא לקוחות של 360	ייצוא של כל נתוני האירועים הגולמיים והמלאים (לא מדגמיים) מהיום הקודם, פעם ביום לא מובטח מועד ספציפי בדרך כלל הייצוא מתבצע בשעות אחר הצהריים באזור הזמן של הנכס, אבל הוא עשוי להתעכב עד שעה מאוחרת יותר באותו יום או להתבצע למחרת. הקליק האחרון שנצפה, ללא בניית מודל	נכסים רגילים: עד מיליון אירועים ביום, עם אפשרויות סינון כדי לא לחרוג מהמגבלה נכסי 360: עד 20 מיליארד אירועים ביום	נתונים מסוימים, כמו שיוך למשתמשים, עשויים להתעכב עד 24 שעות. מומלץ לייצא נתוני שיוך משתמשים באמצעות ייצוא יומי ולא בסטרימינג.
עדכון יומי של הייצוא (360)	לקבל במהירות נתונים מלאים יותר במהלך היום	הנתונים מגיעים בדרך כלל עד השעה 5:00 חבילות עדכונים במהלך היום, בדרך כלל תוך 60 דקות אותה סכימה כמו בייצוא היומי הייצוא מתחיל על סמך אזור הזמן של הנכס הקליק האחרון שנצפה, ללא בניית מודל מהיר בהרבה מהייצוא היומי	הסכם רמת השירות (SLA) לא זמין למספר מצומצם של נכסים גדולים במיוחד	התכונה זמינה רק בנכסי 360 'רגילים' ו'גדולים'.
סטרימינג (רגיל, 360)	נתונים כמעט בזמן אמת (תוך דקות)	ייצוא בזמן אמת של נתוני היום הנוכחי הייצוא מתבצע בהקדם האפשרי	אין מגבלות נפח	נתונים על מקורות התנועה של משתמשים חדשים וסשנים חדשים לא נכללים בייצוא

הערה: כל ייצוא כרוך בעלויות אחסון ועיבוד בצד של BigQuery. ייצוא בסטרימינג אל BigQuery כרוך בתוספת תשלום בתעריף של $0.05 לכל ג'יגה-בייט של נתונים. ‫1 ג'יגה-בייט של נתונים שווה ערך לכ-600,000 אירועים של Google Analytics, אם כי המספר משתנה בהתאם לגודל האירוע. מידע נוסף על התמחור של BigQuery

ההבדלים בין הממשק של Google Analytics לבין BigQuery Export

ייצוא האירועים ב-BigQuery נותן גישה לנתונים גולמיים ברמת המשתמש והאירוע, בלי תוספות של ערכים ששירות Google Analytics מוסיף לנתונים המופיעים בדוחות ובכלי הניתוחים הרגילים. לכן, הנתונים מייצוא האירועים ב-BigQuery עשויים להיות שונים מאלה שבממשק של Google Analytics.

כדי לקבל הסבר על ההבדלים בין ייצוא אירועים ב-BigQuery לממשק של Google Analytics, וכדי למצוא דרכים לצמצום ההבדלים האלו כשאפשר, כדאי לעיין במאמר צמצום הפער בין ממשק המשתמש של Google Analytics לבין BigQuery Export.

ייצוא בסטרימינג

אתם יכולים לבחור באפשרות הייצוא בסטרימינג כשאתם מקשרים נכס Google Analytics 4 אל BigQuery.

ייצוא בסטרימינג ב-BigQuery מאפשר לראות נתונים על היום הנוכחי בתוך מספר דקות באמצעות BigQuery Export.

כשאתם משתמשים באפשרות הייצוא הזו, ל-BigQuery יש מידע עדכני יותר על המשתמשים שלכם ועל התנועה בנכס, ואתם יכולים לנתח את המידע הזה.

כשמשתמשים בייצוא בסטרימינג, המערכת יוצרת לכל יום טבלה חדשה אחת:

• ‫events_intraday_YYYYMMDD: טבלת ביניים פנימית שכוללת רשומות של פעילויות בסשנים שהתרחשו במהלך היום. ייצוא בסטרימינג הוא הפעולה שתביא לתוצאות הטובות ביותר. פעולה כזו עשויה שלא לכלול את כל הנתונים מסיבות שונות, כמו עיבוד של אירועים מאוחרים ו/או העלאות שנכשלו. המערכת מייצאת את הנתונים בצורה רציפה במשך היום. הטבלה הזו יכולה לכלול רשומות של סשן כשהוא כולל פעולות ייצוא מרובות. הטבלה הזו נמחקת כשהמערכת מסיימת ליצור את הטבלה events_YYYYMMDD.

אם בוחרים באפשרות היומית כשמגדירים את BigQuery Export, נוצרת גם הטבלה הבאה בכל יום.

• events_YYYYMMDD: כל האירועים שיוצאו ביום מסוים.

כדי ליצור שאילתות לגבי מערכי נתונים יציבים עבור היום הרצוי, מומלץ להפעיל אותן בטבלה events_YYYYMMDD ולא בטבלה events_intraday_YYYYMMDD.

מידע נוסף על הטבלאות events_YYYYMMDD ו-events_intraday_YYYYMMDD זמין בסכימת BigQuery Export.

כשמייצאים בסטרימינג מ-BigQuery, המערכת לא מייצאת חלק מנתוני השיוך למשתמשים שמתייחסים למשתמשים חדשים. אלה הנתונים שלא מיוצאים:

• ‫traffic_source.name (המאפיין בדיווח: הקמפיין שדרכו הגיע המשתמש)
• ‫traffic_source.source (המאפיין בדיווח: המקור שממנו הגיע המשתמש)
• ‫traffic_source.medium (המאפיין בדיווח: אמצעי ההגעה לאתר של המשתמש)

נתוני שיוך של משתמשים קיימים נכללים בייצוא, אבל יחלפו כ-24 שעות עד שהעיבוד שלהם יסתיים. לכן מומלץ לא להסתמך על הנתונים האלה שמתקבלים מהייצוא בסטרימינג, אלא לעיין בנתוני השיוך של משתמשים שמתקבלים בייצוא היומי המלא.

ייצוא בסטרימינג אל BigQuery כרוך בתוספת תשלום בתעריף של $0.05 לכל ג'יגה-בייט של נתונים. ‫1 ג'יגה-בייט של נתונים שווה ערך לכ-600,000 אירועים של Google Analytics, אם כי המספר משתנה בהתאם לגודל האירוע. מידע נוסף על התמחור של BigQuery

עדכון יומי של הייצוא

מעכשיו אתם יכולים לבחור באפשרות 'עדכון יומי של הייצוא' בנוסף לאפשרויות של ייצא יומי וייצוא בסטרימינג. האפשרות 'עדכון יומי של הייצוא' זמינה כרגע לנכסי Analytics 360, ואפשר להפעיל כל אחת מ-3 אפשרויות הייצוא בנפרד.

כדי להגדיר עדכון יומי של הייצוא, אתם צריכים להגדיר את החיוב ב-Google Cloud Platform.

מגבלות

התכונה 'עדכון יומי של הייצוא' זמינה לנכסי פרימיום 'רגילים' ו'גדולים'. אפשרות הייצוא הזו לא זמינה לנכסי פרימיום מסוג XL.

העדכון היומי של הייצוא מכיל את כל השדות והעמודות של הנתונים שנכללים בייצוא היומי, כולל השיוך למשתמש שתועד ונתוני החשיפה של המודעות. מידע נוסף על הסכימה של BigQuery Export

לוח הזמנים לעדכוני הטבלאות

העדכונים לטבלאות שנוצרו כחלק מהשימוש ב-BigQuery Export כפופים לאזור הזמן שמוגדר בנכס Analytics שממנו הנתונים מיוצאים.

טבלאות של ייצוא בסטרימינג (events_intraday_YYYYMMDD) מתעדכנות באופן רציף לאורך היום (לדוגמה, החל משעה 00:00 ועד השעה 23:59 באזור הזמן של הנכס). ברגע שמתחיל יום חדש באזור הזמן של הנכס, האירועים מתווספים לטבלה חדשה של נתונים שהתקבלו באותו יום.

טבלאות של ייצוא יומי (events_YYYYMMDD) נוצרות אחרי שמערכת Analytics אוספת את כל האירועים שהתרחשו באותו יום. מערכת Analytics תעדכן את הטבלאות היומיות למשך עד 72 שעות אחרי התאריך של הטבלה עם האירועים שחותמת הזמן שלהם היא התאריך של הטבלה. לדוגמה, חבילות של אירועים שהתקבלו באיחור מ-Measurement Protocol או מערכות Firebase SDK. לדוגמה, אם תאריך הטבלה הוא 01.01.2022, מערכת Analytics תעדכן את הטבלה עד 04.01.2022 ותוסיף לה אירועים שחותמת הזמן שלהם היא 01.01.2022.

מדי פעם, מערכת Analytics עשויה לעדכן את הטבלאות היומיות גם אחרי החלון של 72 השעות, בהתאם לנסיבות שמחייבות את Analytics לבצע עיבוד מחדש של נתונים היסטוריים (לדוגמה, תיקון באגים שמטפל בבעיה בעיבוד).

העדכון היומי של הייצוא מתעדכן בערך כל 60 דקות במהלך היום.

פינגים ללא קובצי cookie ונתונים שסופקו על ידי הלקוח

כשמטמיעים את התכונה סטטוס הסכמה, פינגים ללא קובצי cookie שנאספו על ידי Analytics יוצגו ב-BigQuery Export, יחד עם נתונים שסופקו על ידי הלקוח, כמו User-ID ומאפיינים מותאמים אישית.

‫GA4 – שילוב Firebase ו-BigQuery

אם נכס GA4 ופרויקט Firebase משולבים, אי אפשר לקשר אותם לפרויקטים נפרדים ב-BigQuery.

השוואה בין BigQuery Export ב-Google Analytics 4 לבין BigQuery Export ב-Universal Analytics

Google Analytics 4	Universal Analytics
זמינה ללקוחות עם תכנית Standard (בחינם) וללקוחות של תכנית 360 (בתשלום) מגבלת Standard : מיליון אירועים ביום מגבלת 360 : מיליארדי אירועים ביום	זמינה ללקוחות של 360 (בתשלום)
עלות ייצוא בחינם לארגז החול של BigQuery במסגרת המגבלות של Sandbox נתונים מיוצאים החורגים ממגבלות Sandbox כרוכים בחיובים לפי תנאי החוזה	עלות ייצוא בחינם לארגז החול של BigQuery במסגרת המגבלות של Sandbox נתונים מיוצאים החורגים ממגבלות Sandbox כרוכים בחיובים לפי תנאי החוזה
הגדרה אפשר לכלול מקורות נתונים ספציפיים ולהחריג אירועים ספציפיים עבור כל נכס (יש אפשרות לשלוט על נפח הנתונים שמיוצאים ועל העלות)	הגדרה אפשר לקשר תצוגה מפורטת אחת לכל נכס (כל הנתונים שבתצוגה המפורטת הזו מיוצאים)
ייצוא בסטרימינג ‫0.05$ לכל GB (למידע נוסף על התמחור ב-BigQuery) טבלה שנוצרה: events_intraday_YYYYMMDD הטבלה נמחקת כל יום: אם משתמשים גם באפשרות הייצוא היומי בנוסף לסטרימינג כאשר הטבלה היומית הושלמה הטבלה לא כוללת נתוני קמפיינים של משתמשים, מקורות של משתמשים, או אמצעי הגעה לאתר עבור משתמשים חדשים	ייצוא בסטרימינג ‫0.05$ לכל GB (מידע נוסף על התמחור ב-BigQuery) טבלה שנוצרה: ga_realtime_sessions_YYYYMMDD BigQuery תצוגה מפורטת שנוצרה: ga_realtime_sessions_view_YYYYMMDD
ייצוא יומי טבלה שנוצרה: events_YYYYMMDD	ייצוא יומי טבלאות שנוצרו ga_sessions_intraday_YYYYMMDD מתעדכנת לפחות 3 פעמים ביום כל עדכון מחליף את הנתונים הקודמים נמחקת כאשר הייבוא המלא מיום המחרת הושלם ga_sessions_YYYYMMDD ייבוא יומי מלא
עדכון יומי של הייצוא זמין בנכסי 360 'רגילים' ו'גדולים' מכיל את כל השדות והעמודות של הנתונים שנכללים בייצוא היומי, כולל השיוך למשתמש שתועד ונתוני החשיפה של המודעות.	לא רלוונטי
ייצוא, כללי מילוי חוסרים (backfill): ללא מילוי חוסרים מערך נתונים: לכל נכס מקושר יש ליצור מערך נתונים אחד בשם analytics_<מזהה נכס>‎ אם יישמתם סטטוס הסכמה, הייצוא כולל: פינגים ללא קובצי cookie נתונים שסופקו על ידי הלקוח (מזהה משתמש (user_id), מאפיין מותאם אישית)	ייצוא, כללי מילוי חוסרים (backfill): בזמן הקישור, מילוי חוסרים של 13 חודשים של נתונים או 10 מיליארד היטים, הקטן מביניהם (מילוי חוסרים בארגז החול של BigQuery עלול להיכשל) מערך נתונים: לכל תצוגה מפורטת מקושרת, יש ליצור מערך נתונים בשם זהה לשם התצוגה המפורטת
ייצוא סכימה מערכת GA4 מייצאת רק את מקור התנועה שדרכו המשתמש צורף לראשונה אין תמיכה בנתוני UA שיובאו מ-BigQuery כל שורה בטבלת BigQuery מייצגת אירוע נתוני אירועים שהם ייחודיים ל-Google Analytics 4 למרות שיש כמה שדות של Google Analytics 4 שזהים לשדות של Universal Analytics (למשל, device.category ו-device.deviceCategory), יש יותר הבדלים מאשר קווי דמיון בין נתוני אירועים ב-GA4 לנתוני היט ב-UA	ייצוא סכימה שיוך (Attribution) ברמת הסשן בכמה נקודות מגע כל שורה בטבלה ב-BigQuery מייצגת סשן נתוני היט שהם ייחודיים ל-Universal Analytics למרות שיש כמה שדות של Universal Analytics שזהים לשדות של Google Analytics 4 (למשל, device.deviceCategory ו-device.category), יש יותר הבדלים מאשר קווי דמיון בין נתוני היט ב-UA לנתוני אירועים ב-GA4.

מקורות מידע שקשורים לנושא

במדריך למפתחים של BigQuery ניתן למצוא מידע נוסף על:

• Google Analytics ‏(GA4) ו-BigQuery
• Google BigQuery
• רשימות ACL של BigQuery
• תחביר של BigQuery