‫[GA4] BigQuery Export

Exporting Data from Google Analytics 4 Properties to BigQuery

כדי להציג כתוביות בשפה שלכם, אפשר להפעיל את הכתוביות ב-YouTube. לוחצים על סמל ההגדרות בחלק התחתון של נגן הווידאו, לוחצים על 'כתוביות' ואז בוחרים את השפה הרצויה.

---

‫BigQuery הוא מחסן נתונים בענן שמאפשר להריץ שאילתות ברמת ביצועים גבוהה על מערכי נתונים גדולים.

אתם יכולים לייצא ל-BigQuery את כל נתוני האירועים הגולמיים מנכסי Google Analytics 4 (כולל נכסי משנה ונכסי-על), ואז להשתמש בתחביר דמוי-SQL כדי להריץ שאילתות על הנתונים האלה. ב-BigQuery, אפשר לייצא את הנתונים להתקן אחסון חיצוני, או לייבא נתונים חיצוניים כדי לשלב אותם עם הנתונים מ-Analytics.

שימו לב: אי אפשר לייצא בקשות להוספת נתוני מוצרים שמקושרים אל GA4. פלטפורמת BigQuery כוללת רק את נתוני האירועים הגולמיים שמתקבלים ב-GA4 מאפליקציית הלקוח.

כשאתם מייצאים נתונים ל-BigQuery, אתם מוגדרים כבעלים של הנתונים ויכולים להשתמש ברשימות ACL של BigQuery כדי לנהל הרשאות בפרויקטים ובמערכי נתונים.

הערה: אחרי שמייצאים נתונים מ-Analytics ל-BigQuery, אי אפשר לייצא אותם שוב.

ייצוא מלא של נתונים מתבצע פעם ביום. בנוסף, הנתונים מיוצאים על בסיס קבוע במהלך היום (ניתן לעיין במידע נוסף למטה, בקטע ייצוא בסטרימינג).

אתם יכולים לייצא נתונים לגרסה החינמית של BigQuery (ארגז החול של BigQuery), אבל אם הייצוא יחרוג מהמגבלות של ארגז החול, תחויבו בתשלום.

לנכסים רגילים יש מגבלת BigQuery Export יומית של מיליון אירועים (1,000,000). מידע נוסף על מגבלות אחרות של BigQuery Export

סוגים של BigQuery Export

מערכת Google Analytics מציעה את אפשרויות הייצוא הבאות ל-BigQuery. זמינות הנתונים לגבי היום הנוכחי שונה בכל אחת מהאפשרויות, אז חשוב שתבחרו באפשרות שמתאימה לצרכי הנתונים ולתקציב שלכם:

סוג הייצוא	מתאים במיוחד אם אתם צריכים...	פרטי הייצוא	מגבלות	נקודות שצריך לשים לב אליהן
ייצוא יומי (נכסים רגילים, נכסי 360)	מערך מלא של נתונים מהיום הקודם, ואם אתם לא זקוקים לנתונים במהירות או שאתם לא לקוחות של 360	ייצוא של כל נתוני האירועים הגולמיים (ללא דגימה) מהיום הקודם, פעם ביום לא מובטח מועד ספציפי בדרך כלל הייצוא מתבצע בשעות אחר הצהריים באזור הזמן של הנכס, אבל הוא עשוי להתעכב ולהתבצע מאוחר יותר באותו יום או ביום הבא הקליק האחרון שנצפה, ללא בניית מודל	נכסים רגילים: עד מיליון אירועים ביום, עם אפשרויות סינון כדי לא לחרוג מהמגבלה נכסי 360: עד 20 מיליארד אירועים ביום	נתונים מסוימים, כמו שיוך למשתמשים, עשויים להתעכב עד 24 שעות. מומלץ לייצא נתוני שיוך משתמשים באופן יומי ולא בסטרימינג.
עדכון יומי של הייצוא (נכסי 360)	לקבל במהירות נתונים מלאים יותר במהלך היום	הנתונים מגיעים בדרך כלל עד השעה 5:00 לפנות בוקר חבילות עדכונים במהלך היום, בדרך כלל תוך 60 דקות אותה סכימה כמו בייצוא היומי השעה שבה הייצוא מתחיל מתבסתת על אזור הזמן של הנכס הקליק האחרון שנצפה, ללא בניית מודל מהיר בהרבה מהייצוא היומי	הסכם רמת השירות (SLA) לא זמין למספר מצומצם של נכסים גדולים במיוחד	התכונה זמינה רק בנכסי 360 "רגילים" ו"גדולים".
סטרימינג (נכסים רגילים, נכסי 360)	נתונים כמעט בזמן אמת (תוך דקות)	ייצוא בזמן אמת של נתוני היום הנוכחי הייצוא מתבצע בהקדם האפשרי, ללא יעדים למדידת רמת השירות (SLO) שמבטיחים את שלמות הנתונים, כך שעשויים להיות פערים בנתונים	אין מגבלות נפח	נתונים על מקורות התנועה של משתמשים חדשים וסשנים חדשים לא נכללים בייצוא

הערה: כל ייצוא כרוך בעלויות אחסון ועיבוד בצד של BigQuery. ייצוא בסטרימינג אל BigQuery כרוך בתוספת תשלום של $0.05 לכל ג'יגה-בייט של נתונים. ג'יגה-בייט אחד של נתונים שווה ערך לכ-600,000 אירועים של Google Analytics, אם כי הערך הזה עשוי להיות שונה בהתאם לגודל האירוע. מידע נוסף על התמחור של BigQuery

ההבדלים בין הממשק של Google Analytics לבין BigQuery Export

ייצוא האירועים ב-BigQuery נותן גישה לנתונים גולמיים ברמת המשתמש והאירוע, בלי הערכים שמערכת Google Analytics מוסיפה לנתונים בדוחות ובכלי הניתוחים הרגילים. לכן, הנתונים מייצוא האירועים ב-BigQuery עשויים להיות שונים מאלה שבממשק של Google Analytics.

כדי לקבל הסבר על ההבדלים בין ייצוא אירועים ב-BigQuery לממשק של Google Analytics, וכדי למצוא דרכים לצמצום ההבדלים האלו כשאפשר, כדאי לעיין במאמר צמצום הפער בין ממשק המשתמש של Google Analytics לבין BigQuery Export.

ייצוא בסטרימינג

אתם יכולים לבחור באפשרות הייצוא בסטרימינג כשאתם מקשרים נכס Google Analytics 4 אל BigQuery.

ייצוא בסטרימינג ב-BigQuery מאפשר לראות נתונים על היום הנוכחי בתוך מספר דקות באמצעות BigQuery Export.

עם אפשרות הייצוא הזו, ל-BigQuery יש מידע עדכני יותר על המשתמשים שלכם ועל התנועה בנכס, ואתם יכולים לנתח את המידע הזה.

כשמשתמשים בייצוא בסטרימינג, המערכת יוצרת לכל יום טבלה חדשה אחת:

• ‫events_intraday_YYYYMMDD: טבלת ביניים פנימית שכוללת רשומות של פעילויות בסשנים שהתרחשו במהלך היום. ייצוא בסטרימינג נועד לספק את המידע הכי מדויק, אבל הוא עשוי שלא לכלול את כל הנתונים מסיבות שונות, כמו עיבוד של אירועים מאוחרים או העלאות שנכשלו. המערכת מייצאת את הנתונים בצורה רציפה במשך היום. הטבלה הזו יכולה לכלול גם רשומות של סשנים שכוללים פעולות ייצוא מרובות. הטבלה נמחקת כשהמערכת מסיימת ליצור את הטבלה events_YYYYMMDD.

אם בוחרים באפשרות היומית כשמגדירים את BigQuery Export, נוצרת גם הטבלה הבאה בכל יום.

• ‫events_YYYYMMDD: כל האירועים שיוצאו ביום מסוים.

מומלץ להריץ שאילתות בטבלה events_YYYYMMDD ולא בטבלה events_intraday_YYYYMMDD כדי לוודא שהשאילתות יתייחסו למערכי נתונים יציבים ביום הרצוי.

מידע נוסף על הטבלאות events_YYYYMMDD ו-events_intraday_YYYYMMDD זמין בסכימת BigQuery Export.

ייצוא בסטרימינג ב-BigQuery לא כולל חלק מנתוני השיוך שמתייחסים למשתמשים חדשים. אלה הנתונים שלא מיוצאים:

• ‫traffic_source.name (המאפיין בדיווח: הקמפיין שדרכו הגיע המשתמש)
• ‫traffic_source.source (המאפיין בדיווח: המקור שממנו הגיע המשתמש)
• ‫traffic_source.medium (המאפיין בדיווח: אמצעי ההגעה לאתר של המשתמש)

נתוני שיוך של משתמשים קיימים נכללים בייצוא, אבל יחלפו כ-24 שעות עד שהעיבוד שלהם יסתיים. לכן מומלץ לא להסתמך על נתונים כאלה מהייצוא בסטרימינג, אלא לעיין בנתוני השיוך שמתקבלים בייצוא היומי המלא.

ייצוא בסטרימינג אל BigQuery כרוך בתוספת תשלום של $0.05 לכל ג'יגה-בייט של נתונים. ג'יגה-בייט אחד של נתונים שווה ערך לכ-600,000 אירועים של Google Analytics, אם כי הערך הזה עשוי להיות שונה בהתאם לגודל האירוע. מידע נוסף על התמחור של BigQuery

עדכון יומי של הייצוא

מעכשיו אתם יכולים לבחור באפשרות "עדכון יומי של הייצוא" בנוסף לאפשרויות של ייצוא יומי וייצוא בסטרימינג. האפשרות "עדכון יומי של הייצוא" זמינה כרגע לנכסי Analytics 360, ואפשר להפעיל כל אחת מ-3 אפשרויות הייצוא בנפרד.

כדי להגדיר עדכון יומי של הייצוא, אתם צריכים להגדיר את החיוב ב-Google Cloud Platform. מידע נוסף על הייצוא היומי ב-BigQuery ‏(GA360)

אות השלמה

בעזרת אות ההשלמה, לקוחות GA360 שמשתמשים באפשרות "עדכון יומי של הייצוא" יכולים לראות מתי כל הנתונים של היום הקודם יוצאו.

כדי לגשת לאות ההשלמה:

1. נכנסים ל-Cloud Logging ועוברים לקטע Logs Explorer.
2. מחפשים את האפשרות export complete (הייצוא הושלם).

יכול להיות שצריך להגדיל את טווח חותמות הזמן ב-Logs Explorer. במקרה כזה תישלח הודעה, בדרך כלל סביב השעה 5:00 לפנות בוקר באזור הזמן של הנכס.

אתם יכולים לראות את אות ההשלמה בקטע Log Router ב-Cloud Logging. אפשר להעביר את הקטע הזה לאזור של נושאי Cloud Pub/Sub.

לוח הזמנים לעדכוני הטבלאות

העדכונים לטבלאות שנוצרו במסגרת BigQuery Export כפופים לאזור הזמן של נכס Analytics שממנו הנתונים מיוצאים. אם מוגדר לנכס אזור זמן אחר, תהיה לכך השפעה על הייצוא ב-BigQuery, מה שעלול להוביל לאי-התאמה בנתונים או לדילוג על הייצוא היומי.

טבלאות של ייצוא בסטרימינג (events_intraday_YYYYMMDD) מתעדכנות באופן רציף לאורך היום (לדוגמה, החל משעה 00:00 ועד השעה 23:59 באזור הזמן של הנכס). ברגע שמתחיל יום חדש באזור הזמן של הנכס, האירועים מתווספים לטבלה חדשה של נתונים שהתקבלו באותו יום.

טבלאות של ייצוא יומי (events_YYYYMMDD) נוצרות אחרי שמערכת Analytics אוספת את כל האירועים שהתרחשו באותו יום. מערכת Analytics תעדכן את הטבלאות היומיות למשך עד 72 שעות אחרי התאריך שלהן. היא תוסיף לכל טבלה אירועים שחותמת הזמן שלהם היא התאריך של הטבלה, כמו חבילות של אירועים שהתקבלו באיחור מ-Measurement Protocol או מערכות Firebase SDK. לדוגמה, אם תאריך הטבלה הוא 01.01.2022, מערכת Analytics תעדכן את הטבלה עד 04.01.2022 ותוסיף לה אירועים שחותמת הזמן שלהם היא 01.01.2022.

מדי פעם, מערכת Analytics עשויה לעדכן את הטבלאות היומיות גם אחרי החלון של 72 השעות, אם הנסיבות מחייבות את Analytics לבצע עיבוד מחדש של נתונים היסטוריים (לדוגמה, אם צריך לתקן באגים כדי לטפל בבעיה בעיבוד).

פינגים ללא קובצי Cookie ונתונים שסופקו על ידי הלקוח

כשמטמיעים את התכונה סטטוס הסכמה, פינגים ללא קובצי Cookie שנאספים על ידי Analytics מוצגים ב-BigQuery Export, יחד עם נתונים שסופקו על ידי הלקוח, כמו user_id (מזהה המשתמש) ומאפיינים מותאמים אישית.

מילוי חוסרים (backfill) של מאפיינים של מקורות תנועה עם הערך Not Available (לא זמין)

אפשר להשתמש במקורות המידע הבאים כדי לחפש GCLID כלשהו במאפיינים של מקורות תנועה שקיבלו קרדיט. חשוב לשים לב שהמזהים wBRAID ו-gBRAID לא נכללים ב-BigQuery Export.

• Google Ads API
• סקריפטים של Google Ads
• שירות העברת נתונים ל-BigQuery עבור Google Ads

כדי למצוא את ה-GCLID של רשומה עם הערך Not Available (לא זמין) בעמודה traffic_source, שולחים שאילתה לגבי השדה GCLID בעמודה collected_traffic_source. כדי להבין איך לחפש פרטי קמפיין ב-Google Ads לפי מזהה GCLID מסוים, אפשר לקרוא את המאמר מילוי נתונים חסרים של מקורות תנועה ב-Google Ads בהקדם האפשרי (GA 360).

‫GA4 – שילוב Firebase ו-BigQuery

אם נכס GA4 ופרויקט Firebase משולבים, אי אפשר לקשר אותם לפרויקטים נפרדים ב-BigQuery.

השוואה בין BigQuery Export ב-Google Analytics 4 לבין BigQuery Export ב-Universal Analytics

Google Analytics 4	Universal Analytics
זמינה ללקוחות עם תכנית Standard (בחינם) וללקוחות של תכנית 360 (בתשלום) מגבלת Standard : מיליון אירועים ביום מגבלת 360 : מיליארדי אירועים ביום	זמינה ללקוחות של 360 (בתשלום)
עלות ייצוא בחינם לארגז החול של BigQuery במסגרת המגבלות של Sandbox נתונים מיוצאים החורגים ממגבלות Sandbox כרוכים בחיובים לפי תנאי החוזה	עלות ייצוא בחינם לארגז החול של BigQuery במסגרת המגבלות של Sandbox נתונים מיוצאים החורגים ממגבלות Sandbox כרוכים בחיובים לפי תנאי החוזה
הגדרה אפשר לכלול מקורות נתונים ספציפיים ולהחריג אירועים ספציפיים עבור כל נכס (יש אפשרות לשלוט על נפח הנתונים שמיוצאים ועל העלות)	הגדרה אפשר לקשר תצוגה מפורטת אחת לכל נכס (כל הנתונים שבתצוגה המפורטת הזו מיוצאים)
ייצוא בסטרימינג ‫0.05$ לכל GB (למידע נוסף על התמחור ב-BigQuery) טבלה שנוצרה: events_intraday_YYYYMMDD הטבלה נמחקת כל יום: אם משתמשים גם באפשרות הייצוא היומי בנוסף לסטרימינג כאשר הטבלה היומית הושלמה הטבלה לא כוללת נתוני קמפיינים של משתמשים, מקורות של משתמשים, או אמצעי הגעה לאתר עבור משתמשים חדשים	ייצוא בסטרימינג ‫0.05$ לכל GB (למידע נוסף על התמחור ב-BigQuery) טבלה שנוצרה: ga_realtime_sessions_YYYYMMDD BigQuery תצוגה מפורטת שנוצרה: ga_realtime_sessions_view_YYYYMMDD
ייצוא יומי טבלה שנוצרה: events_YYYYMMDD	ייצוא יומי טבלאות שנוצרו ga_sessions_intraday_YYYYMMDD מתעדכנת לפחות 3 פעמים ביום כל עדכון מחליף את הנתונים הקודמים נמחקת כאשר הייבוא המלא מיום המחרת הושלם ga_sessions_YYYYMMDD ייבוא יומי מלא
עדכון יומי של הייצוא זמין בנכסי 360 "רגילים" ו"גדולים" מידע נוסף על ההבדלים בתהליך העיבוד בין ייצוא יומי לבין עדכון יומי של הייצוא	לא רלוונטי
ייצוא, כללי מילוי חוסרים (backfill): ללא מילוי חוסרים מערך נתונים: לכל נכס מקושר יש ליצור מערך נתונים אחד בשם analytics_<מזהה נכס>‎ אם יישמתם סטטוס הסכמה, הייצוא כולל: פינגים ללא קובצי cookie נתונים שסופקו על ידי הלקוח (מזהה משתמש (user_id), מאפיין מותאם אישית)	ייצוא, כללי מילוי חוסרים (backfill): בזמן הקישור, מילוי חוסרים של 13 חודשים של נתונים או 10 מיליארד היטים, הקטן מביניהם (מילוי חוסרים בארגז החול של BigQuery עלול להיכשל) מערך נתונים: לכל תצוגה מפורטת מקושרת, יש ליצור מערך נתונים בשם זהה לשם התצוגה המפורטת
ייצוא סכימה מערכת GA4 מייצאת רק את מקור התנועה שדרכו המשתמש צורף לראשונה אין תמיכה בנתוני UA שיובאו מ-BigQuery כל שורה בטבלת BigQuery מייצגת אירוע נתוני אירועים שהם ייחודיים ל-Google Analytics 4 למרות שיש כמה שדות של Google Analytics 4 שזהים לשדות של Universal Analytics (למשל, device.category ו-device.deviceCategory), יש יותר הבדלים מאשר קווי דמיון בין נתוני אירועים ב-GA4 לנתוני היט ב-UA	ייצוא סכימה שיוך (Attribution) ברמת הסשן בכמה נקודות מגע כל שורה בטבלה ב-BigQuery מייצגת סשן נתוני היט שהם ייחודיים ל-Universal Analytics למרות שיש כמה שדות של Universal Analytics שזהים לשדות של Google Analytics 4 (למשל, device.deviceCategory ו-device.category), יש יותר הבדלים מאשר קווי דמיון בין נתוני היט ב-UA לנתוני אירועים ב-GA4.

מקורות מידע שקשורים לנושא

במדריך למפתחים של BigQuery ניתן למצוא מידע נוסף על:

• ‫Google Analytics ‏(GA4) ו-BigQuery
• Google BigQuery
• רשימות ACL של BigQuery
• תחביר של BigQuery