‫[GA4] BigQuery Export

Exporting Data from Google Analytics 4 Properties to BigQuery

כדי להציג כתוביות בשפה שלכם, אפשר להפעיל את הכתוביות ב-YouTube. לוחצים על סמל ההגדרות בחלק התחתון של נגן הווידאו, לוחצים על 'כתוביות' ואז בוחרים את השפה הרצויה.

---

‫BigQuery הוא מחסן נתונים בענן שמאפשר להריץ שאילתות ברמת ביצועים גבוהה על מערכי נתונים גדולים.

אתם יכולים לייצא את כל נתוני האירועים הגולמיים מנכסי Google Analytics 4 (כולל נכסי משנה ונכסי-על) אל BigQuery, ואז להשתמש בתחביר דמוי-SQL כדי להריץ שאילתות על הנתונים האלה. ב-BigQuery, אפשר לייצא את הנתונים להתקן אחסון חיצוני, או לייבא נתונים חיצוניים כדי לשלב אותם עם הנתונים מ-Analytics.

שימו לב: בקשות להוספת נתוני מוצרים שקושרו אל GA4 לא מיוצאות. פלטפורמת BigQuery כוללת רק את נתוני האירועים הגולמיים שמתקבלים ב-GA4 מאפליקציית הלקוח.

כשאתם מייצאים נתונים ל-BigQuery, אתם מוגדרים כבעלים של הנתונים ויכולים להשתמש ברשימות ACL של BigQuery כדי לנהל הרשאות בפרויקטים ובמערכי נתונים.

הערה: אחרי שמייצאים נתונים מ-Analytics ל-BigQuery, אי אפשר לייצא אותם שוב.

ייצוא מלא של נתונים מתבצע פעם ביום. בנוסף, הנתונים מיוצאים על בסיס קבוע במהלך היום (ניתן לעיין במידע נוסף למטה, בקטע ייצוא בסטרימינג).

אתם יכולים לייצא נתונים לגרסה החינמית של BigQuery (BigQuery Sandbox‏), אבל אם הייצוא יחרוג מהמגבלות של Sandbox, תחויבו בתשלום.

לנכסים רגילים יש מגבלת BigQuery Export יומית של מיליון אירועים (1,000,000). מידע נוסף על מגבלות אחרות של BigQuery Export

סוגים של BigQuery Export

מערכת Google Analytics מציעה את אפשרויות הייצוא הבאות ל-BigQuery. זמינות הנתונים לגבי היום הנוכחי שונה בכל אחת מהאפשרויות, אז מומלץ לבחור באפשרות שמתאימה לצורכי הנתונים ולתקציב שלכם:

סוג הייצוא	מתאים במיוחד אם אתם צריכים...	פרטי הייצוא	מגבלות	נקודות שצריך לשים לב אליהן
ייצוא יומי (נכסים רגילים, נכסי 360)	מערך מלא של נתונים מהיום הקודם, ואם אתם לא זקוקים לנתונים במהירות או שאתם לא לקוחות של 360	ייצוא של כל נתוני האירועים הגולמיים (ללא דגימה) מהיום הקודם, פעם ביום לא מובטח מועד ספציפי בדרך כלל הייצוא מתבצע בשעות אחר הצהריים באזור הזמן של הנכס, אבל הוא עשוי להתעכב ולהתבצע מאוחר יותר באותו יום או ביום הבא הקליק האחרון שנצפה, ללא בניית מודל	נכסים רגילים: עד מיליון אירועים ביום, עם אפשרויות סינון כדי לא לחרוג מהמגבלה נכסי 360: עד 20 מיליארד אירועים ביום	נתונים מסוימים, כמו שיוך למשתמשים, עשויים להתעכב עד 24 שעות. מומלץ לייצא נתוני שיוך משתמשים באופן יומי ולא בסטרימינג.
עדכון יומי של הייצוא (360)	לקבל במהירות נתונים מלאים יותר במהלך היום	הנתונים מגיעים בדרך כלל עד השעה 5:00 לפנות בוקר חבילות עדכונים במהלך היום, בדרך כלל תוך 60 דקות אותה סכימה כמו בייצוא היומי הייצוא מתחיל על סמך אזור הזמן של הנכס הקליק האחרון שנצפה, ללא בניית מודל מהיר בהרבה מהייצוא היומי	הסכם רמת השירות (SLA) לא זמין למספר מצומצם של נכסים גדולים במיוחד	התכונה זמינה רק בנכסי 360 "רגילים" ו"גדולים".
סטרימינג (נכסים רגילים, נכסי 360)	נתונים כמעט בזמן אמת (תוך דקות)	ייצוא בזמן אמת של נתוני היום הנוכחי הייצוא מתבצע בהקדם האפשרי, ללא יעדים למדידת רמת השירות (SLO) שמבטיחים את שלמות הנתונים, כך שעשויים להיות פערים בנתונים	אין מגבלות נפח	נתונים על מקורות התנועה של משתמשים חדשים וסשנים חדשים לא נכללים בייצוא

הערה: כל ייצוא כרוך בעלויות אחסון ועיבוד בצד של BigQuery. ייצוא בסטרימינג אל BigQuery כרוך בתוספת תשלום בתעריף של $0.05 לכל ג'יגה-בייט של נתונים. ‫1 ג'יגה-בייט של נתונים שווה ערך לכ-600,000 אירועים של Google Analytics, אם כי המספר משתנה בהתאם לגודל האירוע. מידע נוסף על התמחור של BigQuery

ההבדלים בין הממשק של Google Analytics לבין BigQuery Export

ייצוא האירועים ב-BigQuery נותן גישה לנתונים גולמיים ברמת המשתמש והאירוע, בלי הערכים שמערכת Google Analytics מוסיפה לנתונים בדוחות ובכלי הניתוחים הרגילים. לכן, הנתונים מייצוא האירועים ב-BigQuery עשויים להיות שונים מאלה שבממשק של Google Analytics.

כדי לקבל הסבר על ההבדלים בין ייצוא אירועים ב-BigQuery לממשק של Google Analytics, וכדי למצוא דרכים לצמצום ההבדלים האלו כשאפשר, כדאי לעיין במאמר צמצום הפער בין ממשק המשתמש של Google Analytics לבין BigQuery Export.

ייצוא בסטרימינג

אתם יכולים לבחור באפשרות הייצוא בסטרימינג כשאתם מקשרים נכס Google Analytics 4 אל BigQuery.

ייצוא בסטרימינג ב-BigQuery מאפשר לראות נתונים על היום הנוכחי בתוך מספר דקות באמצעות BigQuery Export.

כשאתם משתמשים באפשרות הייצוא הזו, ל-BigQuery יש מידע עדכני יותר על המשתמשים שלכם ועל התנועה בנכס, ואתם יכולים לנתח את המידע הזה.

כשמשתמשים בייצוא בסטרימינג, המערכת יוצרת לכל יום טבלה חדשה אחת:

• ‫events_intraday_YYYYMMDD: טבלת ביניים פנימית שכוללת רשומות של פעילויות בסשנים שהתרחשו במהלך היום. ייצוא בסטרימינג נועד לספק את המידע הכי מדויק, אבל הוא עשוי שלא לכלול את כל הנתונים מסיבות שונות, כמו עיבוד של אירועים מאוחרים או העלאות שנכשלו. המערכת מייצאת את הנתונים בצורה רציפה במשך היום. הטבלה הזו יכולה לכלול גם רשומות של סשנים שכוללים פעולות ייצוא מרובות. הטבלה נמחקת כשהמערכת מסיימת ליצור את הטבלה events_YYYYMMDD.

אם בוחרים באפשרות היומית כשמגדירים את BigQuery Export, נוצרת גם הטבלה הבאה בכל יום.

• ‫events_YYYYMMDD: כל האירועים שיוצאו ביום מסוים.

מומלץ להריץ שאילתות בטבלה events_YYYYMMDD ולא בטבלה events_intraday_YYYYMMDD כדי לוודא שהשאילתות יתייחסו למערכי נתונים יציבים ביום הרצוי,.

מידע נוסף על הטבלאות events_YYYYMMDD ו-events_intraday_YYYYMMDD זמין בסכימת BigQuery Export.

כשמייצאים בסטרימינג מ-BigQuery, המערכת לא מייצאת חלק מנתוני השיוך למשתמשים שמתייחסים למשתמשים חדשים. אלה הנתונים שלא מיוצאים:

• ‫traffic_source.name (המאפיין בדיווח: הקמפיין שדרכו הגיע המשתמש)
• ‫traffic_source.source (המאפיין בדיווח: המקור שממנו הגיע המשתמש)
• ‫traffic_source.medium (המאפיין בדיווח: אמצעי ההגעה לאתר של המשתמש)

נתוני שיוך של משתמשים קיימים נכללים בייצוא, אבל יחלפו כ-24 שעות עד שהעיבוד שלהם יסתיים. לכן מומלץ לא להסתמך על הנתונים האלה שמתקבלים מהייצוא בסטרימינג, אלא לעיין בנתוני השיוך של משתמשים שמתקבלים בייצוא היומי המלא.

ייצוא בסטרימינג אל BigQuery כרוך בתוספת תשלום בתעריף של $0.05 לכל ג'יגה-בייט של נתונים. ‫1 ג'יגה-בייט של נתונים שווה ערך לכ-600,000 אירועים של Google Analytics, אם כי המספר משתנה בהתאם לגודל האירוע. מידע נוסף על התמחור של BigQuery

עדכון יומי של הייצוא

מעכשיו אתם יכולים לבחור באפשרות "עדכון יומי של הייצוא" בנוסף לאפשרויות של ייצוא יומי וייצוא בסטרימינג. האפשרות "עדכון יומי של הייצוא" זמינה כרגע לנכסי Analytics 360, ואפשר להפעיל כל אחת מ-3 אפשרויות הייצוא בנפרד.

כדי להגדיר עדכון יומי של הייצוא, אתם צריכים להגדיר את החיוב ב-Google Cloud Platform. מידע נוסף על הייצוא היומי ב-BigQuery ‏(GA360)

אות השלמה

בעזרת אות ההשלמה, לקוחות GA360 שמשתמשים באפשרות "עדכון יומי של הייצוא" יכולים לראות מתי כל הנתונים של היום הקודם יוצאו.

כדי לגשת לאות ההשלמה:

1. נכנסים ל-Cloud Logging ועוברים לקטע "Logs Explorer".
2. מחפשים את האפשרות export complete (הייצוא הושלם).

יכול להיות שצריך להגדיל את טווח חותמת הזמן ב-Logs Explorer. ההודעה על כך מתקבלת לרוב סביב השעה 5:00 לפנות בוקר באזור הזמן של הנכס.

אתם יכולים לראות את אות ההשלמה בקטע Log Router ב-Cloud Logging, שאותו אפשר להעביר לאזור של נושאי Cloud Pub/Sub.

לוח הזמנים לעדכוני הטבלאות

העדכונים לטבלאות שנוצרו כחלק מהשימוש ב-BigQuery Export כפופים לאזור הזמן שמוגדר בנכס Analytics שממנו הנתונים מיוצאים. שינוי אזור הזמן של הנכס משפיע על הייצוא ב-BigQuery, ועלול להוביל לאי התאמה בנתונים או לדילוג על הייצוא היומי.

טבלאות של ייצוא בסטרימינג (events_intraday_YYYYMMDD) מתעדכנות באופן רציף לאורך היום (לדוגמה, החל משעה 00:00 ועד השעה 23:59 באזור הזמן של הנכס). ברגע שמתחיל יום חדש באזור הזמן של הנכס, האירועים מתווספים לטבלה חדשה של נתונים שהתקבלו באותו יום.

טבלאות של ייצוא יומי (events_YYYYMMDD) נוצרות אחרי שמערכת Analytics אוספת את כל האירועים שהתרחשו באותו יום. מערכת Analytics תעדכן את הטבלאות היומיות למשך עד 72 שעות אחרי התאריך שלהן. היא תוסיף לכל טבלה אירועים שחותמת הזמן שלהם היא התאריך של הטבלה, כמו חבילות של אירועים שהתקבלו באיחור מ-Measurement Protocol או מערכות Firebase SDK. לדוגמה, אם תאריך הטבלה הוא 01.01.2022, מערכת Analytics תעדכן את הטבלה עד 04.01.2022 ותוסיף לה אירועים שחותמת הזמן שלהם היא 01.01.2022.

מדי פעם, מערכת Analytics עשויה לעדכן את הטבלאות היומיות גם אחרי החלון של 72 השעות, בהתאם לנסיבות שמחייבות את Analytics לבצע עיבוד מחדש של נתונים היסטוריים (לדוגמה, תיקון באגים שמטפל בבעיה בעיבוד).

פינגים ללא קובצי Cookie ונתונים שסופקו על ידי הלקוח

כשמטמיעים את התכונה סטטוס הסכמה, פינגים ללא קובצי Cookie שנאספים על ידי Analytics מוצגים ב-BigQuery Export, יחד עם נתונים שסופקו על ידי הלקוח, כמו user_id (מזהה המשתמש) ומאפיינים מותאמים אישית.

מילוי חוסרים (backfill) של מאפיינים של מקורות תנועה עם הערך "לא זמין"

אפשר להשתמש במקורות המידע הבאים כדי לחפש GCLID כלשהו במאפיינים של מקורות תנועה שקיבלו קרדיט. חשוב לשים לב שהמזהים wBRAID ו-gBRAID לא נכללים ב-BigQuery Export.

• Google Ads API
• סקריפטים של Google Ads
• שירות העברת נתונים ל-BigQuery עבור Google Ads

כדי למצוא את ה-GCLID של רשומה עם הערך "לא זמין" בעמודה traffic_source, שולחים שאילתה לגבי השדה GCLID בעמודה collected_traffic_source. כדי לקבל פרטים נוספים על חיפוש פרטי קמפיין ב-Google Ads לפי מזהה GCLID נתון, אפשר לעיין בהסכם רמת השירות של BigQuery Export.

‫GA4 – שילוב Firebase ו-BigQuery

אם נכס GA4 ופרויקט Firebase משולבים, אי אפשר לקשר אותם לפרויקטים נפרדים ב-BigQuery.

השוואה בין BigQuery Export ב-Google Analytics 4 לבין BigQuery Export ב-Universal Analytics

Google Analytics 4	Universal Analytics
זמינה ללקוחות עם תכנית Standard (בחינם) וללקוחות של תכנית 360 (בתשלום) מגבלת Standard : מיליון אירועים ביום מגבלת 360 : מיליארדי אירועים ביום	זמינה ללקוחות של 360 (בתשלום)
עלות ייצוא בחינם לארגז החול של BigQuery במסגרת המגבלות של Sandbox נתונים מיוצאים החורגים ממגבלות Sandbox כרוכים בחיובים לפי תנאי החוזה	עלות ייצוא בחינם לארגז החול של BigQuery במסגרת המגבלות של Sandbox נתונים מיוצאים החורגים ממגבלות Sandbox כרוכים בחיובים לפי תנאי החוזה
הגדרה אפשר לכלול מקורות נתונים ספציפיים ולהחריג אירועים ספציפיים עבור כל נכס (יש אפשרות לשלוט על נפח הנתונים שמיוצאים ועל העלות)	הגדרה אפשר לקשר תצוגה מפורטת אחת לכל נכס (כל הנתונים שבתצוגה המפורטת הזו מיוצאים)
ייצוא בסטרימינג ‫0.05$ לכל GB (למידע נוסף על התמחור ב-BigQuery) טבלה שנוצרה: events_intraday_YYYYMMDD הטבלה נמחקת כל יום: אם משתמשים גם באפשרות הייצוא היומי בנוסף לסטרימינג כאשר הטבלה היומית הושלמה הטבלה לא כוללת נתוני קמפיינים של משתמשים, מקורות של משתמשים, או אמצעי הגעה לאתר עבור משתמשים חדשים	ייצוא בסטרימינג ‫0.05$ לכל GB (למידע נוסף על התמחור ב-BigQuery) טבלה שנוצרה: ga_realtime_sessions_YYYYMMDD BigQuery תצוגה מפורטת שנוצרה: ga_realtime_sessions_view_YYYYMMDD
ייצוא יומי טבלה שנוצרה: events_YYYYMMDD	ייצוא יומי טבלאות שנוצרו ga_sessions_intraday_YYYYMMDD מתעדכנת לפחות 3 פעמים ביום כל עדכון מחליף את הנתונים הקודמים נמחקת כאשר הייבוא המלא מיום המחרת הושלם ga_sessions_YYYYMMDD ייבוא יומי מלא
עדכון יומי של הייצוא זמין בנכסי 360 "רגילים" ו"גדולים" מידע נוסף על ההבדלים בתהליך העיבוד בין ייצוא יומי לבין עדכון יומי של הייצוא	לא רלוונטי
ייצוא, כללי מילוי חוסרים (backfill): ללא מילוי חוסרים מערך נתונים: לכל נכס מקושר יש ליצור מערך נתונים אחד בשם analytics_<מזהה נכס>‎ אם יישמתם סטטוס הסכמה, הייצוא כולל: פינגים ללא קובצי cookie נתונים שסופקו על ידי הלקוח (מזהה משתמש (user_id), מאפיין מותאם אישית)	ייצוא, כללי מילוי חוסרים (backfill): בזמן הקישור, מילוי חוסרים של 13 חודשים של נתונים או 10 מיליארד היטים, הקטן מביניהם (מילוי חוסרים בארגז החול של BigQuery עלול להיכשל) מערך נתונים: לכל תצוגה מפורטת מקושרת, יש ליצור מערך נתונים בשם זהה לשם התצוגה המפורטת
ייצוא סכימה מערכת GA4 מייצאת רק את מקור התנועה שדרכו המשתמש צורף לראשונה אין תמיכה בנתוני UA שיובאו מ-BigQuery כל שורה בטבלת BigQuery מייצגת אירוע נתוני אירועים שהם ייחודיים ל-Google Analytics 4 למרות שיש כמה שדות של Google Analytics 4 שזהים לשדות של Universal Analytics (למשל, device.category ו-device.deviceCategory), יש יותר הבדלים מאשר קווי דמיון בין נתוני אירועים ב-GA4 לנתוני היט ב-UA	ייצוא סכימה שיוך (Attribution) ברמת הסשן בכמה נקודות מגע כל שורה בטבלה ב-BigQuery מייצגת סשן נתוני היט שהם ייחודיים ל-Universal Analytics למרות שיש כמה שדות של Universal Analytics שזהים לשדות של Google Analytics 4 (למשל, device.deviceCategory ו-device.category), יש יותר הבדלים מאשר קווי דמיון בין נתוני היט ב-UA לנתוני אירועים ב-GA4.

מקורות מידע שקשורים לנושא

במדריך למפתחים של BigQuery ניתן למצוא מידע נוסף על:

• ‫Google Analytics ‏(GA4) ו-BigQuery
• Google BigQuery
• רשימות ACL של BigQuery
• תחביר של BigQuery