הנתונים של הבדיקות שאתם עורכים מתעדכנים באופן קבוע בדף של הקבוצה לבחירת רשת (Mediation). בכל שלב במהלך 90 הימים של הבדיקה, אתם יכולים לקבל החלטה על סמך הנתונים ולהתחייב לווריאנט מסוים. כשאתם מתחייבים לווריאנט, אתם למעשה בוחרים להשתמש באחד מהווריאנטים כהגדרה של הקבוצה לבחירת רשת על 100% מהמשתמשים.
כדי לגשת לנתונים של בדיקת A/B ולעקוב אחרי התוצאות:
- נכנסים לחשבון AdMob בכתובת https://admob.google.com.
- לוחצים על תהליך בחירת הרשת (Mediation) בסרגל הצד.
- בוחרים את הקבוצה לבחירת רשת עם בדיקת ה-A/B שרוצים לראות.
כדי לעזור לכם לנתח את התוצאות של בדיקת ה-A/B, בדוחות של AdMob מוצגים הרווחים החודשיים בהתאמה ל-100% מהתנועה של וריאנט A ווריאנט B. הרווחים האלה הם הסכום המשוער שתרוויחו ב-28 ימים אם תשתמשו בווריאנט הזה על 100% מהמשתמשים. האומדן הזה מספק השוואה הוגנת ותמונה מדויקת יותר לגבי הביצועים של הווריאנט.
כדי להבין את היקף ההפרש בין ביצועי הווריאנטים, אפשר לעיין בנתוני המדד "הפרש ברווחים החודשיים בהתאמה ל-100% מהתנועה" שבחלק העליון של דף בדיקת ה-A/B.
בתרשימים מוצגים הביצועים של כל מקור מודעות בכל וריאנט, כך שתוכלו להשוות ביניהם בקלות. בעזרת התרשימים האלה, קל יותר לפרש את תוצאות הבדיקה. בתרשים "סיכום" מוצגת סקירה כללית של המדדים העיקריים. אתם יכולים להציב את הסמן מעל מדד מסוים בתרשים "סיכום" כדי להבין את הביצועים של כל וריאנט במדד הזה.
בתרשים יוצגו המדדים "הכנסה בהתאמה", "עלות בפועל לאלף חשיפות (eCPM)", "שיעור הבקשות שמולאו" ו"חשיפות בהתאמה" של וריאנט A ווריאנט B. המדדים האלה יתעדכנו לאורך הבדיקה. כדי לעיין בתרשים קו מפורט יותר, אתם יכולים ללחוץ על הכרטיסייה של כל מדד. בכל תרשים קו מוצגים הנתונים היומיים וההפרש באחוזים בין וריאנט A לווריאנט B.
איך לפרש את התוצאות
מרגע שהבדיקה מתחילה, מערכת AdMob משווה בין הרווחים החודשיים בהתאמה ל-100% מהתנועה בכל וריאנט כדי להבין איזה וריאנט יניב ביצועים טובים יותר. הווריאנט המוביל יוצג בדף של בדיקת ה-A/B ב-AdMob ברגע שייאספו מספיק נתונים כדי לקבוע שהביצועים שלו היו טובים באופן עקבי ומשמעותי מהביצועים של הווריאנט השני. לצד הנתונים תוצג גם פעולה מומלצת: "שימוש בגרסה המקורית" (אם הביצועים של וריאנט A היו טובים יותר) או "שימוש בווריאנט" (אם הביצועים של וריאנט B היו טובים יותר).
כדי לבצע שינויים בבדיקה בזמן שהיא פועלת, לוחצים על עריכת הבדיקה. אחרי שתבצעו את השינויים, הבדיקה הנוכחית תסתיים והמערכת תיצור טיוטה של בדיקה חדשה עם הגדרות זהות שתוכלו לערוך. כדי לוודא שהתוצאות וההמלצות שתקבלו יהיו מדויקות, אי אפשר לבצע שינויים בבדיקות בזמן אמת. חשוב לזכור: לוקח זמן עד שמתקבלות תוצאות, לכן מומלץ שלא לסיים את הבדיקה מוקדם מדי על סמך התוצאות הראשוניות.
כדי לקבוע מהו הווריאנט המוביל ולהציג את הסבירות המשוערת באחוזים של כל וריאנט להניב ביצועים טובים יותר מהשני, מערכת AdMob מביאה בחשבון את הקריטריונים הבאים:
- עד כמה הווריאנט המוביל הניב ביצועים טובים יותר באופן עקבי בהשוואה לווריאנט השני.
- עד כמה ההפרש בין שני הווריאנטים משמעותי.
- נפח הנתונים הזמינים. כדי להגדיל את נפח הנתונים שייאספו במהלך הבדיקה, מומלץ לבחור יחידת מודעות עם נפח תנועה גדול. שימו לב: כדי שמערכת AdMob תוכל לפרש את תוצאות הבדיקה, צריכות להתקבל לפחות 10,000 בקשות להצגת מודעות במהלך הבדיקה.
ככל שהתוצאות יהיו עקביות יותר וההבדל בין הביצועים יהיה משמעותי יותר, וככל שייאספו יותר נתונים, כך מערכת AdMob תוכל להציג לכם אומדן מדויק יותר לגבי הסבירות של כל וריאנט להניב ביצועים טובים יותר.
אם הבדיקה לא תעמוד באחד מהקריטריונים האלה, לא יוצג ב-AdMob וריאנט מוביל. במקרה כזה, לא יוצגו תוצאות חד-משמעיות בדף של בדיקת ה-A/B. עדיין תוכלו לראות את המדדים של כל וריאנט מהבדיקה.
מידע על הגדרה של הקצאת משתמשים לווריאנט B
אם תקצו פחות מ-50% מהמשתמשים לווריאנט B, הנתונים שיוצגו לגביו יחושבו בהתאמה לאחוז המשתמשים שהוקצה לווריאנט A. במילים אחרות, תהיה השוואה הוגנת בין הווריאציות, כי מערכת AdMob תחשב את הנתונים לגבי וריאנט B כאילו המשתמשים פוצלו שווה בשווה בין הווריאציות.
לדוגמה אם מגדירים הקצאה של 10% מהמשתמשים לווריאנט B, הרווחים המשוערים יוגדלו פי 9. החישוב היחסי הזה מאפשר השוואה הוגנת לווריאנט A (שהוקצו לו 90% מהמשתמשים). כלומר, אם הצפי הוא שווריאנט B יניב רווחים בסך 10$, לאחר החישוב היחסי, סכום הרווחים המשוערים של אותו וריאנט יהיה 90$.
פעולה בהתאם לנתונים
מומלץ להריץ את הבדיקה למשך שבועיים לפחות לפני שמחליטים לפעול בהתאם לנתונים. אפשר להתחייב לאחד מהווריאנטים בכל שלב במהלך 90 הימים שמוגדרים לבדיקה. כשאתם מתחייבים לווריאנט, אתם למעשה בוחרים להשתמש באחד מהווריאנטים כהגדרה של הקבוצה לבחירת רשת על 100% מהמשתמשים. לפני שבוחרים וריאנט, כדאי לבחון את ההפרש בין הרווחים המשוערים של שני הווריאנטים ואת הסבירות המשוערת באחוזים של כל וריאנט להניב ביצועים טובים יותר מהווריאנט שני.
אתם יכולים לבחור אם להמשיך להשתמש בווריאנט A או להשתמש במקום זאת בווריאנט B:
- כדי לבחור בווריאנט A, לוחצים על המשך השימוש בווריאנט A. כלומר, ההגדרה המקורית של הקבוצה לבחירת רשת תישמר.
- כדי לבחור בווריאנט B, לוחצים על שימוש בווריאנט B. זה אומר שנשתמש בהגדרות של הווריאנט הזה בחשבון.
אם לא תבחרו וריאנט תוך 90 יום, הבדיקה תסתיים והמערכת תשתמש בווריאנט A על 100% מהמשתמשים, גם אם הוא לא היה הווריאנט המוביל בבדיקה.
אתם יכולים לבחור וריאנט עד 30 יום אחרי שהבדיקה תסתיים. אחרי פרק הזמן הזה, תוקף הבדיקה יפוג ווריאנט B יימחק.