ניתוח של בדיקת A/B ושימוש בתוצאות לנקיטת פעולה 

הנתונים מתעדכנים בקביעות בדף של הקבוצה לבחירת רשת (Mediation). אפשר לקבל החלטות על סמך הנתונים, לסיים את הבדיקה ולבחור וריאציה בכל שלב במהלך 90 הימים שמוגדרים בתכונה. בחירת וריאציה היא למעשה בחירה להשתמש באחת מהווריאציות כהגדרה של הקבוצה לבחירת רשת (Mediation) כך שהמערכת תחיל אותה על כל המשתמשים. 

כדי לגשת לנתונים של בדיקת A/B ולעקוב אחרי התוצאות: 

1. נכנסים לחשבון AdMob בכתובת https://admob.google.com.
2. לוחצים על תהליך בחירת הרשת (Mediation) בסרגל הצד.
3. בוחרים את הקבוצה לבחירת רשת עם בדיקת ה-A/B שרוצים להציג.

כדי לעזור לכם לנתח את התוצאות של בדיקת ה-A/B, הדוחות ב-AdMob מציגים את הרווחים החודשיים המותאמים של וריאציה א' ווריאציה ב'. האומדן של הרווחים החודשיים המותאמים מראה מהו הרווח החזוי בתקופה של 28 ימים אם תיישמו את הווריאציה על 100% מהמשתמשים. האומדן הזה מספק השוואה הוגנת ותמונה מדויקת יותר לגבי הביצועים שהווריאציה מספקת.

הערה: כדי שמערכת AdMob תתחיל לחשב את הרווחים החודשיים המותאמים צריכים לחלוף 4 ימים לפחות אחרי שבדיקת ה-A/B מתחילה ועליה לצבור 10,000 חשיפות.

על מנת להבין את מידת ההפרשים בין ביצועי הווריאציות, עיינו ברווחים החודשיים המותאמים שבחלק העליון של דף בדיקת ה-A/B.

תראו גם את הרווחים המשוערים, העלות בפועל לאלף חשיפות ואת שיעור הבקשות שמולאו של וריאציה א' ווריאציה ב'. מדדים אלה יתעדכנו במהלך הבדיקה. כחלק מהנתונים, יוצגו לכם גם הביצועים של כל מקור מודעות בכל וריאציה, כך שתוכלו להשוות ביניהן בקלות.

איך להבין את התוצאות

מרגע שהבדיקה מתחילה, מערכת AdMob משווה את הרווחים החודשיים המותאמים שתניב וריאציה א' לאלו שתניב וריאציה ב'. כך היא קובעת איזו וריאציה תגיע לביצועים טובים יותר. הווריאציה המובילה מוצגת בדף של בדיקת A/B ב-AdMob ברגע שנאספים מספיק נתונים כדי לקבוע שהביצועים שלה היו בעקביות יותר טובים משמעותית מהביצועים של הווריאציה השנייה. לצד הנתונים תוצג גם פעולה מומלצת: "כדאי להשתמש בגרסה המקורית" (אם הביצועים של וריאציה א' טובים יותר) או "כדאי להחיל את הווריאציה" (אם הביצועים של וריאציה ב' יותר טובים). 

תוצג לכם גם הסבירות באחוזים שמערכת AdMob מייחסת להצלחה של הווריאציה המובילה (לדוגמה "סיכוי של 99% (הערכה) שהביצועים של וריאציה א' יהיו טובים יותר מהביצועים של וריאציה ב'"). 

מערכת AdMob משקללת את הקריטריונים הבאים כדי לקבוע איזו וריאציה תניב ביצועים טובים יותר ומה הסיכוי שהתחזית תתממש:

• באיזו מידה של עקביות הווריאציה המובילה מניבה ביצועים טובים יותר מאלה של הווריאציה השנייה. 
• עד כמה ההפרש בין שתי הווריאציות משמעותי. 
• נפח הנתונים הזמינים. מומלץ לבחור יחידת מודעות שמושכת נפח גדול של תנועת גולשים, כדי להגדיל את נפח הנתונים שייאספו בזמן הבדיקה. חשוב: הבדיקה צריכה לקבל לפחות 10,000 בקשות למודעות כדי שיוצגו לכם תוצאות במערכת AdMob. 

ככל שהתוצאות יהיו עקביות יותר וההבדל ברמת הביצועים יהיה משמעותי יותר, וככל שיהיו יותר נתונים, הסבירות שתוצג במערכת AdMob תהיה גבוהה יותר. 

אם הבדיקה לא תעמוד באחד מהקריטריונים האלה, לא תוצג ב-AdMob וריאציה מובילה. במקרה כזה, לא יוצגו תוצאות חד-משמעיות בדף של בדיקת A/B. גם אם לא תהיה חד-משמעית, תוכלו לעיין בערכים שנאספו בבדיקה לגבי כל אחת מהווריאציות. 

כשמגדירים הקצאה של פחות מ-50% מהמשתמשים לווריאציה ב', הנתונים שמוצגים לגביה יהיו חישובים לפי קנה מידה. במילים אחרות, תהיה השוואה הוגנת בין הווריאציות, כי מערכת AdMob תחשב את הנתונים לגבי וריאציה ב' כאילו המשתמשים פוצלו שווה בשווה בין הווריאציות.

לדוגמה אם מגדירים הקצאה של 10% מהמשתמשים לווריאציה ב', הרווחים המשוערים יוגדלו פי 9. החישוב היחסי הזה מאפשר השוואה הוגנת לווריאציה א' (שהוקצו לה 90% מהמשתמשים). כלומר, אם לפי הנתונים הצפי הוא שווריאציה ב' תניב רווחים בסך 40 ש"ח, החישוב של הרווחים המשוערים לאותה וריאציה יעמוד על 360 ש"ח. 

פעולה על סמך הנתונים

מומלץ להריץ אץ הבדיקה למשך שבועיים לפחות לפני שמחליטים לפעול בהתאם לנתונים. אפשר לבחור וריאציה בכל שלב במהלך 90 הימים שמוגדרים לבדיקה. בחירת וריאציה היא למעשה בחירה להשתמש באחת מהווריאציות כהגדרה של הקבוצה לבחירת רשת (Mediation) כך שהמערכת תחיל אותה על כל המשתמשים. לפני שמחליטים לבחור וריאציה, כדאי לבחון את ההפרש בין הרווחים המשוערים של שתי הווריאציות ואת הסבירות לכך שהתחזיות יתממשו. 

אפשר לבחור להמשיך להשתמש בווריאציה א' או להחיל את וריאציה ב': 

• כדי לבחור בווריאציה א', לוחצים על המשך שימוש בגרסה המקורית. כלומר, ההגדרה המקורית של הקבוצה לבחירת רשת (Mediation) תישמר.
• כדי לבחור בווריאציה ב' לוחצים על עדכון. זה אומר שנחיל את ההגדרות של הווריאציה הזאת בחשבון.

אם לא תבחרו וריאציה אחרי 90 יום, הבדיקה תסתיים והמערכת תשתמש בווריאציה א' על כל המשתמשים, גם אם היא לא הייתה הווריאציה המובילה בבדיקה. 

אפשר לבחור וריאציה עד 30 יום אחרי שהניסוי מסתיים. אם לא עושים את זה, פג התוקף של הבדיקה ווריאציה ב' נמחקת. 

הערה: אפשר למצוא מידע נוסף על בדיקות A/B בדוח על תהליך בחירת הרשת.