Testowanie reklam za pomocą eksperymentów

Eksperymenty Display & Video 360 to zintegrowane środowisko testowe, które pozwala prowadzić testy A/B pojedynczej kreacji lub grupy kreacji, list odbiorców, strategii ustalania stawek lub taktyk kierowania przez porównywanie zamówień reklamowych lub elementów zamówienia.

Możesz np. podzielić użytkowników na wzajemnie wykluczające się grupy i eksperymenty, aby w ramach testów sprawdzić, które kombinacje kierowania, ustawień i kreacji są najskuteczniejsze. Uzyskane wyniki pomogą Ci zoptymalizować skuteczność trwających lub planowanych kampanii.

Dzięki eksperymentom możesz:

testować wszystkie zmienne, które mają wpływ na kampanię, w tym kierowanie, ustawienia i kreacje;
generować raporty uwzględniające najważniejsze dane takie jak CPC, CTR, CPA, CVR czy CPM.

Identyfikacja oparta na użytkownikach

Display & Video 360 używa identyfikatorów opartych na użytkownikach, aby ułatwiać dostosowanie eksperymentów do wycofywania identyfikatorów przez inne firmy. W tym celu, gdy identyfikator firmy zewnętrznej jest niedostępny, używane są identyfikatory zapasowe na potrzeby przekierowywania. Zwiększa to szanse na udostępnienie jednego identyfikatora na każde wyświetlenie reklamy.

Przykład:

Jeśli identyfikator firmy zewnętrznej jest niedostępny, wykorzystywany jest własny identyfikator. W przeciwnym razie używany jest identyfikator na poziomie zapytania.

Domyślnie eksperymenty maksymalizują uczestnictwo za pomocą identyfikacji opartej na użytkownikach i losowego przekierowywania. Możesz wykluczyć niezidentyfikowanych użytkowników, odfiltrowując ruch bez identyfikatorów firm zewnętrznych, aby zmniejszyć ryzyko wystąpienia niepożądanych danych w grupach eksperymentalnych. Pamiętaj jednak, że zmniejszy to liczbę użytkowników uczestniczących w eksperymencie.

Pojęcia

Rzeczywiste wartości

Nieprzetworzone wyniki eksperymentu. Odzwierciedlają faktyczną liczbę konwersji uzyskanych przez wariant.

Grupa eksperymentalna

Grupa eksperymentalna może obejmować:

pojedynczy element zamówienia lub pojedyncze zamówienie reklamowe,

grupę elementów zamówienia lub zamówień reklamowych.

Na przykład element bazowy i jego wariant są osobnymi grupami eksperymentalnymi.

Element bazowy

Element zamówienia lub zamówienie reklamowe będące kontrolnym punktem odniesienia w porównaniach w ramach eksperymentu. Możesz tworzyć warianty i porównywać je z oryginalnym elementem bazowym w ramach testów.

Przedział ufności

Wskazuje poziom pewności, że rzeczywista różnica między poszczególnymi wariantami mieści się w zakresie objętym raportem. Możesz podać prawdopodobieństwo 90% lub 95%, że prawdziwa wartość mieści się w zakresie raportowania.

Na przykład przedział ufności 90% powinien wskazywać, że w 90 ze 100 powtórzonych testów występuje różnica mieszcząca się w zakresie objętym raportem.

Znormalizowane wartości

To najwyższe wartości kliknięć, konwersji, wyświetleń lub przychodów obliczone przez skalowanie w górę danych rzeczywistych do wartości, która zostałaby zaobserwowana, gdyby element bazowy lub wariant otrzymał 100% odbiorców.

Jeśli na przykład w elemencie zamówienia z podziałem odbiorców na poziomie 34% jest 170 tys. faktycznych konwersji, to znormalizowana wartość wyniosłaby 500 tys. (gdyby ten sam element zamówienia otrzymał 100% odbiorców).

Wartość p

Wskazuje prawdopodobieństwo, że różnica mogła wystąpić przez przypadek.

Służy do określania istotności statystycznej wyniku w celu przetestowania prawdopodobieństwa, że istnieje faktyczna różnica między skutecznością elementu bazowego a skutecznością wariantu:

Niższa wartość p oznacza silniejsze potwierdzenie różnicy w skuteczności, która wskazuje na istotne wyniki.

Wyższa wartość p sygnalizuje, że wynik mógł być przypadkowy, co wskazuje, że nie jest on istotny statystycznie.

Wariant

Eksperymentalny element zamówienia lub eksperymentalne zamówienie reklamowe, w którym pojedyncza zmienna jest testowana w odniesieniu do bazowego elementu zamówienia lub zamówienia reklamowego.

Tworzenie eksperymentu

We właściwościach reklamodawcy, w menu po lewej stronie kliknij Eksperymenty.
Na karcie Testy A/B wybierz Utwórz nowy.
Wybierz jedną z tych opcji:
- Na różnych giełdach
- YouTube i sieć partnerów
Podaj te informacje:
1. Nazwa: wpisz identyfikator eksperymentu i (opcjonalnie) hipotezę.
2. Czas trwania testu: daty rozpoczęcia i zakończenia:
  - Data rozpoczęcia: określ datę rozpoczęcia eksperymentu. Musi ona przypadać po obecnej dacie.
  - Data zakończenia: opcjonalnie ustaw datę zakończeniu eksperymentu. Jeśli jej nie określisz, eksperyment będzie prowadzony bez końca.
    Jeśli to możliwe, uzgodnij daty rozpoczęcia i zakończenia eksperymentu, aby pasowały do zamówień reklamowych lub elementów zamówienia w eksperymencie.
    
    Przykład:
    
    Jeśli przerwiesz eksperyment przed datą zakończenia aktywności zamówienia reklamowego lub elementu zamówienia, podział odbiorców nie zostanie uwzględniony i eksperyment będzie się wyświetlać wszystkim użytkownikom.
    
    Dane w eksperymencie są oparte wyłącznie na wyświetleniach zrealizowanych po dacie rozpoczęcia eksperymentu. Jeśli element zamówienia był aktywny przed rozpoczęciem eksperymentu lub po jego zakończeniu, raporty mogą uwzględniać inną liczbę konwersji.
3. Grupy testowe: wybierz, czy porównujesz zamówienia reklamowe, czy elementy zamówienia.
  - W zależności od typu eksperymentu wybierz co najmniej 2 zamówienia reklamowe lub elementy zamówienia, których chcesz użyć w eksperymencie.
    1. Porównaj indywidualnie: wybierz poszczególne zamówienia reklamowe, które chcesz objąć eksperymentem.
      - Jeśli masz wiele zamówień reklamowych, możesz dostosować podział odbiorców, aby zarządzać dystrybucją wszystkich plików cookie w zamówieniach reklamowych lub elementach zamówienia w ramach eksperymentu.
      - W przypadku wielu zamówień reklamowych możesz wskazać grupę kontrolną, ustawiając zamówienie reklamowe jako element bazowy.
    2. Porównaj grupy: wybierz grupy zamówień reklamowych, które chcesz uwzględnić w każdej grupie eksperymentalnej.
      - Możesz dostosować podział odbiorców, aby zarządzać dystrybucją wszystkich plików cookie w zamówieniach reklamowych lub elementach zamówienia w ramach eksperymentu.
      - Możesz wskazać grupę kontrolną, ustawiając zamówienie reklamowe jako element bazowy.
4. Pomiary:
  1. Cele badania: wybierz cel, który chcesz objąć eksperymentem.
    - Konwersje
    - Kliknięcia
    - Zrealizowane wyświetlenia filmu
    - Całkowita niestandardowa wartość wyświetleń (w przypadku ustalania stawek niestandardowych)
  2. Przedział ufności: wybierz 95% (najczęstszy) lub 90%.
  3. Uczestnictwo (tylko eksperymenty w różnych usługach reklamowych): ta wartość jest domyślnie ustawiona tak, aby maksymalizować uczestnictwo w eksperymencie za pomocą identyfikatorów użytkownika i losowego przekierowywania.
    - Możesz włączyć opcję Wyklucz niezidentyfikowanych użytkowników, aby wykluczyć ruch bez identyfikatorów firm zewnętrznych i zminimalizować tym samym ryzyko wystąpienia niepożądanych danych w grupach eksperymentalnych.
      
      Uwaga: wykluczenie niezidentyfikowanych użytkowników może sprawić, że wyniki eksperymentu będą niereprezentatywne z powodu spadku uczestnictwa.
  4. Konfiguracja badania wyników (opcjonalnie, tylko eksperymenty dotyczące YouTube i sieci partnerów wideo Google):
    - Zaznacz pole wyboru „Wyniki marki”.
    - Wybierz maksymalnie 3 rodzaje danych, które chcesz zmierzyć. Z paska bocznego po lewej stronie dowiesz się, jakie są kryteria kwalifikacji do pomiaru wyników marki i czy Twoje grupy eksperymentalne się kwalifikują. Dowiedz się więcej o konfigurowaniu pomiaru wyników marki.
    - Podaj te szczegółowe informacje dotyczące ankiety:
      - Nazwa marki lub produktu.
      - Maksymalnie 3 nazwy konkurencyjnych marek lub produktów.
    - Określ te ustawienia ankiety:
      - Język: język ankiety.
      - Typ obiektu: branża lub dziedzina, którą chcesz zbadać.
      - Zamierzone działanie: działanie, jakie zgodnie z Twoimi oczekiwaniami użytkownik podejmie po obejrzeniu reklamy.
Kliknij Zapisz.

Ocena wyników eksperymentu

Zacznij od reklamodawcy.
W menu po lewej stronie kliknij Eksperymenty.
Na karcie Testy A/B: kliknij link Nazwa badania, aby zobaczyć wyniki eksperymentu.
1. Jeśli skonfigurujesz w eksperymencie ankietę badającą wyniki marki, kliknij Wyświetl raport o wynikach marki obok nazwy grupy testowej, aby zobaczyć wyniki badania.
Na karcie Wyniki eksperymentu:
1. W sekcji Konwersje: główny cel możesz zobaczyć podsumowanie wyników wraz z wykresem przedstawiającym różnice między elementem bazowym, wariantami a wzrostem:
  1. Dane: możesz sprawdzić różnicę między elementem bazowym a wariantami, aby określić istotność statystyczną.
  2. Stan: wskazuje, czy wyniki są statystycznie istotne. Wynik istotny statystycznie występuje wtedy, gdy jest duża różnica między elementem bazowym a wariantem celu eksperymentu.
  3. Daty testu: daty ustawione dla eksperymentu.
  4. Typ: wskazuje, czy porównujesz zamówienia reklamowe, czy elementy zamówienia.
  5. Poziom ufności: poziom ufności ustawiony dla eksperymentu.
  6. Przedział ufności: stosuje poziom ufności ustawiony dla eksperymentu (jeśli jest włączony).
Wyniki możesz zaktualizować na te sposoby:
- Wybierz element bazowy: domyślnie wykres obejmuje porównanie elementu bazowego z wieloma wariantami. Na liście elementów bazowych możesz wybrać wariant, którego chcesz używać jako punktu odniesienia.
- Wybierz model atrybucji: podczas przeglądania wyników eksperymentów konwersji możesz wybrać model atrybucji z listy Modele atrybucji.
Jeśli masz skonfigurowane 2 niezależne badania wyników marki jako grupy eksperymentu, możesz zobaczyć wartości dotyczące wyników marki. Aby zobaczyć wyniki marki na karcie Eksperymenty:

Badania wyników marki tworzone na potrzeby zamówień reklamowych w ramach eksperymentu są automatycznie ustawione jako pomiar przyspieszony. Badanie wyników marki ma na celu jak najszybsze zebranie odpowiedzi na pytania z ankiety. Po osiągnięciu docelowej liczby takich odpowiedzi badanie się zakończy.
- Daty rozpoczęcia badań wyników marki i eksperymentów muszą być takie same.
- Wybrane dane i pytania w ankiecie muszą być takie same.
- Przykład dotyczący 2 kampanii: możesz przeprowadzić badanie wyników marki w obu kampaniach i utworzyć eksperyment z 2 grupami reprezentującymi każdą z kampanii. Po zakończeniu badania wyników marki możesz sprawdzić wyniki nawet wtedy, gdy eksperyment nadal trwa.

Przeglądanie różnic w eksperymencie

Aby zobaczyć różnice między gałęziami eksperymentu, przejdź na kartę Różnica. Tutaj dowiesz się, czy jedyną różnicą jest zmienna, którą testujesz. Różnice możesz skorygować jeszcze przed uruchomieniem eksperymentu. W ten sposób wyeliminujesz potencjalne odchylenia czy ryzyko uzyskania nietrafnych wyników. Gdy poszczególne grupy eksperymentu obejmują więcej niż 1 element zamówienia, Display & Video 360 automatycznie dopasowuje porównania na podstawie minimalnej liczby zaobserwowanych różnic.

Pamiętaj, że narzędzie Różnica przeznaczone jest kontroli jakości eksperymentu. Nie można go używać do analizowania danych historycznych. Narzędzie porównuje elementy zamówienia i zamówienia reklamowe w postaci, w jakiej są obecnie, a nie w jakiej były w czasie trwania eksperymentu. Dlatego odzwierciedla wszystkie zmiany, które nastąpiły po zakończeniu eksperymentu (w tym archiwizowanie elementów zamówienia), mimo że nie miały one wpływu na jego przebieg.

Sprawdzone metody

Podczas planowania eksperymentu pamiętaj o tych kwestiach.

Planowanie i konfiguracja

Używaj tylko 1 zmiennej testowej na eksperyment. Pamiętaj, że wszystkie grupy eksperymentu (element bazowy i wszystkie warianty) muszą być takie same, z wyjątkiem pojedynczej zmiennej, którą testujesz.
Nie twórz od nowa zamówień reklamowych ani elementów zamówienia na potrzeby eksperymentu, tylko je zduplikuj. Dzięki temu masz pewność, że elementy w eksperymencie są identyczne. Nie dotyczy to pojedynczego wymiaru, który testujesz jako zmienną.
W eksperymentach używaj tylko nowych zamówień reklamowych lub elementów zamówienia. Jeśli zamówienie reklamowe lub element zamówienia były wcześniej aktywne poza eksperymentem, może to mieć wpływ na liczenie konwersji.
Wyeliminuj czynniki zewnętrzne. Upewnij się, że elementy zamówienia nieuwzględnione w eksperymencie nie konkurują o budżet z elementami zamówienia, które biorą w nim udział. Jeśli to możliwe, użyj osobnego zamówienia reklamowego dla wszystkich elementów zamówienia, które zostaną uwzględnione w danym eksperymencie.

W miarę możliwości postaraj się też nie używać kreacji biorących udział w eksperymencie poza tym eksperymentem.
Ustaw odpowiednio wysoki limit wyświetleń na użytkownika. Jeśli w eksperymencie używasz zamówień reklamowych, upewnij się, że limit wyświetleń na użytkownika w kampanii jest co najmniej tak wysoki, jak suma najwyższych limitów wyświetleń na użytkownika ustawionych w dowolnym zamówieniu reklamowym uwzględnionym w eksperymencie i wszystkich limitów wyświetleń na użytkownika w pozostałych zamówieniach reklamowych, które nie są uwzględnione w eksperymencie.

Przykład: jeśli Twoja kampania zawiera 3 zamówienia reklamowe, ale tylko 2 z nich biorą udział w eksperymencie, limit wyświetleń na użytkownika ustalisz, dodając najwyższy limit wyświetleń na użytkownika spośród obu zamówień reklamowych biorących udział w eksperymencie do limitu wyświetleń na użytkownika w zamówieniu reklamowym, które nie jest uwzględnione w eksperymencie. Jeśli więc zamówienia reklamowe uwzględnione w eksperymencie mają ustawiony limit wyświetleń na użytkownika odpowiednio na wartość 8 i 10, a trzecie zamówienie reklamowe, które nie bierze udziału w eksperymencie, ma ustawiony ten limit na 5, limit wyświetleń na użytkownika w kampanii powinien wynosić 15. Ustala się to, dodając wartość 10 (czyli najwyższy limit wyświetleń na użytkownika spośród wszystkich zamówień reklamowych uwzględnionych w eksperymencie) do wartości 5 (czyli sumy wszystkich limitów wyświetleń na użytkownika we wszystkich zamówieniach reklamowych w kampanii, które nie biorą udziału w eksperymencie).

Takie same sprawdzone metody stosuje się w przypadku limitu wyświetleń na użytkownika zamówienia reklamowego, jeśli Twój eksperyment porównuje elementy zamówienia.
Starannie zaplanuj budżet i tempo. Budżet ustawiony w każdej grupie eksperymentu powinien być proporcjonalny do podziału odbiorców w eksperymencie. Jeśli przydzielisz budżet w sposób nieproporcjonalny, element budżetu w eksperymencie zostanie potraktowany jako zmienna. Tempo również powinno być takie samo – w przeciwnym razie będzie to kolejna zmienna w eksperymencie. Najlepiej jest zastosować tę metodę nie tylko do elementów zamówienia uwzględnionych w eksperymencie, ale także do innych elementów zamówienia, które nie biorą w nim udziału, ale należą do tego samego zamówienia reklamowego. Ich zdolność rozdzielania budżetu i tempa będzie mieć wpływ na sposób kupowania zasobów reklamowych przez elementy zamówienia uwzględnione w eksperymencie, a co za tym idzie – na wyniki eksperymentu.
Uważaj, jeśli masz ustawiony limit zasięgu. Jeśli masz względnie ograniczony zasięg (np. kupujesz zasoby reklamowe objęte umową lub zasoby reklamowe dla odbiorców z limitem zasięgu), w eksperymentach mogą pojawić się szerokie przedziały ufności, co może utrudnić ocenę skuteczności wariantów.
Finalizuj działania z wyprzedzeniem. Eksperymenty powinny być skonfigurowane tak, aby zapewnić wystarczającą ilość czasu na zatwierdzenie wszystkich kreacji jeszcze przed ich rozpoczęciem.

Podczas trwania eksperymentu

Nie wstrzymuj eksperymentu. Jeśli musisz tymczasowo wstrzymać kampanię, ale chcesz kontynuować eksperyment, wstrzymaj grupy eksperymentu (pamiętając, by wstrzymać je wszystkie), ale nie sam eksperyment. Gdy zechcesz wznowić kampanię, pamiętaj, by aktywować wszystkie grupy eksperymentu jednocześnie.

Jeśli zakończysz eksperyment, nie będzie można uruchomić go ponownie, a wszystkie elementy przypisane do eksperymentu będą znowu wyświetlane wszystkim użytkownikom.
Wprowadzaj jednolite zmiany. Jeśli chcesz wprowadzić zmiany w zamówieniach reklamowych lub elementach zamówienia w czasie trwania eksperymentu, pamiętaj, aby zastosować te same zmiany we wszystkich grupach eksperymentu. Czasami jest to konieczne do usunięcia witryny, która nie jest zgodna z wytycznymi dotyczącymi odpowiedniości dla marki.

Uwagi

Eksperyment nie może obejmować tych typów zasobów reklamowych:
- domyślnych elementów zamówienia z automatyzacją gwarantowaną i zamówień reklamowych zawierających domyślne elementy zamówienia,
- zasobów reklamowych Szybkiej rezerwacji.
Eksperymenty mogą stać się aktywne dopiero po 24 godzinach od ich skonfigurowania. Jako daty rozpoczęcia eksperymentu nie można wybrać dnia, w którym przeprowadza się jego konfigurację, ani dnia następnego.
Danego elementu zamówienia lub zamówienia reklamowego można używać jednocześnie tylko w jednym aktywnym eksperymencie.
Nie można zmienić odsetka podziału odbiorców po rozpoczęciu eksperymentu.
Obecnie środowisko eksperymentów nie rozróżnia, na jakim urządzeniu jest uruchomione, dlatego użytkownik może zobaczyć jeden wariant eksperymentu na urządzeniu mobilnym, a element bazowy na komputerze.
Liczba zliczonych konwersji może się różnić w przypadku eksperymentów i innych form raportowania, w tym danych wyświetlanych w tabelach. Dzieje się tak, ponieważ dane zarejestrowane podczas eksperymentów uwzględniają tylko wyświetlenia zrealizowane w czasie, gdy eksperyment był aktywny.
Badania wyników marki utworzone w ramach testów A/B są niedostępne do ponownego pomiaru. Jeśli chcesz przeprowadzić ponowny pomiar na potrzeby badania wyników marki, musisz zatrzymać eksperyment, usunąć zamówienie reklamowe z badania wyników marki, a następnie na karcie „Badania wyników marki” utworzyć nowe badanie.

Najczęstsze pytania

Jaka jest różnica między kierowaniem na segmenty odbiorców w usłudze Campaign Manager 360 a eksperymentami w Display & Video 360?

Kierowanie na segmenty odbiorców w usłudze Campaign Manager 360 polega na rozdzielaniu ruchu między różne kreacje. Na przykład kierowanie na segmenty odbiorców pozwala podzielić ruch w kampanii Campaign Managera 360 na różne grupy użytkowników oraz ruch związany z poszczególnymi kreacjami na różne segmenty.

W przypadku eksperymentów w Display & Video 360 możesz podzielić ruch na poziomie zamówienia reklamowego lub elementu zamówienia, dzięki czemu możesz testować dowolne ustawienia lub wymiary, a nie tylko kreacje.

Dlaczego nie mogę dodać do eksperymentu określonego zamówienia reklamowego lub elementu zamówienia?

Podczas konfigurowania eksperymentu zamówienia reklamowe i elementy niedostępne w ramach eksperymentu są ukryte lub wyświetlają się jako nieaktywne.

Do określenia, dlaczego nie możesz dodać zamówienia reklamowego lub elementu zamówienia do eksperymentu, może Ci posłużyć ikona etykietki.

Jaka jest różnica między Google Optimize a eksperymentami w Display & Video 360?

Eksperymenty w Display & Video 360 umożliwiają porównanie różnych taktyk kampanii reklamowych (w tym kierowania i ustawień), a Google Optimize pozwala porównywać różne witryny i strony docelowe.

Eksperymenty w Display & Video 360 są oparte na modelu frekwencyjnym, podobnie jak w innych rozwiązaniach do pomiaru skuteczności reklam. Natomiast Google Optimize korzysta z modelu bayesowskiego, który lepiej nadaje się do zarządzania porównaniami próbek z małą ilością danych.

Czy to było pomocne?

Jak możemy ją poprawić?