Testowanie algorytmu ustalania stawek niestandardowych

Testowanie nowego algorytmu ustalania stawek niestandardowych ułatwia ocenę jego skuteczności i wprowadzanie korekt pod kątem optymalizacji zwrotu z inwestycji:

• Piaskownica do testów ustalania stawek niestandardowych: możesz jej używać do sprawdzania algorytmu, zanim po raz pierwszy przypiszesz go do aktywnej kampanii.  
• Eksperymenty A/B z ustalaniem stawek niestandardowych: po przypisaniu algorytmu do aktywnej kampanii możesz go ulepszać, aby kontynuować optymalizację w miarę zbierania rzeczywistych danych o wyświetleniach.

Po przypisaniu algorytmu do kampanii możesz nadal śledzić i optymalizować jego skuteczność dzięki tworzeniu i analizowaniu raportów.

Tematy w tym artykule

• Weryfikacja za pomocą piaskownicy do testów
• Optymalizowanie ustalania stawek niestandardowych dzięki eksperymentom
• Śledzenie skuteczności ustalania stawek niestandardowych za pomocą raportów

Weryfikacja za pomocą piaskownicy do testów

Za pomocą piaskownicy do testów ustalania stawek niestandardowych możesz oszacować:

• skuteczność skryptu lub celu ustalania stawek niestandardowych,
• czy algorytm prawdopodobnie spełni minimalne wymagania dotyczące danych,
• czy algorytm działa zgodnie z oczekiwaniami,

Gdy używasz piaskownicy do testów ustalania stawek niestandardowych, sprawdza ona Twój algorytm ustalania takich stawek na podstawie próbki maksymalnie 10 tys. historycznych wyświetleń uzyskanych w ciągu ostatnich 30 dni przez wybranego reklamodawcę. Pomaga to określić, czy algorytm ma dobrą skuteczność, czy też należy wprowadzić w nim zmiany. Piaskownicy możesz też używać do testów różnych strategii ustalania stawek i porównywania wyników poszczególnych algorytmów ustalania stawek niestandardowych.

Rozmiar próbki

Aby polepszyć dokładność testowania algorytmu, możesz użyć dużego i zróżnicowanego zbioru danych, który spełnia minimalne wymagania dotyczące danych.

Nawet wtedy, gdy rozmiar próbki nie spełnia tych wymagań, i tak możesz przetestować algorytm, ale jego oszacowana skuteczność może być mniejsza od rzeczywistej. Może się to zmienić w miarę pozyskiwania kolejnych danych.

Podczas oceniania wyników testu możesz wybrać jeden z tych widoków:

• Wszystkie wyświetlenia w próbce: masz widoczne wszystkie wyświetlenia, co umożliwia poznanie ogólnego rozkładu szacunkowych wartości wyświetleń.
• Tylko konwersje: widoczne są tylko wyświetlenia, które doprowadziły do konwersji. Ten widok obejmuje wszystkie zdarzenia konwersji na poziomie reklamodawcy uwzględnione na podstawie domyślnego modelu atrybucji. Ta opcja jest przydatna, gdy konwersje wchodzą w skład celów kampanii.
• Tylko kliknięcia: widoczne są tylko wyświetlenia zakończone kliknięciem. Ta opcja jest przydatna, gdy kliknięcia wchodzą w skład celów kampanii.

Dostępne są te statystyki:

Statystyki	Opis
Wyświetlenia w próbce	Podają łączną liczbę wyświetleń zarejestrowanych w próbce w ciągu ostatnich 30 dni. Obejmuje takie rodzaje wyświetleń: Wyśw. z błędami: pokazuje wyświetlenia, które podczas sprawdzania algorytmu spowodowały błąd. Brak wyniku: pokazuje odsetek wyświetleń wykluczonych przez algorytm. Wyśw. nie ma wartości: pokazuje odsetek wyświetleń z wynikiem ujemnym lub zerowym. Są to wyświetlenia, które nie spełniają kryteriów algorytmu i według szacunków nie mają nic wspólnego z celami kampanii. Wyświetlenia z wynikiem dodatnim: pokazuje odsetek wyświetleń z wynikiem dodatnim i szacuje, że są one wartościowe i zgodne z celami kampanii. Przykład: wyświetlenia w próbce Na podstawie liczby wyświetleń w próbce możesz oszacować, jaka część wszystkich wyświetleń ma dla Ciebie wartość. Wyświetlenia w próbce: 10 000 Bez wyniku: 5% Wyniki dodatnie: 70% Wyświetlenia bezwartościowe: 25% W tym przykładzie z próbki o rozmiarze 10 tys. wyświetleń: 5% wyświetleń filmów nie zostało ocenionych, aby w okresie nauki algorytm koncentrował się na wykluczaniu wyświetleń filmów. Oznacza to, że według szacunków 70% wyświetleń jest wartościowych i zgodnych z celami kampanii. 25% nie spełnia kryteriów Twojego algorytmu i zgodnie z szacunkami nie ma nic wspólnego z celami kampanii.
Wartość/koszt wyświetlenia	Mierzy skuteczność algorytmu w generowaniu wyświetleń zgodnych z celami kampanii. Wartość ta jest obliczana przez podzielenie łącznej wartości wyświetleń przez łączny koszt próbki. Przykład: Wartość/koszt wyświetlenia Wartości wyświetlenia na koszt możesz używać do określania szacunkowego zwrotu z inwestycji, jaki przynosi algorytm ustalania stawek niestandardowych. Łączna wartość wyświetleń: 1000 Łączny koszt kampanii: 500 zł Wartość/koszt wyświetlenia: 2 Oznacza to, że za każdą złotówkę wydaną na kampanię algorytm przyniesie 2 razy większą wartość niż wynosi jego koszt. Wynik ten uzyskuje się, dzieląc 2 przez 1.
Rozkład wyników	Pokazuje rozkład wyników i grupuje wyświetlenia według zakresu wyników. Jeśli jest więcej niż 10 niepowtarzalnych wyników, pokazuje poszczególne z nich. Dane o wynikach są też widoczne w tabeli. Aby przeglądać poszczególne wyniki składowe, możesz pobrać plik CSV. Zawiera te statystyki: Wyniki niepowtarzalne: liczba niepowtarzalnych wartości wyników zdefiniowanych przez Twój algorytm. Podczas testów wyniki zdefiniowane przez algorytm są rozdzielane między przykładową grupę. Wynik maksymalny: maksymalna wartość wyniku zdefiniowana przez algorytm ustalania stawek niestandardowych. Wynik minimalny: minimalna wartość wyniku zdefiniowana przez algorytm ustalania stawek niestandardowych. Przykład: rozkład wyników Korzystając z rozkładu wyników, możesz poprawiać błędy działania algorytmu. Przykład: Twój algorytm ustalania stawek niestandardowych definiuje parametry określające, w przypadku których wyświetleń wynik ma wynosić 1, 2, 3, 4 i 5. Na wykresie rozkładu wyników widoczne są jednak tylko 3 wyniki. Może to oznaczać błąd działania, dlatego warto sprawdzić algorytm ustalania stawek niestandardowych. Uwaga: po przypisaniu algorytmu ustalania stawek niestandardowych do aktywnej kampanii może on generować wartości wyników wykraczające poza wartości uzyskiwane przy użyciu danych treningowych.

Optymalizowanie ustalania stawek niestandardowych dzięki eksperymentom

Możesz skonfigurować eksperyment w celu porównania danego algorytmu z innymi algorytmami, aby sprawdzić, który z nich będzie skuteczniejszy.

Przykład:

Możesz porównać łączną wartość wyświetleń niestandardowych, które przynosi nowy algorytm, z innymi algorytmami, aby ustalić, który z nich generuje więcej wyświetleń.

Testy A/B to zaawansowane narzędzie, które pomoże Ci ulepszać algorytmy. Dowiedz się więcej o konfigurowaniu eksperymentu.

Śledzenie skuteczności ustalania stawek niestandardowych za pomocą raportów

Możesz tworzyć raporty offline i przeglądać wbudowane dane, aby oceniać skuteczność algorytmu ustalania stawek niestandardowych w odniesieniu do wskaźników KPI i kosztów.

Skuteczność stawek niestandardowych możesz oceniać za pomocą tych danych dostępnych w raportach:

• Wyświetlenia z wartością niestandardową,
• Wyświetlenia z dodatnią wartością niestandardową
• Niestandardowa wartość łącznej liczby wyświetleń
• % wyświetleń z dodatnią wartością niestandardową
• Szacunkowy łączny koszt wyświetleń z wartością niestandardową (waluta reklamodawcy)
• Szacunkowy CPM wyświetleń z wartością niestandardową (waluta reklamodawcy)
• Niestandardowa wartość wyświetleń/koszt
• Wartość wyświetlenia na 1000 wyświetleń

Możesz wyświetlać pełne opisy i dowiedzieć się więcej o danych w raportach.

Tworzenie raportu offline

Aby wygenerować raport offline, wybierz szablon raportu Ustalanie stawek niestandardowych, który zawiera wymiary Algorytm i Identyfikator algorytmu.

Możesz wybrać dane Niestandardowa wartość wyświetleń/koszt oraz inne dostępne dane, aby ocenić skuteczność algorytmu w odniesieniu do wskaźników KPI przy wybranym koszcie.

Reklamodawca może mieć więcej niż 1 algorytm naraz, dlatego korzystając z sekcji Filtry, możesz uwzględnić tylko ten algorytm, który chcesz ocenić. Dowiedz się więcej o raportach offline.

Okres objęty raportowaniem

Podczas generowania raportu spróbuj wybrać zakres dat, np. ostatnie 7 dni lub okres wyświetlania reklam w kampanii.

Aby generować dane do raportów, algorytmy muszą być aktywne przez co najmniej 2 dni. Ze względu na czas potrzebny na zarejestrowanie i ocenę wyświetleń raporty nie obejmują danych z bieżącego ani poprzedniego dnia.

Wyświetlanie wbudowanych danych o stawkach niestandardowych

Możesz przeglądać dane o skuteczności dotyczące wszystkich zamówień reklamowych i elementów zamówienia, które korzystają z ustalania stawek niestandardowych.

Aby wyświetlić wbudowane dane o stawkach niestandardowych:

1. Otwórz Kampanie.
2. Kliknij Zamówienia reklamowe.
3. Wybierz zamówienie reklamowe.
4. Nad tabelą kliknij strzałkę w dół i wybierz widok Skuteczność.
5. W widoku Skuteczność przewiń tabelę w prawo, aby wyświetlić kolumnę Ustalanie stawek niestandardowych.

Aby utworzyć widok niestandardowy z większą ilością danych o stawkach niestandardowych:

1. Otwórz Kampanie.
2. Kliknij Zamówienia reklamowe.
3. Wybierz zamówienie reklamowe.
4. Nad tabelą kliknij kolejno strzałkę w dół i Utwórz nowy widok niestandardowy.
5. W sekcji Ustalanie stawek niestandardowych wybierz dane, które chcesz uwzględnić.
6. Kliknij Zastosuj.