Genel Bakış

SSS (birden çok slot makinesi)

Slot makinesi daima ideal kolu bulur mu?

Kullandığımız birden çok slot makinesi algoritmasının ideal kolu bulması, algoritma sonsuza dek çalıştırıldığında garanti edilmektedir [3] [4]. Denemenizi sonsuza dek çalıştırmayacağınıza göre, bulunan kolun ideal olması kesin olarak garanti edilemez. Elbette sınırlı veriye sahip hiçbir istatistiksel yöntem size ideal yanıtı bulmak için %100 garanti veremez. Bu nedenle, slot makinesi algoritmamızın da bu garantiyi vermemesi şaşırtıcı sayılmaz. Deneme süresine 3 ay sınırını koymamızın nedeni de budur. Bu süre içinde bir kazanan bulunamadıysa, bulunabilecek pek bir şey yok demektir ve sitenizin başka yönleriyle denemeler yapmanız daha iyi olur.

Bu, klasik testten daima daha kısa mı sürer?

Slot makinesi, klasik teste göre daha düşük maliyetle çok daha hızlı sonuçlar sağlayabilir. Bu sonuçların istatistiksel geçerliliği de aynıdır. Ancak bazı durumlarda, tesadüfen, beklenenden daha uzun süren denemeler de olabilir.

Birden çok slot makinesi, klasik teste kıyasla özellikle hangi türde denemeleri daha iyi (veya daha kötü) yapar?

Birden çok slot makinesinin klasik teste göre avantajlarının en belirgin olduğu durum, gerçekten bulunacak bir etki olan karmaşık denemelerdir [1]. Varyasyonlarınızdan biri diğerlerinden çok daha iyi performans gösterirse, ideal kol çok çabuk bulunur. Bir veya daha fazla varyasyon, diğerlerinden çok daha kötü performans gösterirse, bu varyasyonlara oldukça hızlı bir şekilde çok düşük ağırlıklar verilir, böylece deneme en iyi kolu bulmaya odaklanabilir.

Slot makinesi için en kötü durum, aynı performansı gösteren iki kolun bulunduğu bir denemedir. Bu durumda en iyi çözüm, deneme sona erene kadar gözlemleri eşit oranlarda biriktirmek olacaktır. Slot makinesinin ortalama davranışı bu şekildedir, ancak tüm denemelerde bir kol, gözlemleri rastgele olarak daha hızlı biriktirecektir.

Kullanıcıların mevcut sayfayı değiştirebileceklerini düşündükleri için denemeler yaptığını unutmamak gerekir. Bu nedenle, klasik testler tarafından varsayılan en kötü durum senaryosunu gereğinden fazla vurgulamak istemeyiz.

İdeal kol başlangıçta şanssızsa ne olur? Düzelebilir mi?

Bir kola denemenin başlarında düşük ağırlık verilmiş olsa bile bu kol sonradan düzelebilir. Bir kola adil olmayan bir şekilde düşük ağırlık verilmesinin iki nedeni olabilir. Ya bu kol alışılmadık bir biçimde kötü performans göstermiştir ya da başka bir kol alışılmadık bir biçimde iyi performans göstermiştir (ya da her ikisi). Şans eseri, düşük performanslı bir kola yüksek ağırlık verilmişse, bu kol daha fazla gözlem biriktirmeye başlar, kolun düşündüğümüz kadar iyi olmadığını anlarız, kolun ağırlığı azalır ve rakip kolların ağırlığı artar.

Slot makinesinin sonuçları istatistiksel olarak geçerli midir?

Evet. Slot makinesi, her bir günün istatistiksel sonuçlarından bilgi edinmek için sıralı Bayes güncellemesini kullanır. Bu, klasik testte kullanılandan farklı bir istatistiksel geçerlilik kavramıdır. Klasik test, sıfır hipotezini varsayarak başlar. Örneğin, "varyasyonların tümü eşit derecede etkilidir". Ardından hipotez hakkında kanıt biriktirir ve reddedilip reddedilemeyeceği konusunda bir yargıya varır. Sıfır hipotezini reddedebiliyorsanız, istatistiksel olarak anlamlı bir sonuç bulmuşsunuz demektir.

İstatistiksel anlamlılığı, istatistikçilerin tip I hatası olarak adlandırdığı hatayı yapmanızı engellemek için kullanırsınız. Web sitesi optimizasyonu bağlamında, tip I hatası, performans açısından orijinalden gerçekten farklı olmayan yeni bir varyasyon seçmek anlamına gelir. Tip I hatalarından kaçınmak istersiniz (sonuçta bunlar da hatadır), ancak bu bağlamda, tip II hatalarından çok daha az maliyetlidir. Bizim için, tip II hatası, daha iyi bir kola geçememek anlamına gelir. Bu da maliyetlidir, çünkü dönüşüm kaybettiğiniz anlamına gelir.

Bayes güncellemesi, “Şu anki bilgilerime göre bu kolun en iyi kol olma olasılığı nedir?” sorusunu sorar. Hipotez testi, “Tüm kollar eşit olsaydı bu sonucu görme olasılığım ne olurdu?” sorusunu sorar. Soruların her ikisi de geçerlidir. Ancak, Bayes sorusunu çoğu kullanıcı daha kolay anlayabilir ve söz konusu soru, kullanılabilir hale geldiğinde denemenizden elde edilen bilgilerden yararlanarak, tip I ve tip II hataları arasında doğal olarak bir denge kurar.

Klasik hipotez testlerinde verilerinize bakmadan önce belirli sayıda gözlem görene kadar beklersiniz. Çünkü, aksi takdirde, cevap vermeleri gereken olasılık sorusu çok karmaşık hale gelir. Denemenizde düşük performans gösteren bir kol varsa, klasik testler yüklü bir fırsat maliyeti getirir. Her iki yöntem de geçerliyse, neden deneme sonuçlarınızı görmek için sizi bekleten, karmaşık ve pahalı yöntemi es geçerek size zamandan ve paradan tasarruf sağlayan yöntemi kullanmayasınız ki?

Bu size yardımcı oldu mu?
Bunu nasıl iyileştirebiliriz?