Denemeler ekibi güven aralıklarını ve istatistiksel önemi hesaplamak için hangi yöntemi kullanıyor?
Bir metriğin yüzde değişimi örnek varyansını hesaplamak için, gruplanmış verilere Jackknife yeniden örnekleme uygulanır. Ardından, %95 güven aralığı kullanılarak iki uçlu önem testi gerçekleştirilir.
Veriler neden gruplanmalı?
Verileri gruplama, küçük gözlem hatalarının etkilerini azaltır. Veri gruplamanın yararları hakkında daha fazla bilgi için buradan başlayabilirsiniz.
Veriler normal dağılıma sahip olmasa dahi grup başına yeterli gözlem bulunması kaydıyla, gruplanmış veriler Merkezi Limit Teoremi'ne göre neredeyse normal dağılıma sahip olacaktır. Grup başına yeterli gözlem bulunmadığı durumları hesaba katmak için güven aralığını hesaplamak üzere Jackknife yöntemi kullanılır.
Jackknife yeniden örnekleme neden kullanılmalı?
Yüksek düzeyli kapsam sağlayan çok yönlü bir yöntem olduğundan Jackknife yeniden örnekleme yöntemi Google'da standarttır. Ayrıca, aykırı değerleri tespit etmek ve örnek tahmine verilen ağırlığı azaltmak için de etkilidir. Bu yöntem özellikle merkezi limit teoremini kullanarak doğru bir tahmin elde etmek için yeterli veri bulunmadığı durumlarda da kullanışlıdır. Bu nedenle, güven aralıklarımızın doğruluğunu daha da artırmak için gruplanmış verilerde kullanılır.
Jackknife yeniden örneklemeye genel bakış için buraya göz atabilirsiniz. Yararları hakkında daha fazla açıklama için bu makalede ayrıntılı bilgi bulabilirsiniz.
Harici reklamverenler olgudan sonra birden fazla denemenin performansını toplayabilir mi ve istatistikleri toplu düzeyde yeniden hesaplayabilir mi?
Hayır, reklamverenler grupları yeniden oluşturmak ve jackknife algoritmasını çalıştırmak için kullanıcı düzeyindeki verilere erişim sağlayamaz. Şu anda müşterilerimiz adına bu işlemi gerçekleştirmek için dahili araçlar bulunmamaktadır.
Hedefleme, açık artırma payı grubunun deneme kampanyasına ve orijinal kampanyaya nasıl uygulandığını etkiler mi?
Hedefleme, grubu etkilemez. Grup, hedefleme uygulanmadan önce uygun açık artırmalara uygulanır. Örneğin 50:50 bir grup, deneme kampanyası ve orijinal kampanyanın aynı sayıda açık artırmaya girildiği anlamına gelir.
Doğru bir A/A testi yapılmasını sağlayacak koşullar nelerdir?
A/A testinde deneme kampanyası ve orijinal kampanya test boyunca aynıdır (kampanya reklamları/reklam grupları/ayarlar vb. farklı değildir ve reklam onaylarında fark yoktur). A/A testi sırasında yapılan herhangi bir değişikliğin aynı anda hem deneme kampanyası hem orijinal kampanya kollarında yapılması gerekir.
A/A testinden beklenen sonuçlar nelerdir?
Tıklamalar, gösterimler, TO veya TBM’de istatistiksel olarak anlamlı bir fark olmamalıdır.
Arama tabanlı grup ve çerez tabanlı grup arasındaki fark nedir?
Bunlar, kullanıcıya ne şekilde davranılacağına karar vermeye yönelik iki farklı seçenektir. Arama tabanlı deney gruplarında kullanıcılar, her arama gerçekleştiğinde deneme kampanyasına veya orijinal kampanyaya rastgele yerleştirilir. Aynı kullanıcılar birden fazla arama yaptıklarında hem deneme kampanyasını hem de orijinal kampanyanızı görebilir. Çerez tabanlı deney grupları kullanıcılara kaç kez arama yaptıklarından bağımsız olarak kampanyanın yalnızca bir sürümünü gösterir. Böylece diğer faktörlerin sonuçlarınızı etkilememesi sağlanabilir.
Kaç grup kullanılıyor?
Kontrol kolunda yirmi ve deney kolunda yirmi grup kullanılır. Çok fazla grup varsa, istatistiksel açıdan anlamlı sonuçlar elde etmek çok uzun sürebilir. Çok az sayıda grup varsa, güven aralığı hesaplamaları doğru olmayabilir. Bu sayede pratik gereksinimler ve istatistiksel güç arasında iyi bir denge sağlanır.
