प्रयोगों के लिए आंकड़ों के काम करने का तरीका

कॉन्फ़िडेंस इंटरवल और आंकड़ों की अहमियत का आकलन करने के लिए, प्रयोग टीम किस तरीके का इस्तेमाल करती है?

जैकनाइफ़ रीसैंपलिंग को बकेट डेटा पर लागू किया जाता है, ताकि मेट्रिक में हुए बदलाव के प्रतिशत के अलग-अलग सैंपल की गणना की जा सके. 95% कॉन्फ़िडेंस इंटरवल का इस्तेमाल करके दो हिस्सों के महत्व की जांच की जा सकती है.

डेटा को बकेट में क्यों रखें?

डेटा को बकेट में रखने से निगरानी में होने वाली छोटी गड़बड़ियों का असर कम हो जाता है. डेटा बकेटिंग उपयोगी क्यों है, इस बारे में ज़्यादा जानना है, तो यह शुरुआत के लिए अच्छी जगह है.

भले ही डेटा का बंटवारा सामान्य तरीके से न हुआ हो, फिर भी बकेट में शामिल डेटा को सेंट्रल लिमिट थ्योरम के आधार पर सामान्य रूप से बांटा जाएगा, बशर्ते कि हर बकेट की सही तरीके से निगरानी की गई हो. ऐसे मामलों में, जहां हर बकेट की सही तरीके से निगरानी नहीं होती वहां कॉन्फ़िडेंस इंटरवल की गणना करने के लिए जैकनाइफ़ रीसैंपलिंग का इस्तेमाल किया जाता है.

जैकनाइफ़ रीसैंपलिंग का इस्तेमाल क्यों करें?

जैकनाइफ़ रीसैंपलिंग, Google का स्टैंडर्ड तरीका है. यह ऐसा तरीका है जो हाई लेवल कवरेज देता है. यह बाहरी वजहों का पता लगाने और अनुमान से जुड़े सैंपल का मापदंड कम करने में भी असरदार है. इसके अलावा, यह खास तौर पर उन स्थितियों में मददगार होता है जहां सेंट्रल लिमिट थ्योरम का इस्तेमाल करके, सटीक अनुमान लगाने के लिए, ज़रूरी डेटा उपलब्ध नहीं होता है. इसलिए, इसका इस्तेमाल बकेट में शामिल डेटा पर किया जाता है, ताकि हमारे कॉन्फ़िडेंस इंटरवल और सटीक हो सकें.

जैकनाइफ़ रीसैंपलिंग के बारे में ज़रूरी जानकारी यहां देखें. अगर आपको इसके बारे में ज़्यादा जानना है, तो इस पेज पर और जानकारी देखें.

क्या इसके बाद, विज्ञापन देने वाले बाहरी लोग एक से ज़्यादा प्रयोगों की परफ़ॉर्मेंस के डेटा को एग्रीगेट कर सकते हैं और क्या एग्रिगेट लेवल पर फिर से आंकड़ों की गणना की जा सकती है?

नहीं, बकेट दोबारा बनाने और जैकनाइफ़ एल्गोरिदम चलाने के लिए, विज्ञापन देने वालों के पास उपयोगकर्ता लेवल के डेटा का ऐक्सेस नहीं होता. इस समय, हमारे क्लाइंट की ओर से यह काम करने के लिए कोई अंदरूनी टूल मौजूद नहीं है.

क्या प्रयोग और ओरिजनल कैंपेन पर, नीलामी शेयर स्प्लिट लागू करने के तरीके पर टारगेटिंग का असर होता है?

स्प्लिट पर टारगेटिंग का असर नहीं होता है. ज़रूरी शर्तें पूरी करने वाली नीलामियों पर, टारगेटिंग लागू किए जाने से पहले स्प्लिट लागू किया जाता है. उदाहरण के लिए, 50:50 स्प्लिट का मतलब यह होगा कि प्रयोग और ओरिजनल कैंपेन को नीलामियों की एक जैसी संख्या में डाला गया है.

सही A/A टेस्ट पक्का करने की शर्तें क्या हैं?

A/A टेस्ट एक ऐसा टेस्ट होता है जिसमें टेस्ट की अवधि के लिए प्रयोग और ओरिजनल कैंपेन एक जैसे होते हैं. कैंपेन विज्ञापनों/विज्ञापन ग्रुप/सेटिंग वगैरह में कोई अंतर नहीं होता और न ही विज्ञापन से जुड़ी अनुमतियों में कोई अंतर होता है. A/A टेस्ट के दौरान किए गए सभी बदलाव, प्रयोग और ओरिजनल कैंपेन, दोनों में एक ही समय पर करने होंगे.

A/A टेस्ट से कैसे नतीजे मिल सकते हैं?

क्लिक, इंप्रेशन, क्लिक की दर (सीटीआर) या सीपीसी में आंकड़ों की अहमियत में अंतर नहीं होने चाहिए.

खोज के आधार पर स्प्लिट और कुकी के आधार पर स्प्लिट में क्या अंतर है?

यह ऐसे दो विकल्प हैं जिनसे तय होता है कि उपयोगकर्ता को क्या दिखेगा खोज पर आधारित एक्सपेरिमेंट स्प्लिट से, हर बार खोज किए जाने पर उपयोगकर्ताओं को या तो प्रयोग दिखेगा या फिर ओरिजनल कैंपेन. अगर एक ही उपयोगकर्ता कई बार खोज करता है, तो हो सकता है कि उसे प्रयोग और आपका ओरिजनल कैंपेन, दोनों दिखे. कुकी के आधार पर एक्सपेरिमेंट स्प्लिट से, उपयोगकर्ता आपके कैंपेन का सिर्फ़ एक ही वर्शन देख सकते हैं. भले ही, वे कितनी बार भी खोज करें. इससे यह पक्का करने में मदद मिल सकती है कि आपके नतीजों पर दूसरी चीज़ों का असर नहीं पड़ता.

कितने बकेट का इस्तेमाल किया जाता है?

कंट्रोल विकल्प में 20 बकेट का इस्तेमाल किया जाता है और व्यवहार विकल्प में भी बीस बकेट का इस्तेमाल किया जाता है. अगर बहुत ज़्यादा बकेट हैं, तो इसके आंकड़ों के हिसाब से अहम नतीजे पाने में बहुत ज़्यादा समय लग सकता है. अगर बहुत कम बकेट हैं, तो हो सकता है कि कॉन्फ़िडेंस इंटरवल की गणना सटीक न हो. इससे व्यावहारिक ज़रूरतों और आंकड़ों के बीच बेहतर संतुलन बनता है.