आपके एक या एक से ज़्यादा प्रॉडक्ट, किसी ऐसे लैंडिंग पेज के बारे में बताने के लिए लिंक [link] एट्रिब्यूट का इस्तेमाल करते हैं जिसे Google क्रॉल नहीं कर सकता. ऐसा इसलिए होता है, क्योंकि मोबाइल उपयोगकर्ता-एजेंट से क्रॉल करते समय robots.txt फ़ाइल, Google के क्रॉलर को लैंडिंग पेज डाउनलोड करने से रोकती है. इस वजह से Google, प्रॉडक्ट के लैंडिंग पेज पर अपने-आप क्वालिटी और नीति की जांच नहीं कर पाता, जो पेज पर उपयोगकर्ता के अनुभव को बेहतर बनाने के लिए ज़रूरी होती है. जिन प्रॉडक्ट पर इस समस्या का असर पड़ा है वे डेस्कटॉप और मोबाइल डिवाइस पर शॉपिंग विज्ञापनों और मुफ़्त में दिखाई जाने वाली प्रॉडक्ट लिस्टिंग में दिखना बंद हो जाएंगे. ये प्रॉडक्ट तब तक नहीं दिखेंगे, जब तक हम लैंडिंग पेज को क्रॉल नहीं कर पाते.
इस समस्या को हल करने के लिए, अपने वेब सर्वर पर robots.txt फ़ाइल को अपडेट करें, ताकि Google का क्रॉलर आपके दिए गए लैंडिंग पेजों को फ़ेच कर सके. आम तौर पर, robots.txt फ़ाइल, वेब सर्वर की रूट डायरेक्ट्री (उदाहरण के लिए, http://www.example.com/robots.txt) में मौजूद होती है. हम आपकी पूरी साइट ऐक्सेस कर सकें, इसके लिए पक्का करें कि robots.txt फ़ाइल, दोनों उपयोगकर्ता एजेंट "Googlebot" (लैंडिंग पेजों के लिए इस्तेमाल होने वाला) और "Googlebot-image" (इमेज के लिए इस्तेमाल होने वाला) को आपकी साइट पर क्रॉल करने देती है. अपनी robots.txt फ़ाइल में ये लाइनें जोड़ें:
User-agent: Googlebot
Disallow:
User-agent: Googlebot-image
Disallow:
robots.txt फ़ाइल को कॉन्फ़िगर करने के तरीके के बारे में ज़्यादा जानें. उपयोगकर्ता यूआरएल जांचने वाले टूल की मदद से, अपने मौजूदा कॉन्फ़िगरेशन की जांच कर सकते हैं. इसके लिए, ज़रूरी है कि आपने फ़ेच के टाइप (डेटा फ़ेच करने का तरीका) के तौर पर, "स्मार्टफ़ोन" को चुना हो.
अगर ये समस्याएं ठीक कर ली जाती हैं और नए फ़ीड अपलोड करके या Content API के ज़रिए, सामान का डेटा अपडेट कर दिया जाता है, तो आपको दिखने वाली गड़बड़ियां कुछ दिनों में हट जाएंगी. इस दौरान, यह पुष्टि की जाती है कि हम दिए गए लैंडिंग पेजों को ऐक्सेस कर सकते हैं या नहीं. इसके बाद, सामान आपके शॉपिंग विज्ञापनों और मुफ़्त में दिखाई जाने वाली लिस्टिंग में फिर से दिखने लगेंगे. अगर आप इस प्रोसेस को तेज़ करना चाहते हैं, तो आप Google की क्रॉल दर बढ़ा सकते हैं.