قبل الزحف إلى صفحات موقعك الإلكتروني، حاولنا التحقّق من ملف robots.txt الخاص بك للتأكد من أننا لم نزحف إلى أي صفحات تم حظر وصول برامج الروبوت إليها. عرض الخادم خطأ xx5 (تعذَّر الوصول إلى الملف) عند محاولة جلب ملف robots.txt. ولكي نتأكد من أننا لم نزحف إلى أي صفحات مدرَجة في هذا الملف، فقد أجلّنا عملية الزحف.
يمكن أن يكون المستضيف قد حظر Googlebot أو ربما هناك مشكلة في تهيئة جدار الحماية.
ملاحظة: إذا كان محتوى ملف robots.txt في المتصفّح يختلف عمّا يراه محرّك البحث Google، يجب العمل مع الشركة المستضيفة لإزالة أي قواعد خادم قد تعرض محتوى robots.txt مختلفًا لبرامج وكلاء المستخدم المختلفة.
