الزاحف، أو ما يُعرف أيضًا باسم العنكبوت أو روبوت الدردشة، هو برنامج تستخدمه Google لمعالجة محتوى صفحات الويب وفهرسته. يزور زاحف AdSense، الذي يُسمّى Mediapartners-Google، موقعك الإلكتروني لتحديد محتواه بهدف تقديم إعلانات ملائمة.
في ما يلي بضع حقائق مهمة عليك أن تعرفها عن زاحف AdSense:
- يُعدَّل تقرير الزاحف بشكل أسبوعي.
يُجرى الزحف بشكل تلقائي ولن نتمكّن من قبول طلبات لزيادة عدد مرات الزحف.
- يختلف زاحف AdSense عن زاحف Google.
على الرغم من أن الزاحفين منفصلين، إلا أنهما يتشاركان ذاكرة تخزين مؤقتة واحدة. بهذه الطريقة، لا يمكنهما طلب الصفحات نفسها، وبالتالي يحافظ الناشرون على معدل نقل البيانات الخاص بهم. وبالمثل، يكون زاحف Search Console منفصلاً.
ملاحظة: تستخدِم AdSense أيضًا زاحفًا يُسمّى Google-Display-Ads-Bot لإثبات ملكية موقعك الإلكتروني عند إضافة موقع إلكتروني إلى AdSense. - حلّ مشاكل زحف AdSense لن يؤدّي إلى حلّ مشاكل زحف Google.
إنّ حلّ المشاكل المذكورة في صفحة وصول الزاحف إلى صفحات الموقع لن يكون له أيّ تأثير في موضع إعلانك ضمن نتائج البحث من Google. لمزيد من المعلومات عن ترتيب موقعك على Google، راجِع تضمين موقعك في نتائج بحث Google.
- يعمل الزاحف على الفهرسة حسب عنوان URL.
ويدخل الزاحف إلى مواقع مثل site.com وwww.site.com بشكل منفصل؛ ومع ذلك، لن يحسب الزاحف site.com وsite.com/#anchor بشكل منفصل.
- لن يصل الزاحف إلى الصفحات أو الأدلة التي يحظر ملف robots.txt الدخول إليها.
يستفيد برنامجَي الزحف Mediapartners-Google وGoogle-Display-Ads-Bot، التابعَين لخدمة Google AdSense، ملفّ robots.txt. إذا حظر ملف robot.txt الدخول إلى صفحات أو أدلة معينة، لن يتم الزحف إليها.
ملاحظة: إذا كنت تعرض الإعلانات على صفحات تم حظرها باستخدام السطرUser-agent: *
، سيستمر زاحف AdSense في الزحف إلى هذه الصفحات. لمنع زاحف AdSense من الوصول إلى صفحاتك، عليك تضمين ما يلي في ملفّ robots.txt:User-agent: Mediapartners-Google
User-agent: Google-Display-Ads-Bot
- يحاول الزاحف الوصول إلى عناوين URL التي تمّ تطبيق علامات إعلاناتنا فيها فقط.
ومن المفترض أن تكون الصفحات التي تعرض "إعلانات Google" فقط هي التي ترسل طلبات إلى نظامنا ويتم الزحف فيها.
- يحاول الزاحف الوصول إلى الصفحات التي تُعيد التوجيه.
عندما يتضمن موقعك "صفحات أصلية" تعيد التوجيه إلى صفحات أخرى، يجب أن يصل الزاحف إلى الصفحات الأصلية لتحديد أنّ هناك عملية إعادة توجيه مستخدمة. وبالتالي، تظهر زيارة الزاحف إلى الصفحات الأصلية في سجلّات الدخول.
- لا يتم التحكّم في عدد مرات فهرسة الزاحف لمحتوى موقعك.
في الوقت الحالي، لا يمكننا التحكُّم في عمليات إعادة الزحف إلى المواقع الإلكترونية. وذلك لأن عملية الزحف تتم تلقائيًا بواسطة روبوتات الدردشة لدينا. إذا أدخلت تغييرات على إحدى الصفحات، قد تحتاج هذه التغييرات من أسبوع إلى أسبوعين لكي تظهر في فهرسنا.