الزاحف، الذي يُعرف أيضًا باسم العنكبوت أو برنامج التتبع، هو برنامج تستخدمه Google لمعالجة محتوى صفحات الويب وفهرسته. يزور زاحف المحتوى موقعك لتحديد محتواه بهدف تقديم إعلانات ملائمة.
في ما يلي بضع حقائق مهمة عليك أن تعرفها عن زاحف المحتوى:
- يتم تحديث تقرير الزاحف بشكل أسبوعي.
يتم إجراء الزحف بشكل تلقائي ولن يمكننا قبول طلبات لزيادة عدد مرات الزحف. - يختلف زاحف المحتوى عن زاحف Google.
والزاحفان منفصلان، لكنهما يتشاركان في ذاكرة التخزين المؤقت. ونفعل ذلك لتجنب طلب كلا الزاحفين للصفحات نفسها، وبالتالي مساعدة الناشرين في الحفاظ على معدل نقل البيانات. وبالمثل، يكون زاحف Search Console منفصلاً. - إن حل مشاكل زاحف المحتوى لن يؤدي إلى حل مشاكل زحف Google.
حل المشاكل المذكورة في صفحة "وصول الزاحف إلى صفحات الموقع" لن يكون له أي تأثير في موضع إعلانك ضمن نتائج بحث Google. لمزيد من المعلومات حول ترتيب موقعك الإلكتروني على Google، راجع مقالة AdSense عن تضمين موقعك في نتائج بحث Google. - يعمل الزاحف على الفهرسة حسب عنوان URL.
ويدخل الزاحف إلى مواقع مثل site.com وwww.site.com بشكل منفصل. ومع ذلك، فلن يحسب الزاحف site.com وsite.com/#anchor على أنهما موقعان منفصلان. - لن يصل الزاحف إلى الصفحات أو الأدلة التي يحظر ملف robots.txt الدخول إليها.
يحترم كل من زاحف Google وAdMob Mediapartners ملف robots.txt. إذا حظر ملف robot.txt الدخول إلى صفحات أو أدلة معينة، لن يتم الزحف إليها.ضع في اعتبارك أنك إذا كنت تعرض الإعلانات على الصفحات التي تم حظرها باستخدام هذا الخط User-agent: *، إذن سيستمر زاحف AdSense في الزحف إلى هذه الصفحات. لمنع زاحف المحتوى من الوصول إلى صفحاتك، يتعين عليك تحديدUser-agent: Mediapartners-Googleفي ملف robots.txt لديك. مزيد من المعلومات. - سيحاول الزاحف الوصول إلى عناوين URL التي تم تنفيذ علامات إعلاناتنا فيها فقط.
ومن المفترض أن تكون الصفحات التي تعرض "إعلانات Google" فقط هي التي ترسل طلبات إلى نظامنا ويتم الزحف فيها. - سيحاول الزاحف الوصول إلى الصفحات التي تعيد التوجيه.
عندما يتضمن موقعك "صفحات أصلية" تعيد التوجيه إلى صفحات أخرى، يجب أن يصل الزاحف إلى الصفحات الأصلية لتحديد أن هناك عملية إعادة توجيه مستخدمة. وبالتالي، ستظهر زيارة الزاحف إلى الصفحات الأصلية في سجلات الدخول إلى موقعك. - إعادة الزحف إلى المواقع الإلكترونية
في الوقت الحالي، يتعذَّر علينا التحكّم في عدد مرات فهرسة برامج الزحف للمحتوى على موقعك الإلكتروني. وذلك لأن عملية الزحف تتم تلقائيًا بواسطة برامج التتبع لدينا. إذا أدخلت تغييرات على إحدى الصفحات، قد تحتاج هذه التغييرات من أسبوع إلى أسبوعين لكي تظهر في فهرسنا.