الزاحف، الذي يُعرف أيضًا باسم العنكبوت أو برنامج التتبع، هو برنامج تستخدمه Google لمعالجة محتوى صفحات الويب وفهرسته. يزور زاحف المحتوى موقعك لتحديد محتواه بهدف تقديم إعلانات ملائمة.
في ما يلي بعض الأمور المهمة التي يجب معرفتها عن زاحف المحتوى:
- يتم تحديث تقرير الزاحف بشكل أسبوعي.
تتم عملية الزحف بشكلٍ تلقائي. ولا يمكننا قبول طلبات لزيادة عدد مرّات الزحف. - يختلف زاحف المحتوى عن زاحف Google.
مع أنّ هذين الزاحفَين منفصلان، إلّا أنّهما يتشاركان ذاكرة تخزين مؤقتة واحدة. وبهذه الطريقة، لا يمكن لكلا الزاحفَين طلب الصفحات نفسها، ما يساعدك في الحفاظ على معدّل نقل البيانات الخاص بك. وبالمثل، يكون زاحف Search Console منفصلاً. - إنّ حلّ مشاكل زاحف المحتوى لا يؤدّي إلى حلّ مشاكل زحف Google.
إنّ حلّ المشاكل المُدرَجة في صفحة "وصول الزاحف إلى صفحات الموقع" لن يؤثّر في ترتيب موقعك الإلكتروني ضِمن نتائج البحث من Google.ملاحظة: لمزيد من المعلومات عن ترتيب موقعك الإلكتروني على Google، انتقِل إلى مقالة تضمين موقعك الإلكتروني في نتائج البحث من Google. - يعمل الزاحف على الفهرسة حسب عنوان URL.
على سبيل المثال، سيدخل الزاحف إلى "site.com" و "www.site.com" بشكلٍ منفصل. في المقابل، لا يحتسب الزاحف "site.com" و"site.com/#anchor" بشكلٍ منفصل. - لن يصل الزاحف إلى الصفحات أو الأدلة التي يحظر ملف robots.txt الدخول إليها.
يحترم كل من زاحف Google وAdMob Mediapartners ملف robots.txt. وإذا حظر ملف robot.txt الوصول إلى صفحات أو أدلة معيّنة، لن يتم الزحف إليها.ملاحظة: إذا كنت تعرِض الإعلانات على صفحات تم حظرها باستخدام السطرUser-agent: *، سيستمر زاحف المحتوى في الزحف إلى هذه الصفحات. لمنع زاحف المحتوى من الوصول إلى صفحاتك، عليك تحديدUser-agent: Mediapartners-Googleفي ملف robots.txt لديك. - سيحاول الزاحف الوصول إلى عناوين URL التي تم تنفيذ علامات إعلاناتنا فيها فقط.
ومن المفترض أن تكون الصفحات التي تعرض "إعلانات Google" فقط هي التي ترسل طلبات إلى نظامنا ويتم الزحف فيها. - سيحاول الزاحف الوصول إلى الصفحات التي تعيد التوجيه.
عندما يتضمّن موقعك الإلكتروني "صفحات أصلية" تُعيد التوجيه إلى صفحات أخرى، يجب أن يصل الزاحف إلى الصفحات الأصلية لتحديد أنّ هناك عملية إعادة توجيه مستخدَمة. وبالتالي، ستظهر زيارة الزاحف إلى الصفحات الأصلية في سجلات الدخول إلى موقعك. - ما مِن طريقة للتحكّم في عدد مرّات فهرسة برامج الزحف للمحتوى على موقعك الإلكتروني.
في الوقت الحالي، تتم عملية الزحف تلقائيًا بواسطة برامج التتبّع لدينا. إذا أدخلت تغييرات على إحدى الصفحات، قد تحتاج هذه التغييرات من أسبوع إلى أسبوعين لكي تظهر في فهرسنا.