برامج الزحف من Google (وكلاء المستخدمين)

برامج الروبوت التي يستخدمها محرك البحث Google للزحف إلى مواقع الويب

"الزاحف" هو مصطلح عام لأي برنامج (مثل الروبوت أو العنكبوت) يتم استخدامه لاكتشاف مواقع الويب وفحصها تلقائيًا من خلال تتبُّع الروابط من صفحة ويب إلى أخرى. ويُطلق على الزاحف الرئيسي في Google اسم Googlebot. ويسرد هذا الجدول معلومات عن برامج الزحف الشائعة من Google التي من الممكن أن تراها في سجلات المُحيل، والطريقة التي يجب تحديدها بها في ملف robots.txt والعلامات الوصفية لبرامج الروبوت وأوامر X-Robots-Tag HTTP.

يعرض الجدول التالي برامج الزحف التي يستخدمها عدد من المنتجات والخدمات على Google:

  • الرمز المميز لوكيل المستخدم هو رمز يُستخدم في سطر User-agent: داخل ملف robots.txt بهدف المطابقة مع نوع من برامج الزحف عند كتابة قواعد الزحف لموقعك على الويب. بعض برامج الزحف لديها أكثر من رمز مميز واحد على النحو الوارد في الجدول، ولا يلزمك سوى مطابقة رمز مميز واحد للزاحف لتطبيق القاعدة. هذه القائمة ليست حصرية، ولكنها تشمل معظم برامج الزحف التي قد يمرّ بها موقعك على الويب.
  • السلسلة الكاملة لوكيل المستخدم هي سلسلة تُقدّم وصفًا كاملاً للزاحف وتظهر في الطلب وسجلات الويب لديك.
يمكن التلاعب في هذه القيم، ولكن إذا كنت تريد التأكّد من أن الزائر Googlebot، يجب استخدام بحث نظام أسماء النطاقات العكسي.
الزاحف الرمز المميز لوكيل المستخدم (الرمز المميز للمنتج) السلسلة الكاملة لوكيل المستخدم
APIs-Google

APIs-Google

APIs-Google (‎+https://developers.google.com/webmasters/APIs-Google.html)
AdSense

Mediapartners-Google

Mediapartners-Google

AdsBot Mobile Web Android

(لفحص جودة الإعلان على صفحة الويب عبر نظام التشغيل Android)

AdsBot-Google-Mobile

Mozilla/5.0 (Linux; Android 5.0; SM-G920A) AppleWebKit (KHTML, like Gecko) Chrome Mobile Safari (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)

AdsBot Mobile Web

(لفحص جودة الإعلان على صفحة الويب على هاتف iPhone)

AdsBot-Google-Mobile

Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)

AdsBot

(لفحص جودة الإعلان على صفحة الويب على جهاز سطح المكتب)

AdsBot-Google

AdsBot-Google (‎+http://www.google.com/adsbot.html)
Googlebot Images
  • Googlebot-Image
  • Googlebot
Googlebot-Image/1.0
Googlebot News
  • Googlebot-News
  • Googlebot
Googlebot-News
Googlebot Video
  • Googlebot-Video
  • Googlebot
Googlebot-Video/1.0

Googlebot (سطح المكتب)

Googlebot

  • Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
  • Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Safari/537.36

    أو (نادرًا ما يتم استخدامها):
     
  • Googlebot/2.1 (+http://www.google.com/bot.html)

Googlebot (الهاتف الذكي)

Googlebot

 

Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Mobile AdSense

Mediapartners-Google

(أنواع متعددة من الأجهزة الجوّالة) (compatible; Mediapartners-Google/2.1; +http://www.google.com/bot.html)

Mobile Apps Android

(لفحص جودة الإعلان على صفحة تطبيق Android. ويتبع قواعد برامج الروبوت AdsBot-Google.)

AdsBot-Google-Mobile-Apps

AdsBot-Google-Mobile-Apps

Feedfetcher

FeedFetcher-Google

لا يلتزم بقواعد robots.txt - السبب

FeedFetcher-Google; (+http://www.google.com/feedfetcher.html)

Google Read Aloud

Google-Read-Aloud

لا يلتزم بقواعد robots.txt - السبب

  • الوكيل الحالي:
    Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.118 Safari/537.36 (compatible; Google-Read-Aloud; +https://support.google.com/webmasters/answer/1061943)
  • الوكيل السابق (تم إيقاف العمل به):
    google-speakr

وكلاء المستخدم في robots.txt

عندما يتم التعرف على العديد من وكلاء المستخدم في ملف robots.txt، يتبع Google وكيل المستخدم الأكثر تحديدًا. إذا كنت تريد تمكين Google من الزحف إلى صفحاتك بشكل تام، فلا يلزمك ملف robots.txt على الإطلاق. إذا كنت تريد حظر جميع برامج الزحف في Google من الدخول إلى بعض المحتويات أو السماح لها بذلك، فيمكنك إجراء ذلك من خلال تحديد Googlebot كوكيل المستخدم. على سبيل المثال، إذا كنت تريد أن تظهر جميع صفحاتك في بحث Google، وإذا كنت تريد أن تظهر إعلانات AdSense على صفحاتك، فلا يلزمك ملف robots.txt. وبالمثل، إذا كنت تريد حظر بعض الصفحات من الظهور في بحث Google نهائيًا، فسيؤدي حظر وكيل المستخدم Googlebot أيضًا إلى حظر جميع وكلاء المستخدم الآخرين من Google.

لكن إذا أردت مزيدًا من التحكم بالغ الدقة، فيمكن أن تصبح أكثر تحديدًا. على سبيل المثال، قد تريد أن تظهر جميع صفحاتك في بحث Google، ولكن لا تريد أن يتم الزحف إلى الصور في دليلك الشخصي. في هذه الحالة، استخدم ملف robots.txt لمنع وكيل المستخدم Googlebot-Image من الزحف إلى الملفات في دليلك الشخصي (مع السماح لبرنامج Googlebot بالزحف إلى جميع الملفات)، على هذا النحو:

User-agent: Googlebot
Disallow:

User-agent: Googlebot-Image
Disallow: /personal
كمثال آخر، لنفترض أنك تريد نشر إعلانات على جميع صفحاتك، لكنك لا تريد أن تظهر هذه الصفحات في بحث Google. في هذه الحالة، يمكن أن تحظر Googlebot، مع السماح لبرنامج Mediapartners-Google، على هذا النحو:
User-agent: Googlebot
Disallow: /

User-agent: Mediapartners-Google
Disallow:

وكلاء المستخدم في العلامات الوصفية لبرامج الروبوت

تستخدم بعض الصفحات عدة علامات meta لبرامج الروبوت لتحديد الأوامر لبرامج الزحف المختلفة، على النحو التالي:

<meta name="robots" content="nofollow"><meta name="googlebot" content="noindex">

وفي هذه الحالة، يستخدم Google إجمالي الأوامر السلبية ويتبع برنامج Googlebot كلاً من الأمرين noindex وnofollow. مزيد من المعلومات التفصيلية عن التحكم في كيفية زحف Google إلى موقعك وفهرسته.

هل كان ذلك مفيدًا؟
كيف يمكننا تحسينها؟