نظرة عامة على برامج الزحف من Google (وكلاء المستخدم)

الاطّلاع على برامج الروبوت التي يستخدمها محرك البحث Google للزحف إلى المواقع الإلكترونية

"الزاحف" هو مصطلح عام لأي برنامج (مثل الروبوت أو العنكبوت) يتم استخدامه لاكتشاف المواقع الإلكترونية وفحصها تلقائيًا من خلال تتبُّع الروابط من صفحة ويب إلى أخرى. ويُطلق على الزاحف الرئيسي في Google اسم Googlebot. ويسرد هذا الجدول معلومات عن برامج الزحف الشائعة من Google التي من الممكن أن تراها في سجلات المُحيل، والطريقة التي يتعين تحديدها بها في ملف robots.txt والعلامات الوصفية لبرامج الروبوت وأوامر X-Robots-Tag HTTP.

يعرض الجدول التالي برامج الزحف التي يستخدمها عدد من المنتجات والخدمات على Google:

  • الرمز المميّز لوكيل المستخدم هو رمز يُستخدم في سطر User-agent: داخل ملف robots.txt بهدف المطابقة مع نوع من برامج الزحف عند كتابة قواعد الزحف لموقعك الإلكتروني. بعض برامج الزحف لديها أكثر من رمز مميز واحد على النحو الوارد في الجدول، ولا يلزمك سوى مطابقة رمز مميز واحد للزاحف لتطبيق القاعدة. هذه القائمة ليست حصرية، ولكنها تشمل معظم برامج الزحف التي قد يمرّ بها موقعك الإلكتروني.
  • السلسلة الكاملة لوكيل المستخدم هي سلسلة تقدّم وصفًا كاملاً للزاحف وتظهر في الطلب وسجلات الويب الخاصة بك.
يمكن التلاعب في هذه القيم. وإذا كنت تريد التأكّد من أنّ الزائر هو Googlebot، عليكاستخدام بحث نظام أسماء النطاقات العكسي.
الزاحف الرمز المميز لوكيل المستخدم (الرمز المميز للمنتج) السلسلة الكاملة لوكيل المستخدم
APIs-Google

APIs-Google

APIs-Google (+https://developers.google.com/webmasters/APIs-Google.html)
AdSense

Mediapartners-Google

Mediapartners-Google

AdsBot Mobile Web Android

(لفحص جودة الإعلان على صفحة الويب عبر نظام التشغيل Android)

AdsBot-Google-Mobile

Mozilla/5.0 (Linux; Android 5.0; SM-G920A) AppleWebKit (KHTML, like Gecko) Chrome Mobile Safari (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)

AdsBot Mobile Web

(لفحص جودة الإعلان على صفحة الويب على هاتف iPhone)

AdsBot-Google-Mobile

Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)

AdsBot

(لفحص جودة الإعلان على صفحة الويب على جهاز سطح المكتب)

AdsBot-Google

AdsBot-Google (‎+http://www.google.com/adsbot.html)
Googlebot Image
  • Googlebot-Image
  • Googlebot
Googlebot-Image/1.0
Googlebot News
  • Googlebot-News
  • Googlebot
Googlebot-News
Googlebot Video
  • Googlebot-Video
  • Googlebot
Googlebot-Video/1.0

Googlebot (سطح المكتب)

Googlebot

  • Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
  • Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36

    أو (نادرًا ما يتم استخدامه):
     
  • Googlebot/2.1 (+http://www.google.com/bot.html)

Googlebot (الهاتف الذكي)

Googlebot

 

Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Mobile AdSense

Mediapartners-Google

(أنواع متعدّدة من الأجهزة الجوّالة) (compatible; Mediapartners-Google/2.1; +http://www.google.com/bot.html)

نظام التشغيل Android للتطبيقات المتوافقة مع الأجهزة الجوّالة

(لفحص جودة الإعلان على صفحة تطبيق متوافق مع Android. ويتّبع قواعد برامج الروبوت AdsBot-Google.)

AdsBot-Google-Mobile-Apps

AdsBot-Google-Mobile-Apps

Feedfetcher

FeedFetcher-Google

لا يلتزم بقواعد robots.txt - السبب

FeedFetcher-Google; (+http://www.google.com/feedfetcher.html)

Google Read Aloud

Google-Read-Aloud

لا يلتزم بقواعد robots.txt، إليك السبب

الوكلاء الحاليون:

  • وكيل سطح المكتب: Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.118 Safari/537.36 (compatible; Google-Read-Aloud;  +https://support.google.com/webmasters/answer/1061943)
  • وكيل الجهاز الجوّال: Mozilla/5.0 (Linux; Android 7.0; SM-G930V Build/NRD90M) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.125 Mobile Safari/537.36 (compatible; Google-Read-Aloud; +https://support.google.com/webmasters/answer/1061943)

الوكيل السابق (متوقّف): google-speakr

Duplex on the Web

DuplexWeb-Google

قد يتجاهل حرف البدل * لوكيل المستخدم - السبب

Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012; DuplexWeb-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Mobile Safari/537.36

Google Favicon

(لاسترداد الرموز المفضّلة للخدمات المختلفة)

Google Favicon

بالنسبة إلى الطلبات التي يجريها المستخدم، يتجاهل قواعد robots.txt

 

Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko)  Chrome/49.0.2623.75 Safari/537.36 Google Favicon
تقنيّة Web Light

googleweblight

لا يلتزم بقواعد robots.txt - السبب

Mozilla/5.0 (Linux; Android 4.2.1; en-us; Nexus 5 Build/JOP40D) AppleWebKit/535.19 (KHTML, like Gecko; googleweblight) Chrome/38.0.1025.166 Mobile Safari/535.19

 

Chrome/W.X.Y.Z في وكلاء المستخدم

أينما ترد سلسلة Chrome/W.X.Y.Z ضمن سلاسل وكلاء المستخدم في الجدول، تكون W.X.Y.Z عبارة عن عنصر نائب يمثِّل إصدار متصفّح Chrome الذي يستخدمه وكيل المستخدم هذا: مثل 41.0.2272.96. سيزداد رقم الإصدار هذا بمرور الوقتليطابق أحدث إصدارات Chromium التي يستخدمها Googlebot.

إذا كنت تبحث في سجلاتك أو تجري تصفية للخادم للعثور على وكيل مستخدم بهذا النمط، قد تحتاج إلى استخدام أحرف بدل لرقم الإصدار بدلاً من تحديد رقم إصدار بعينه.

وكلاء المستخدم في robots.txt

عندما يتم التعرف على العديد من وكلاء المستخدم في ملف robots.txt، يتبع Google وكيل المستخدم الأكثر تحديدًا. إذا كنت تريد تمكين Google من الزحف إلى صفحاتك بشكل تام، فلا يلزمك ملف robots.txt على الإطلاق. إذا كنت تريد حظر جميع برامج الزحف في Google من الدخول إلى بعض المحتويات أو السماح لها بذلك، فيمكنك إجراء ذلك من خلال تحديد Googlebot كوكيل المستخدم. على سبيل المثال، إذا كنت تريد أن تظهر جميع صفحاتك في بحث Google، وإذا كنت تريد أن تظهر إعلانات AdSense على صفحاتك، فلا يلزمك ملف robots.txt. وبالمثل، إذا كنت تريد حظر بعض الصفحات من الظهور في بحث Google نهائيًا، فسيؤدي حظر وكيل المستخدم Googlebot أيضًا إلى حظر جميع وكلاء المستخدم الآخرين من Google.

لكن إذا أردت مزيدًا من التحكم بالغ الدقة، فيمكن أن تصبح أكثر تحديدًا. على سبيل المثال، قد تريد أن تظهر جميع صفحاتك في بحث Google، ولكن لا تريد أن يتم الزحف إلى الصور في دليلك الشخصي. في هذه الحالة، استخدم ملف robots.txt لمنع وكيل المستخدم Googlebot-Image من الزحف إلى الملفات في دليلك الشخصي (مع السماح لبرنامج Googlebot بالزحف إلى جميع الملفات)، على هذا النحو:

User-agent: Googlebot
Disallow:

User-agent: Googlebot-Image
Disallow: /personal
كمثال آخر، لنفترض أنك تريد نشر إعلانات على جميع صفحاتك، لكنك لا تريد أن تظهر هذه الصفحات في بحث Google. في هذه الحالة، يمكن أن تحظر Googlebot، مع السماح لبرنامج Mediapartners-Google، على هذا النحو:
User-agent: Googlebot
Disallow: /

User-agent: Mediapartners-Google
Disallow:

وكلاء المستخدم في العلامات الوصفية لبرامج الروبوت

تستخدم بعض الصفحات عدة علامات meta لبرامج الروبوت لتحديد الأوامر لبرامج الزحف المختلفة، على النحو التالي:

<meta name="robots" content="nofollow"><meta name="googlebot" content="noindex">

وفي هذه الحالة، يستخدم Google إجمالي الأوامر السلبية ويتبع برنامج Googlebot كلاً من الأمرين noindex وnofollow. يمكنك الاطّلاع على مزيد من المعلومات التفصيلية عن التحكّم في آلية زحف Google إلى موقعك الإلكتروني وفهرسته.

هل كان ذلك مفيدًا؟
كيف يمكننا تحسينها؟