Googlebot

Googlebot هو الاسم العام لزاحف الويب من Google. ويُعدّ Googlebot الاسم العام لنوعين مختلفين من برامج الزحف وهما: زاحف أجهزة سطح المكتب الذي يحاكي المستخدم على جهاز سطح مكتب، وزاحف الأجهزة الجوّالة الذي يحاكي المستخدم على جهاز جوّال.

من المحتمل أن يتم الزحف إلى موقعك الإلكتروني بواسطة Googlebot لأجهزة سطح المكتب وGooglebot للأجهزة الجوّالة على حد سواء. ويمكنك تحديد النوع الفرعي لبرنامج Googlebot من خلال الاطّلاع على سلسلة وكيل المستخدم في الطلب. ومع ذلك، يلتزم كلا نوعيّ الزاحف بالرمز المميز نفسه للمنتج (الرمز المميز لوكيل المستخدم) في ملف robots.txt، ولذا لا يمكنك استهداف Googlebot للأجهزة الجوّالة أو Googlebot لأجهزة سطح المكتب بشكل انتقائي في ملف robots.txt.

إذا تم تحويل موقعك الإلكتروني إلى الفهرسة التي تعطي أولوية للأجهزة الجوّالة على Google، سيتم في هذه الحالة إجراء معظم طلبات زحف Googlebot باستخدام الزاحف المخصّص للأجهزة الجوّالة، وإجراء عدد قليل من تلك الطلبات باستخدام الزاحف المخصّص لأجهزة سطح المكتب. وبالنسبة إلى المواقع الإلكترونية التي لم يتم تحويلها بعد، سيتم إجراء معظم طلبات الزحف باستخدام الزاحف المخصّص لأجهزة سطح المكتب. وفي كلتا الحالتين، لا يزحف برنامج الزحف المستخدَم مع القليل من الطلبات إلا إلى عناوين URL التي سبق وتم الزحف إليها بواسطة برنامج الزحف المستخدَم مع معظم الطلبات.

 

كيفية وصول Googlebot إلى موقعك الإلكتروني

بالنسبة إلى معظم المواقع، لن يصل Googlebot إلى موقعك أكثر من مرة كل بضع ثوانٍ في المتوسط. ومع ذلك، من المحتمل أن يزداد المعدل قليلاً على مدى فترات قصيرة نتيجة لحدوث حالات تأخير.

تم تصميم Googlebot بحيث يتم تشغيله بواسطة آلاف من الأجهزة لتحسين الأداء وتطويره مع نمو الويب. ولتقليل استخدام معدل نقل البيانات أيضًا، نشغّل العديد من برامج الزحف على أجهزة موجودة في مكان قريب من المواقع الإلكترونية التي قد يزحَفون إليها. لذلك، قد تعرض سجلاتك الزيارات من أجهزة متعددة ضمن النطاق google.com، وجميعها باستخدام وكيل المستخدم Googlebot. ويتمثل هدفنا في الزحف إلى أكبر عدد ممكن من صفحات موقعك عند كل زيارة بدون الإسراف في استهلاك معدل نقل بيانات الخادم. إذا كان موقعك الإلكتروني يواجه مشكلة في الاستجابة لطلبات الزحف من Google، يمكنك طلب إجراء تغيير في معدل الزحف.

حظر انتقال برنامج Googlebot إلى موقعك

يستحيل تقريبًا الحفاظ على سرية خادم الويب من خلال عدم نشر روابط تؤدي إليه. على سبيل المثال، عندما يتتبّع مستخدم رابطًا من خادمك "السري" إلى خادم ويب آخر، قد يظهر عنوان URL "السري" في علامة المُحيل وقد يحفظه خادم الويب الآخر وينشره في سجل المُحيل الخاص به. وبالمثل، يحتوي الويب على العديد من الروابط القديمة والمعطلة. عندما ينشر مستخدم رابطًا غير صحيح إلى موقعك أو يتعذّر عليه تعديل الروابط لإظهار التغييرات في خادمك، سيحاول Googlebot الزحف إلى رابط غير صحيح من موقعك.

إذا أردت منع Googlebot من الزحف إلى محتوى على موقعك الإلكتروني، هناك خيارات متعددة متوفرة لك. عليك أن تكون مدركًا للفرق بين منع Googlebot من الزحف إلى صفحة ومنعه من فهرسة صفحة ومنع وصول كلٍ من برامج الزحف والمستخدمين إلى صفحة.

التحقق من Googlebot

قبل أن تقرر حظر Googlebot، ينبغي العلم بأن سلسلة وكلاء المستخدم التي يستخدمها Googlebot غالبًا ما تنتحلها برامج الزحف الأخرى. ومن المهم التحقق من أن الطلب الذي به المشكلة صادر فعليًا من Google. وأفضل طريقة للتحقق من أن الطلب صادر فعليًا من Googlebot هي استخدام بحث نظام أسماء النطاقات العكسي على عنوان IP المصدر للطلب.

يراعي Googlebot وجميع البرامج الجيدة لتتبع محركات البحث الأوامر المضمّنة في ملف robots.txt، ولكن بعض الأشخاص السيئين ومرسلي المحتوى غير المرغوب فيه لا يلتزمون بذلك. وتعمل Google جاهدةً على مكافحة مُرسلي المحتوى غير المرغوب فيه؛ فإذا لاحظت صفحات أو مواقع غير مرغوب فيها ضمنَ نتائج "بحث Google"، يمكنك إبلاغ Google بالمحتوى غير المرغوب فيه.

 

هل كانت هذه المقالة مفيدة؟
كيف يمكننا تحسينها؟