لمحة عن ملف robots.txt

اختبار ملف robots.txt باستخدام أداة اختبار ملف robots.txt

توضح لك أداة اختبار ملف robots.txt ما إذا كان ملف robots.txt يمنع برامج زحف الويب من Google من الدخول إلى عناوين URL معينة على موقعك. على سبيل المثال، يمكنك استخدام هذه الأداة لاختبار ما إذا كان الزاحف Googlebot-Image بإمكانه الزحف إلى عنوان URL لصورة تريد منع الدخول إليها من بحث الصور من Google.

 

فتح أداة اختبار ملف robots.txt

 

يمكنك إرسال عنوان URL إلى أداة اختبار ملف robots.txt. وتعمل هذه الأداة وفقًا لمتطلبات Googlebot لفحص ملف robots.txt والتأكد من أنه تم حظر الدخول إلى عنوان URL على نحو سليم.

اختبار ملف robots.txt

  1. افتح أداة الاختبار لموقعك، ومرر داخل شفرة robots.txt للوصول إلى تحذيرات البنية والأخطاء المنطقية التي تم تمييزها. ويتم توضيح عدد تحذيرات البنية والأخطاء المنطقية أسفل المحرر مباشرةً. 
  2. اكتب عنوان URL لصفحة على موقعك في مربع النص بأسفل الصفحة.
  3. حدد وكيل المستخدم الذي تريد محاكاته في القائمة المنسدلة على يسار مربع النص.
  4. انقر على زر اختبار لاختبار الدخول.
  5. تحقق لتعرف ما إذا كان زر اختبار أصبح يعرض عبارة تم القبول أو تم الحظر لتعرف ما إذا كان عنوان URL الذي أدخلته قد تم حظر دخول برامج زحف الويب من Google إليه.
  6. عدِّل الملف الموجود في الصفحة وأعد الاختبار إذا لزم الأمر. ولاحظ أن التغييرات التي تجريها في الصفحة لا يتم حفظها في موقعك! راجع الخطوة التالية.
  7. انسخ تغييراتك إلى ملف robots.txt على موقعك. ولا تجري هذه الأداة تغييرات في الملف الفعلي على موقعك، بل إنها تجري اختبار فحسب مع النسخة التي تستضيفها الأداة.

قيود أداة اختبار ملف robots.txt:

  • لا يتم حفظ التغييرات التي تجريها في محرر الأداة تلقائيًا في خادم الويب. يلزمك نسخ المحتوى من أداة التعديل ولصقه في ملف robots.txt المخزن على خادمك.
  • لا تختبر أداة اختبار ملف robots.txt أي ملفات robots.txt إلا تلك الملفات التي تتضمن وكلاء مستخدم أو برامج زحف الويب من Google، مثل Googlebot. ولا يمكننا توقع كيفية تفسير برامج زحف الويب الأخرى لملف robots.txt .
هل كان ذلك مفيدًا؟
كيف يمكننا تحسينها؟