لمحة عن ملف robots.txt

إرسال ملف robots.txt بعد تحديثه إلى Google

تتيح لك الوظيفة إرسال في أداة اختبار robots.txt إمكانية إجراء ومطالبة Google بالزحف وفهرسة ملف robots.txt الجديد لموقعك بسرعة أكبر. ويمكنك تحديث Google وإخباره بالتغييرات التي يتم إدخالها على ملف robots.txt باتباع الخطوات التالية.

1- انقر على إرسال أسفل يسار أداة تعديل robots.txt. ويتم من خلال هذا الإجراء فتح مربع الحوار "إرسال".

2- نزل شفرة robots.txt التي تم تعديلها من صفحة أداة اختبار robots.txt من خلال النقر على تنزيل في مربع الحوار "إرسال".

3- حمِّل ملف robots.txt الجديد في جذر نطاقك كملف نصي اسمه robots.txt (يجب أن يكون عنوان URL لملف robots.txt كما يلي ‎/robots.txt).

إذا لم يكن لديك إذن لتحميل ملفات إلى جذر نطاقك، فيتعين عليك الاتصال بمدير النطاق لإجراء التغييرات.

على سبيل المثال، إذا كانت الصفحة الرئيسية لموقعك تقع في subdomain.example.com/site/example/، فمن المرجح أنك لن تتمكن من تحديث ملف برامج الروبوت subdomain.example.com/robots.txt. في هذه الحالة، يتعين عليك الاتصال بمالك example.com/ لإجراء أية تغييرات ضرورية على ملف robots.txt.

4- انقر على التحقق من النسخة المعروضة لتعرف ما إذا كان ملف robots.txt المعروض يمثل النسخة التي يريد Google الزحف إليها أم لا.

5- انقر على إرسال نسخة معروضة لإشعار Google بأن هناك تغييرات تم إجراؤها في ملف robots.txt ومطالبة Google بالزحف إليها.

6- تحقق مما إذا كان Google قد زحف إلى النسخة الأخيرة بنجاح من خلال تحديث الصفحة في المتصفح لتحميل وسيلة التعديل في الأداة والاطلاع على شفرة robots.txt المعروض. وبعد تحديث الصفحة، يمكنك أيضًا النقر على القائمة المنسدلة أعلى محرر النصوص للاطلاع على الطابع الزمني للوقت الذي شاهد Google فيه أحدث نسخة من ملف robots.txt لأول مرة.

التالي: حظر عناوين URL من خلال حماية سجلات الخادم بكلمة مرور

هل كان ذلك مفيدًا؟
كيف يمكننا تحسينها؟