يعرض تقرير ملفات robots.txt الملفات التي عثر عليها محرّك بحث Google لأهم 20 مضيفًا على موقعك الإلكتروني، وآخر مرة تم الزحف فيها إلى تلك الملفات، وأي تحذيرات أو أخطاء حدثت أثناء عملية الزحف. يتيح لك التقرير أيضًا طلب إعادة الزحف إلى ملف robots.txt محدّد في الحالات الطارئة.
يتوفّر هذا التقرير للمواقع الإلكترونية على مستوى النطاق فقط. وهي تشمل أيًا مما يلي:
- موقع إلكتروني في نطاق (مثل example.com أو m.example.com)
- موقع إلكتروني يحمل بادئة عنوان URL بدون مسار، مثل https://example.com/، ولكن ليس https://example.com/path/
الاطّلاع على ملفات robots.txt وحالة الزحف
إذا كان لديك موقع إلكتروني في نطاق، يعرض التقرير ملفات robots.txt من أهم 20 مضيفًا في ذلك الموقع.
عند التحقّق من ملف robots.txt باستخدام Search Console، يمكنك الاطّلاع على المعلومات التالية:
- مسار الملف: وهو عنوان URL الكامل الذي تحقّق محرّك بحث Google من توفُّر ملف robots.txt فيه. ويظهر عنوان URL في التقرير فقط إذا تم تصنيفه بالحالتين "تم استرجاعه" أو "لم يتم استرجاعه" في أيّ وقت خلال آخر 30 يومًا. راجِع القسم موقع ملفات robots.txt.
- حالة الاسترجاع: وهي حالة آخر طلب استرجاع لهذا الملف. في ما يلي القيم المحتمَلة لهذه الحالة:
- لم يتم استرجاعه - لم يتم العثور عليه (404): حدث خطأ 404 (الملف غير موجود) عند طلب هذا الملف. إذا كنت قد نشرت ملف robots.txt على عنوان URL المدرَج وظهر لك هذا الخطأ، جرِّب فحص عنوان URL للتحقّق من أيّ مشاكل متعلّقة بتوفّر الملف. إذا بقي الملف مصنّفًا بالحالة لم يتم العثور عليه (404) لمدة 30 يومًا، لن يظهر الملف بعد ذلك في التقرير (إلا أنّ محرّك بحث Google سيواصل فحصه في الخلفية). إذا لم يظهر خطأ في ملف robots.txt، هذه إشارة جيدة، وهي تعني أنّ محرّك بحث Google يستطيع الزحف إلى جميع عناوين URL على موقعك الإلكتروني، ولكن ننصحك بالاطّلاع على سلوك محرّك بحث Google بشأن ملفات robots.txt التي تتضمّن أخطاء لمعرفة التفاصيل الكاملة.
- لم يتم استرجاعه - أي سبب آخر: حدثت مشكلة أخرى عند طلب هذا الملف. راجِع قائمة مشاكل الفهرسة.
- تم استرجاعه: أدّت محاولة الزحف الأخيرة إلى عرض ملف robots.txt بنجاح. وإذا تم العثور على أيّ مشاكل أثناء تحليل الملف، سيتم إدراجها في عمود المشاكل. يتجاهل محرّك بحث Google الأسطر التي تتضمن مشاكل ويستخدم الأسطر التي يمكنه تحليلها.
- تاريخ التحقّق: يشير إلى آخر مرة حاول فيها محرّك بحث Google الزحف إلى عنوان URL هذا بالتوقيت المحلي.
- الحجم: يشير إلى حجم الملف الذي تم جلبه، بالبايت. وسيكون هذا الحقل فارغًا إذا لم تنجح آخر محاولة استرجاع.
- المشاكل: يعرض الجدول عدد أيّ مشاكل مرتبطة بتحليل محتوى الملف حدثت عند استرجاعه لآخر مرة. وتؤدي الأخطاء إلى منع استخدام أيّ قاعدة، إلا أنّ التحذيرات لا تؤدي إلى منع استخدام القاعدة. يمكنك الاطّلاع على سلوك محرّك بحث Google بشأن ملفات robots.txt التي تتضمّن أخطاء. لحلّ المشاكل المتعلقة بالتحليل، استخدِم أداة التحقّق من ملف robots.txt.
الاطّلاع على آخر إصدار تم استرجاعه
يمكنك الاطّلاع على آخر إصدار تم استرجاعه من ملف robots.txt عن طريق النقر عليه في قائمة الملفات ضمن التقرير. إذا تضمّن ملف robots.txt أيّ أخطاء أو تحذيرات، سيتم تمييزها ضمن محتوى الملف المعروض. ويمكنك التنقل بين الأخطاء والتحذيرات باستخدام مفاتيح الأسهم.
الاطّلاع على الإصدارات التي تم استرجاعها سابقًا
للاطّلاع على طلبات استرجاع ملف robots.txt معيّن الصادرة خلال آخر 30 يومًا، انقر على الملف في قائمة الملفات ضمن التقرير، ثم انقر على الإصدارات. للاطّلاع على محتوى الملف الخاص بإصدار معيّن، انقر على الإصدار المطلوب. لا يتم تضمين الطلب في السجلّ إلا إذا كان هناك اختلاف بين طلب الاسترجاع السابق للملف والملف الذي تم استرجاعه أو نتيجة الاسترجاع.
إذا واجه محرّك بحث Google خطأً في الاسترجاع أثناء آخر محاولة أجراها، سيستخدم آخر إصدار خالٍ من الأخطاء تم استرجاعه بنجاح، وذلك لمدة تصل إلى 30 يومًا.
طلب إعادة الزحف
يمكنك طلب إعادة الزحف إلى ملف robots.txt بعد إصلاح خطأ أو إجراء تغيير مهم.
الحالات التي يمكن فيها طلب إعادة الزحف
بشكل عام، لا تحتاج إلى طلب إعادة الزحف إلى ملف robots.txt لأنّ محرّك بحث Google يعيد الزحف إلى هذه الملفات بشكل متكرّر. مع ذلك، يمكنك طلب إعادة الزحف إلى ملف robots.txt في الحالتين التاليتين:
- إذا غيّرت قواعد ملف robots.txt بهدف إزالة حظر الزحف إلى بعض عناوين URL المهمة وأردت إبلاغ محرّك بحث Google بذلك سريعًا (عِلمًا أنّ ذلك لا يضمن إعادة الزحف فورًا إلى عناوين URL المعنيّة).
- إذا أصلحت خطأً في الاسترجاع أو خطأً ملحًّا آخر.
كيفية طلب إعادة الزحف
لطلب إعادة الزحف، انقر على رمز المزيد من الإعدادات 
المواقع الإلكترونية على خدمات الاستضافة
إذا كان موقعك الإلكتروني مستضافًا على خدمة استضافة، قد لا يكون من السهل تعديل ملف robots.txt. في هذه الحالة، راجِع مستندات المضيف لمعرفة كيفية حظر محرّك بحث Google من الزحف إلى صفحات محدّدة أو فهرستها. (يُرجى العِلم أنّ معظم المستخدمين يهمّهم منع ظهور الملفات في "بحث Google"، وليس منع Google من الزحف إليها. إذا كنت مهتمًا بمنع ظهور صفحاتك، ابحث في خدمة الاستضافة عن معلومات حول كيفية حظر الصفحات من محرّكات البحث).
ماذا يحدث عندما يتعذّر على Google استرجاع ملف robots.txt أو قراءته؟
إذا لم يتم العثور على ملف robots.txt الخاص بنطاق أو نطاق فرعي، يَفترض محرّك بحث Google أنّ بإمكانه الزحف إلى أيّ عنوان URL ضمن ذلك المضيف.
إذا عثر محرّك بحث Google على ملف robots.txt ولكن لم يتمكن من استرجاعه، سيتّبع Google السلوك التالي:
- خلال أول 12 ساعة، سيتوقف Google عن الزحف إلى الموقع الإلكتروني ولكنه سيواصل محاولة استرجاع ملف robots.txt.
- إذا لم يتمكّن محرّك بحث Google من استرجاع إصدار جديد، سيستخدم آخر إصدار خالٍ من الأخطاء خلال الأيام الـ 30 المقبلة، وسيواصل محاولة استرجاع إصدار جديد. يمكنك الاطّلاع على آخر إصدار خالٍ من الأخطاء في سجلّ الإصدارات.
- إذا استمرت الأخطاء بعد 30 يومًا:
- إذا كان الموقع الإلكتروني متاحًا بشكل عام لمحرّك بحث Google، سيعمل Google كما لو أنّ ملف robots.txt غير متوفّر (مع مواصلة البحث عن إصدار جديد).
- وإذا كان الموقع الإلكتروني يتضمن مشاكل مرتبطة بالتوفّر بشكل عام، سيتوقّف Google عن الزحف إليه، مع مواصلة طلب ملف robots.txt بشكل دوري.
إذا عثر محرّك بحث Google على ملف robots.txt وتمكّن من استرجاعه، سيقرأ Google الملف سطرًا تلو الآخر. إذا حدث خطأ في أحد الأسطر أو تعذّر تحليله إلى إحدى قواعد ملف robots.txt، سيتم تخطّيه. إذا لم يتضمّن الملف أسطرًا صالحة، يتعامل محرّك بحث Google مع هذا الملف على أنّه ملف robots.txt فارغ، ما يعني أنّه لم يتم الإعلان عن أي قواعد خاصة بالموقع الإلكتروني.
موقع ملفات robots.txt
المصطلحات:
- البروتوكول، (ويسمى أيضًا المخطط) هو إما HTTP أو HTTPS.
- المضيف هو كل المحتوى في عنوان URL بعد البروتوكول (http:// أو https://) لغاية المسار. بالتالي، يشير المضيف m.de.example.com إلى 3 مضيفات محتملة هي m.de.example.com وde.example.com وexample.com، ويمكن أن يكون لكل مضيف ملف robots.txt خاص به.
- المصدر هو البروتوكول مع المضيف. ويمكن أن يكون بالشكل التالي: https://example.com/ أو https://m.example.co.es/.
وفقًا لمعيار RFC 9309، يجب أن يكون ملف robots.txt في جذر كل تركيبة مكوّنة من بروتوكول ومضيف في موقعك الإلكتروني.
إذا كان لديك موقع إلكتروني في نطاق:
- تختار خدمة Search Console أهم 20 مضيفًا، بالترتيب حسب معدل الزحف. يمكن أن يعرض التقرير ما يصل إلى مصدرَين لكل نطاق، ما يعني أنّ الجدول يمكن أن يعرض ما يصل إلى 40 صفًا. وإذا لم تتمكن من العثور على عنوان URL الخاص بملف robots.txt لأحد المضيفات، يمكنك إنشاء موقع إلكتروني في نطاق للنطاق الفرعي غير المتوفر.
- تتحقق خدمة Search Console من عنوانَي URL لكل مضيف:
- http://<host>/robots.txt
- https://<host>/robots.txt
- إذا بقي ملف robots.txt على عنوان URL المطلوب مصنّفًا بالحالة لم يتم العثور عليه لمدة 30 يومًا، لن تعرض خدمة Search Console عنوان URL في هذا التقرير، إلا أنّ محرّك بحث Google سيواصل التحقّق منه في الخلفية. وفي جميع الحالات الأخرى، سيعرض التقرير عنوان URL الذي تم التحقّق منه.
إذا كان الموقع الإلكتروني يحمل بادئة عنوان URL على مستوى المضيف (مثل https://example.com/)، تتحقّق خدمة Search Console من مصدر واحد فقط لذلك الموقع الإلكتروني. أي بالنسبة إلى الموقع الإلكتروني https://example.com، تتحقّق خدمة Search Console من https://example.com/robots.txt فقط، وليس من http://example.com/robots.txt أو https://m.example.com/robots.txt.
المهام الشائعة
عرض ملف robots.txt
لفتح ملف robots.txt مدرَج في هذا التقرير، انقر على الملف في قائمة ملفات robots.txt. لفتح الملف في المتصفّح، انقر على فتح ملف robots.txt المنشور.
يمكنك فتح أيّ ملف robots.txt على الويب في المتصفّح. راجِع المعلومات أدناه لمعرفة عنوان URL الذي يجب استخدامه.
الأماكن التي تتضمّن ملفات robots.txt
يتم وضع ملف robots.txt في جذر البروتوكول والنطاق. لتحديد عنوان URL، احذف كل المحتوى بعد المضيف (والمنفذ الاختياري) في عنوان URL الخاص بالملف، ثم أضِف "/robots.txt". وفي حال توفُّر ملف robots.txt، يمكنك الانتقال إليه في المتصفّح. لا تكتسب النطاقات الفرعية أو النطاقات الرئيسية ملفات robots.txt، ويمكن أن تتأثر صفحة معينة بملف robots.txt واحد فقط. في ما يلي بعض الأمثلة:
| عنوان URL الخاص بالملف | عنوان URL الخاص بملف robots.txt الذي يمكن أن يؤثر في هذا الملف |
|---|---|
| http://example.com/home | http://example.com/robots.txt |
| https://m.de.example.com/some/page/here/mypage | https://m.de.example.com/robots.txt |
| https://example.com?pageid=234#myanchor | https://example.com/robots.txt |
| https://images.example.com/flowers/daffodil.png | https://images.example.com/robots.txt |
تحديد ملف robots.txt الذي يؤثر في إحدى الصفحات أو الصور
للعثور على عنوان URL الخاص بملف robots.txt الذي يؤثر في الصفحة أو الصورة:
- ابحث عن عنوان URL المحدّد الخاص بالصفحة أو الصورة. بالنسبة إلى الصور، انقر بزر الماوس الأيمن في متصفّح Google Chrome واختَر نسخ عنوان URL للصورة.
- أزِل الجزء النهائي الذي يلي نطاق المستوى الأعلى في عنوان URL (على سبيل المثال، .com و .org و .co.il) وأضِف /robots.txt بدلاً من الجزء الذي أزلته. وبالتالي، إذا كانت الصورة متاحة على العنوان https://images.example.com/flowers/daffodil.png، يكون عنوان URL الخاص بملف robots.txt هو https://images.example.com/robots.txt.
- افتح عنوان URL في المتصفّح للتأكّد من أنّه متوفّر. إذا لم يتمكن المتصفّح من فتح الملف، هذا يعني أنّه غير موجود.
اختبار ما إذا كان محرّك بحث Google محظورًا من خلال ملف robots.txt
- إذا كنت تريد معرفة ما إذا تم حظر عنوان URL معيّن باستخدام ملف robots.txt، يمكنك اختبار توفُّر عنوان URL من خلال أداة فحص عنوان URL.
- إذا كنت تريد اختبار قاعدة robots.txt معيّنة على ملف غير متوفّر على الويب بعد أو اختبار قاعدة جديدة، يمكنك الاستعانة بأداة خارجية خاصة باختبار ملفات robots.txt
مزيد من المعلومات
- ما هو ملف robots.txt وكيف يتم استخدامه؟
- كيفية تنفيذ ملف robots.txt