يشير robots.txt إلى اسم ملف نصي يحدّد لمحرّكات البحث عناوين URL أو الأدلة التي يجب ألّا يتم الزحف إليها ضمن موقع إلكتروني محدّد. يتضمّن هذا الملف قواعد تحظر وصول برامج زحف محدّدة (أو جميع برامج الزحف) إلى عناوين URL فردية أو أدلة كاملة. يتم إنشاء هذا الملف من قِبل مالك الموقع الإلكتروني ويتم تخزينه في الدليل الرئيسي للموقع. ويساهم هذا الملف في الحدّ من إهدار الوقت والجهد من خلال منع الموقع الإلكتروني من طلب الزحف إلى الصفحات أو الموارد (مثل الصور) التي لا تُعتبر مهمّة بما يكفي للظهور في نتائج البحث. إذا كان موقعك الإلكتروني صغيرًا، لا تحتاج على الأرجح إلى استخدام ملف robots.txt.
يمكنك استخدام ملفات robots.txt لمنع الزحف إلى صفحة معيّنة وليس لمنع الصفحة من الظهور في نتائج البحث. تتوفّر أساليب أخرى يمكنك استخدامها لمنع ظهور صفحة أو صورة ضمن نتائج البحث. مزيد من المعلومات عن ملف robots.txt
