robots.txt הוא השם של קובץ טקסט שמכיל מידע למנועי חיפוש לגבי כתובות URL או ספריות באתר שאין לסרוק. הקובץ הזה מכיל כללים שחוסמים כתובות URL ספציפיות או ספריות שלמות לסורקים ספציפיים (או לכל הסורקים). הוא נוצר על ידי בעל האתר ומאוחסן בספריית הבית של האתר, ונועד לחסוך זמן ומשאבים שקשורים למילוי בקשות סריקה מהאתר לדפים או למשאבים (כמו תמונות) שלא חשובים מספיק כדי להופיע בתוצאות החיפוש. אם אתם בעלי אתר קטן, כנראה שאתם לא צריכים קובץ robots.txt.
אין להשתמש בקובץ robots.txt כדי למנוע מדף להופיע בתוצאות חיפוש, אלא רק כדי למנוע את הסריקה שלו. יש שיטות אחרות שמשמשות למניעת הופעה של דף או תמונה בתוצאות חיפוש. מידע נוסף על robots.txt