לפני הסריקה של הדפים באתר שלך, ניסינו לבדוק את הקובץ robots.txt כדי להיות בטוחים שלא נסרוק דפים שחסמת באמצעותו. אבל כשניסינו לאחזר את קובץ robots.txt, השרת שלך החזיר שגיאת 5xx (לא נגיש). כדי להיות בטוחים שלא נסרוק דפים שמופיעים בקובץ, דחינו את הסריקה.
יכול להיות שספק האירוח שלך חוסם את Googlebot, או שיש בעיה בהגדרה של חומת האש של הספק.
הערה: אם התוכן של קובץ robots.txt כפי שהוא מופיע לך בדפדפן, שונה מזה שמופיע אצל Google, עליך לבקש עזרה מחברת האירוח ולהסיר כללי שרת שעשויים להציג לסוכני משתמש שונים תוכן שונה בקובץ robots.txt.