איך בודקים קובץ robots.txt באמצעות הכלי לבדיקת robots.txt

בכלי לבדיקת robots.txt תוכלו לראות אם קובץ ה-robots.txt חוסם את סורקי האינטרנט של Google בכתובות URL ספציפיות באתר. לדוגמה, אפשר להשתמש בכלי הזה כדי לבדוק אם הסורק Googlebot-Image יכול לסרוק את כתובת ה-URL של תמונה שרוצים למנוע את הופעתה בתוצאות החיפוש של תמונות Google.

 

לפתיחת הכלי לבדיקת robots.txt

 

תוכל לשלוח כתובת אתר לכלי בודק robots.txt. הכלי פועל כמו Googlebot כדי לבדוק את קובץ ה-robots.txt שלכם ולוודא שכתובת ה-URL נחסמה כראוי.

בדיקת הקובץ robots.txt

  1. פותחים את הכלי לבדיקת האתר שלכם וגוללים בקוד של קובץ robots.txt עד שמאתרים את אזהרות התחביר ושגיאות הלוגיקה המודגשות. מספר אזהרות התחביר ושגיאות הלוגיקה מוצג מתחת לכלי העריכה. 
  2. מקלידים את כתובת ה-URL בתיבת הטקסט שבתחתית הדף.
  3. בוחרים את סוכן המשתמש שרוצים לדמות ברשימה הנפתחת שמשמאל לתיבת הטקסט.
  4. להפעלת הבדיקה, לחץ על לחצן הבדיקה.
  5. בודקים אם הלחצן בדיקה משתנה למאושר או לחסום כדי לברר אם כתובת ה-URL שהזנתם חסומה לסורקי האינטרנט של Google.
  6. עורכים את הקובץ בדף ובודקים מחדש בהתאם לצורך. שימו לב: שינויים שתערכו בדף לא יישמרו באתר שלכם! יש הסבר בשלב הבא.
  7. מעתיקים את השינויים אל קובץ ה-robots.txt שבאתר שלכם. כלי זה אינו עורך שינויים לקובץ עצמו שבאתר, אלא רק בודק כנגד ההעתק שמתארח בכלי.

מגבלות של הכלי לבדיקת robots.txt:

  • הכלי פועל רק עם נכסים שיש להם קידומת של כתובת URL. הוא לא פועל עם נכסי הדומיין.
  • שינויים שתבצעו באמצעות כלי העריכה לא יישמרו באופן אוטומטי בשרת האינטרנט שלכם. עליך להעתיק ולהדביק את התוכן מהעורך בקובץ ה-robots.txt המאוחסן בשרת שלך.
  • הכלי בודק robots.txt בודק את קובץ ה- robots.txt שלך רק באמצעות סוכנים משתמשים או סורקי אינטרנט של Google, כגון Googlebot. אין לנו אפשרות לחזות את האופן שבו סורקי אינטרנט אחרים יפרשו את קובץ ה-robots.txt שלכם.
האם המידע הועיל?
איך נוכל לשפר את המאמר?
true
מתחילים להשתמש ב-Search Console?

אף פעם לא השתמשתם ב-Search Console? בין אם אתם משתמשים מתחילים, מומחי SEO או מפתחי אתרים – תוכלו להתחיל כאן.

חיפוש
ניקוי החיפוש
סגירת החיפוש
אפליקציות Google
תפריט ראשי
חיפוש במרכז העזרה
true
83844
false
false