מידע על robots.txt

בדיקה של הקובץ robots.txt באמצעות הכלי 'בודק robots.txt'

הכלי בודק robots.txt‏ מראה אם קובץ ה-robots.txt חוסם את סורקי האינטרנט של Google בכתובות ספציפיות באתר שלך. לדוגמה, תוכל להשתמש בכלי זה כדי לבדוק אם הסורק Googlebot-Image יכול לסרוק את כתובת האתר של תמונה שברצונך לחסום להופעה בחיפוש תמונות של Google.

 

פתח את בודק robots.txt

 

תוכל לשלוח כתובת אתר לכלי בודק robots.txt. הכלי פועל כפי ש-Googlebot היה פועל כדי לבדוק את קובץ ה-robots.txt שלך ומאמת שכתובת האתר שלך נחסמה כראוי.

בדיקת הקובץ robots.txt

  1. פתח את כלי הבדיקה לאתר שלך וגלול בקוד robots.txt לאיתור אזהרות תחביר מודגשות ושגיאות לוגיקה.מספר אזהרות התחביר או שגיאות הלוגיקה מוצג ממש מתחת לעורך. 
  2. הקלד את כתובת האתר בתיבת הטקסט שבתחתית הדף.
  3. בחר את סוכן המשתמש שברצונך לדמות ברשימה הנפתחת שמשמאל לתיבת הטקסט.
  4. להפעלת הבדיקה, לחץ על לחצן הבדיקה.
  5. בדוק אם הלחצן בדוק משתנה כעת למאושר או חסום כדי לבדוק אם כתובת האתר שהזנת חסומה לסורקי האינטרנט של Google.
  6. ערוך את הקובץ בדף ובדוק מחדש בהתאם לצורך. שים לב ששינויים שאתה עורך בדף לא נשמרים באתר שלך! המשך לשלב הבא.
  7. העתק את השינויים שערכת לקובץ robots.txt שבאתר שלך. כלי זה אינו עורך שינויים לקובץ עצמו שבאתר, אלא רק בודק כנגד ההעתק שמתארח בכלי.

מגבלות של הכלי בודק robots.txt:

  • שינויים שאתה מבצע בעורך הכלי אינם נשמרים בשרת האינטרנט שלך באופן אוטומטי. עליך להעתיק ולהדביק את התוכן מהעורך בקובץ ה-robots.txt המאוחסן בשרת שלך.
  • הכלי בודק robots.txt בודק את קובץ ה- robots.txt שלך רק באמצעות סוכנים משתמשים או סורקי אינטרנט של Google, כגון Googlebot. איננו יכולים לחזות כיצד סורקי אינטרנט אחרים יפרשו את קובץ ה-robots.txt שלך.
האם המאמר היה מועיל?
איך נוכל לשפר את המאמר?