דוח סטטוס של הכללה באינדקס

דוח זה מראה אילו דפים נוספו לאינדקס וכיצד לתקן דפים שלא ניתן היה להוסיף לאינדקס.

 

לפתיחת הדוח של הכללה באינדקס

 

איך להשתמש בדוח זה

לאחר שתקראו איך עובד חיפוש Google, יהיה לכם הרבה יותר קל להבין את הדוח הזה.

דוח זה מציג את מצב ההוספה לאינדקס של כל כתובות ה-URL שאליהן Google נכנסה, או ניסתה להיכנס, בנכס שלכם. דף הסיכום מציג את התוצאות של כל כתובות ה-URL בנכס, שמקובצות לפי סטטוס (שגיאה, אזהרה או דף תקין) וסיבה ספציפית לסטטוס הזה (למשל, כתובת ה-URL שנשלחה לא נמצאה (404)). ניתן ללחוץ על שורה בטבלה כדי לראות את כל כתובות ה-URL עם אותו סטטוס/אותה סיבה, ולהציג פרטים נוספים על הבעיה.

תצוגת סיכום

דוח רמה עליונה מציג את סטטוס האינדקס של כל דפי האתר ש-Google ניסתה לסרוק, מקובצים לפי סטטוס וסיבה.

מה צריך לחפש

  • ככל שהאתר שלכם מתפתח וגדל, כן אמור לגדול גם מספר הדפים התקינים המופיעים באינדקס.
  • אם מזהים עלייה חדה בשגיאות הוספה לאינדקס, ייתכן שהסיבה לכך היא שגיאה חדשה שנכללה בתבנית בעקבות שינוי שנעשה, או שליחת sitemap הכולל כתובות URL שחסומות לסריקה (לדוגמה, על-ידי קובץ ‏robots.txt,‏ 'noindex‏' או דרישות התחברות). אפשר ללחוץ על בעיה ולבחון דף כדי לגלות מהי השגיאה.
  • אם מזהים ירידה במספר הכולל של הדפים המופיעים באינדקס, ללא הודעות על שגיאות, ייתכן שאתם חוסמים גישה לדפים קיימים (באמצעות noindex' ,robots.txt' או דרישות אימות) שלא הגשתם להוספה לאינדקס. עיינו בקטע 'כתובות URL שלא נכללות' כדי למצוא עלייה חדה שתואמת לירידה הזו במספר הדפים.
  • אם יש יותר דפים שלא נכללים בהשוואה לדפים תקינים, יש לבחון את סוגי אי-ההכללה. הנה סיבות נפוצות לאי-הכללה:
    • יש כלל ב-robots.txt שחוסם אפשרות לסרוק חלקים גדולים מהאתר שלכם.
    • האתר מכיל מספר רב של דפים כפולים. בדרך כלל הסיבה היא שהוא משתמש בפרמטרים כדי לסנן או למיין אוסף משותף (לדוגמה: type=dress או color=green או sort=price). סביר שדפים אלה לא ייכללו, אם הם מציגים את אותו תוכן שממוין או מסונן בדרכים שונות.

ראו בהמשך טיפים נוספים לפתרון בעיות.

מה לא לחפש

  • לא צריך לצפות שכל כתובות ה-URL באתר שלכם יתווספו לאינדקס. המטרה היא שגרסה אחת של כל דף תתווסף לאינדקס: הגרסה הקנונית. בדוח הזה, הדפים הכפולים או החלופיים יתויגו כ"לא נכללים". דפים כפולים או חלופיים מכילים תוכן זהה באופן ניכר לתוכן הדף הקנוני (הרשמי). זה טוב שדף כלשהו סומן ככפול או כחלופי, כי פירוש הדבר הוא שמצאנו את הדף הקנוני והוספנו אותו לאינדקס. ניתן למצוא את הדף הקנוני של כל כתובת URL על ידי הפעלת הכלי לבדיקת כתובות URL.
  • כשמוסיפים תוכן חדש, יש עיכוב בין זמן הוספת הדף החדש לבין הזמן שבו Google מוסיפה אותו לאינדקס. ניתן לשלוח בקשה להוספה לאינדקס כדי לצמצם את זמן העיכוב הזה.

סטטוס

כל דף יסווג לפי אחד הסטטוסים הכלליים הבאים:

  • שגיאה: הדף לא נוסף לאינדקס. עיינו בתיאור סוג השגיאה הספציפי כדי לקבל מידע נוסף על השגיאה ולראות איך לתקן אותה. תחילה יש להתמקד בבעיות אלה.
  • אזהרה: הדף באינדקס או הופיע שם עד לאחרונה, אבל הוא כולל בעיה שעליכם להיות מודעים לה.
  • לא נכלל: הדף לא נכלל באינדקס, אבל אנחנו לא חושבים שזו שגיאה. ייתכן שהוא מצוי בעיצומו של תהליך ההוספה לאינדקס, או שלא כללתם אותו בכוונה (לדוגמה, באמצעות הוראת noindex), ולפיכך התנהגות הדף צפויה.
  • תקין: הדף נוסף לאינדקס.

סיבה

לכל סטטוס (תקין, אזהרה, שגיאה, לא נכלל) יש סיבה. הנתונים בטבלה מקובצים לפי סיבה. כל שורה מתארת כתובת URL אחת או יותר. ראו את הקטע תיאור סוגי סטטוס למטה לקבלת תיאור של כל סוג סטטוס ואופן הטיפול בו.

אימות

סטטוס האימות של הבעיה הזו. יש לתת עדיפות לבעיות שהטיפול בהן נכשל או שכלל לא התחיל.

מידע על אימות

לאחר תיקון כל המופעים של בעיה ספציפית באתר, אפשר לבקש מ-Google לאמת את השינויים. אם כל המופעים הידועים ייעלמו, הבעיה תסומן כ"תוקנה" בטבלת הסטטוסים ותרד לתחתית הטבלה. Search Console עוקב אחר מצב האימות של הבעיה בכללותה, ואחר המצב של כל מופע של הבעיה. כשכל המופעים של הבעיה נעלמים, הבעיה נחשבת כ"תוקנה" (למידע על מצבים שנרשמו בפועל, אפשר לעיין במצב אימות הבעיה ומצב אימות המופע).

מידע נוסף על משך החיים של בעיה...

משך החיים של בעיה מתחיל בפעם הראשונה שמופע כלשהו של הבעיה מזוהה באתר ומסתיים 90 יום אחרי שהמופע האחרון מסומן כנעלם מהאתר. אם יחלפו 90 יום ללא מופעים חוזרים, הבעיה תוסר מהיסטוריית הדוח.

תאריך הזיהוי הראשוני של הבעיה הוא הפעם הראשונה שבה הבעיה זוהתה במהלך משך החיים שלה, ותאריך זה לא משתנה. לכן:

  • אם כל המופעים של בעיה יתוקנו, אך מופע חדש של הבעיה יתרחש 15 ימים לאחר מכן, הבעיה תסומן כפתוחה והתאריך "זוהתה לראשונה" לא ישתנה.
  • אם אותה בעיה תתרחש 91 יום לאחר תאריך התיקון של המופע האחרון, המערכת תרשום זאת כבעיה חדשה, היות שהבעיה הקודמת כבר נסגרה. תאריך הזיהוי הראשוני של בעיה זו יוגדר כ"היום".

תהליך האימות הבסיסי

לפניכם סקירה כללית של תהליך האימות שמתחיל לאחר לחיצה על אימות תיקון של בעיה. תהליך זה יכול להימשך מספר ימים. נשלח לכם הודעות לגבי התקדמות התהליך באימייל.

  1. כשלוחצים על אימות תיקון, Search Console בודק מייד מספר דפים.
    • אם המופע הנוכחי קיים באחד מהדפים האלה, תהליך האימות מסתיים ומצב האימות נשאר ללא שינוי.
    • אם הדפים שנדגמו לא כוללים את השגיאה הנוכחית, תהליך האימות ממשיך ועובר למצב התחיל. אם בתהליך האימות מתגלות בעיות אחרות שאינן קשורות, בעיות אלה גוברות על אותו סוג בעיה והאימות ממשיך.
  2. תהליך האימות של Search Console מסתמך על רשימה של כתובות אתרים הידועות ככאלה שהושפעו מבעיה זו. רק כתובות אתרים הכוללות מופעים ידועים של בעיה זו ממתינות בתור לסריקה מחדש, ולא האתר כולו. Search Console מתעד את כל כתובות האתרים שנבדקו בהיסטוריית האימות. ניתן לעבור לקטע זה מדף הפרטים של הבעיה.
  3. כשכתובת אתר נבדקת:
    1. אם הבעיה לא מתגלה, מצב האימות של המופע משתנה לעבר. אם זהו המופע הראשון שנבדק לאחר תחילת האימות, מצב האימות של הבעיה משתנה לנראה טוב.
    2. אם לא ניתן להיכנס יותר לכתובת האתר, מצב האימות של המופע משתנה לאחר (זהו לא מצב שגיאה).
    3. אם המופע עדיין קיים, מצב הבעיה משתנה לנכשל ותהליך האימות מסתיים. אם מדובר בדף חדש שהתגלה במהלך סריקה רגילה, הוא ייחשב כמופע נוסף של הבעיה הקיימת.
  4. כשכל כתובות האתרים הכוללות שגיאות ואזהרות נבדקות ומספר הבעיות עומד על 0, מצב הבעיה משתנה לעבר. חשוב: גם אם מספר הדפים שהושפעו ירד ל-0 ומצב הבעיה השתנה לעבר, תווית החומרה המקורית עדיין תוצג (שגיאה או אזהרה).

גם אם לא תלחצו אף פעם על "התחלת אימות", Google עדיין תוכל לזהות מופעי בעיה שתוקנו. אם Google תזהה שכל המופעים של בעיה תוקנו במהלך הסריקה הרגילה שלה, היא תשנה את מצב הבעיה ל"לא רלוונטי" בדוח.

מתי בעיה בכתובת אתר או בפריט נחשבת כ"תוקנה"?

בעיה בכתובת אתר או בפריט מסומנת כ'תוקנה' כאשר אחד מהתנאים הבאים מתקיים:

  • כשכתובת האתר נסרקה והבעיה לא נמצאה עוד בדף. במקרה של שגיאה בתג AMP, ייתכן שהתג תוקן או הוסר (אם התג לא נדרש). במהלך ניסיון אימות, מצב הבעיה יהיה "עבר".
  • אם הדף אינו זמין לסריקה של Google מכל סיבה שהיא (הדף הוסר, סומן בתור noindex, דורש אימות וכו'), הבעיה בכתובת האתר הזו תיחשב כ"תוקנה". במהלך ניסיון אימות, מצב הבעיה יהיה "אחר".

אימות מחדש

כשלוחצים על אימות מחדש בבעיה שהאימות שלה נכשל, תהליך האימות יתחיל מחדש בכל המופעים שנכשלו, וגם במופעים חדשים של בעיה זו שהתגלו במהלך סריקה רגילה.

עליכם להמתין שמחזור האימות יושלם לפני שתבקשו להתחיל מחזור נוסף, גם אם תיקנתם מספר בעיות במהלך המחזור הנוכחי.

מופעים שעברו את האימות בהצלחה (מסומנים במצב עבר) או שלא ניתן להיכנס אליהם יותר (מסומנים במצב אחר) לא ייבדקו שוב ויוסרו מההיסטוריה כשתלחצו על 'אימות מחדש'.

היסטוריית האימות

אפשר לראות את ההתקדמות של בקשת אימות על-ידי לחיצה על הקישור לפרטי האימות שנמצא בדף הפרטים של הבעיה.

רשומות בדף ההיסטוריה של האימות מקובצים לפי כתובת אתר בדוח AMP ובדוח 'סטטוס אינדקס'. בדוחות 'נוחות השימוש לניידים' ו'תוצאת חיפוש מתקדמת', פריטים מקובצים לפי השילוב של כתובת אתר יחד עם פריט נתונים מוּבְנִים (כפי שנקבע בערך השם של הפריט). מצב האימות חל על הבעיה המסוימת שנבדקת. אפשר שבעיה אחת בדף תסומן בתווית "עבר", אך בעיות אחרות יסומנו בתוויות "נכשל", "בהמתנה" או "אחר".

מצב אימות הבעיה

מצבי האימות הבאים חלים על בעיה נתונה:

  • לא התחיל: יש דף אחד או יותר הכוללים מופע של בעיה זו ומעולם לא התחלתם ניסיון אימות עבורם. השלבים הבאים:
    1. לוחצים על הבעיה כדי לעיין בפרטי השגיאה. בודקים כל דף בנפרד כדי לראות דוגמאות של השגיאה בדף פעיל באמצעות בדיקת ה-AMP (אם בדיקת ה-AMP לא מציגה את השגיאה בדף, הסיבה לכך היא שתיקנתם את השגיאה בדף הפעיל לאחר ש-Google מצאה את השגיאה והפיקה את דוח הבעיה הזה).
    2. לוחצים על 'מידע נוסף' בדף הפרטים כדי להציג את הפרטים של הכלל שהופר.
    3. לוחצים על שורה של כתובת אתר לדוגמה בטבלה כדי לקבל פרטים לגבי השגיאה הספציפית הזו.
    4. מתקנים את הדפים ולאחר מכן לוחצים על אימות תיקון כדי לבקש מ-Google לסרוק אותם מחדש. Google תודיע לכם על ההתקדמות של תהליך האימות. תהליך האימות נמשך בין מספר ימים לשבועיים, לכן צריך להתאזר בסבלנות. 
  • התחיל: התחלתם ניסיון אימות ועדיין לא נמצאו מופעים של הבעיה שנותרו. השלב הבא: Google תשלח לכם הודעות לגבי ההתקדמות של תהליך האימות שיציינו מה עליכם לעשות, במידת הצורך.
  • נראה טוב: התחלתם ניסיון אימות וכל מופעי הבעיה שנבדקו עד כה תוקנו. השלב הבא: לא נדרשת פעולה מצידכם. עם זאת, Google תשלח לכם הודעות לגבי ההתקדמות של תהליך האימות שיציינו מה עליכם לעשות, במידת הצורך.
  • עבר: כל המופעים הידועים של הבעיה נעלמו (או שכתובת האתר שהושפעה לא זמינה יותר). קרוב לוודאי שלחצתם על "אימות תיקון" כדי להגיע למצב זה (אם המופעים היו נעלמים מבלי ששלחתם בקשה לאימות, המצב היה משתנה ל"לא רלוונטי"). השלב הבא: לא נדרשת כל פעולה נוספת מצידכם.
  • לא רלוונטי: Google גילתה שהבעיה תוקנה בכל כתובות האתרים, אף על פי שמעולם לא התחלתם ניסיון אימות. השלב הבא: לא נדרשת כל פעולה נוספת מצידכם.
  • נכשל: סף מסוים של דפים עדיין כוללים בעיה זו אחרי שלחצתם על "אימות". השלבים הבאים: עליכם לתקן את הבעיה ולבקש אימות מחדש.

מצב אימות המופע

לאחר שליחת בקשה לאימות, לכל מופע ידוע של בעיה מוקצה אחד ממצבי האימות הבאים, הרלוונטיים לבעיה ספציפית (המצבים עבר ואחר אינם בשימוש בדוח 'סטטוס אינדקס'):

  • אימות בהמתנה: המופע ממתין בתור לאימות. בפעם האחרונה ש-Google בדקה, מופע זה עדיין היה קיים.
  • עבר: לאחר בדיקה, Google גילתה שמופע הבעיה לא קיים יותר. ניתן להגיע למצב זה רק אם לוחצים בצורה מפורשת על אימות של מופע זה.
  • נכשל: לאחר בדיקה, Google גילתה שמופע הבעיה עדיין קיים. ניתן להגיע למצב זה רק אם לוחצים בצורה מפורשת על אימות של מופע זה.
  • אחר: Google לא הצליחה להיכנס לכתובת האתר שמארחת את המופע, או (בנתונים מוּבְנִים) לא הצליחה יותר למצוא את הפריט בדף. מצב זה נחשב כשווה ערך למצב עבר.

הערה: לאותה כתובת אתר יכולים להיות מצבים שונים לבעיות שונות. לדוגמה, אם בדף אחד קיימות בעיה X וגם בעיה Y, בעיה X יכולה להיות במצב אימות עבר, ואילו בעיה Y באותו העמוד יכולה להיות במצב אימות בהמתנה.

רשימת סינון נפתחת לפי מנגנון האיתור של כתובות ה-URL

רשימת הסינון הנפתחת מעל לתרשים מאפשרת לסנן את תוצאות האינדקס לפי המנגנון שבאמצעותו איתרה Google את כתובות ה-URL. רשימת הערכים האפשריים:

  • כל הדפים הידועים [ברירת מחדל] – יוצגו כל כתובות ה-URL ש-Google איתרה בכל דרך שהיא.
  • כל הדפים שנשלחו – יוצגו רק הדפים שנשלחו ב-sitemap, בין אם נשלחו באמצעות Search Console או פינג של sitemap.
  • כתובות URL מקובץ sitemap ספציפי – יוצגו רק כתובות URL שמפורטות ב-sitemap ספציפי, שנשלח באמצעות Search Console. אם מדובר באינדקס של sitemap, יצוינו כל כתובות ה-URL בכל קובצי ה-sitemap הכלולים בו.

כתובת URL תוגדר ככתובת שנשלחה באמצעות sitemap, גם אם אותרה באמצעות מנגנונים אחרים (לדוגמה, על ידי סריקה אורגנית מדף אחר).

תצוגה מפורטת

לחיצה על שורה בדף הסיכום תפתח תצוגה מפורטת לסטטוס הזה וכן סיבות לבעיה. כדי לראות פרטים על הבעיה שנבחרה, צריך ללחוץ על מידע נוסף בדף הפרטים.

התרשים מציג דפים מושפעים לאורך זמן.

הטבלה מציגה רשימה לדוגמה של דפים המושפעים מהבעיה:

  • אפשר ללחוץ על קישור הקפיצה בשורה שבטבלה כדי לפתוח כתובת URL בטבלה
  • כדי לבדוק כתובת URL בטבלה, לוחצים על סמל הבדיקה חפש בשורה שבטבלה
  • לאחר תיקון כל המופעים של שגיאה או אזהרה, אפשר לבקש מ-Google לאמת את התיקונים.

רואים כתובת URL שכבר תיקנתם, ועדיין מסומנת כבעיה? ייתכן שהבעיה תוקנה רק לאחר הסריקה האחרונה של Google. לכן, אם רואים כתובת URL עם בעיה שתיקנתם, הקפידו לבדוק את תאריך הסריקה של כתובת ה-URL הזו. יש לבדוק ולאשר את התיקון, ולאחר מכן לבקש הוספה מחדש לאינדקס.

 

שיתוף הדוח

כדי לשתף את פרטי הבעיה, ניתן ללחוץ על הלחצן שיתוף בדף. קישור זה מעניק לכל מי שקיבל אותו גישה לדף הנוכחי, וגם לדפים של היסטוריית האימות של בעיה זו. הוא לא מעניק גישה לדפים אחרים של המשאב שלכם או מאפשר למשתמש שאיתו שיתפתם את הקישור לבצע פעולות כלשהן בנכס או בחשבון שלכם. ניתן לבטל את הקישור בכל זמן על ידי השבתת השיתוף בדף זה.

פתרון בעיות

עלייה חדה במספר השגיאות

אם יש עלייה חדה במספר השגיאות:

  1. מחפשים התאמות בין המספר הכולל של שגיאות הוספה לאינדקס או המספר הכולל של הדפים המופיעים באינדקס לבין עקומת התרשים המייצגת שגיאה ספציפית. התאמות כאלה עשויות לרמוז על הבעיה המשפיעה על מספר השגיאות הכולל או על המספר הכולל של הדפים המופיעים באינדקס.
  2. מתקנים את הבעיות:
    1. הטבלה של כתובות ה-URL מקובצת לפי חומרת הבעיה, והאזהרות ממוינות לפי שיקלול של חומרת הבעיה, מספר הדפים המושפעים ממנה והשאלה אם הם מצויים בתהליך אימות. מומלץ לטפל בבעיות לפי סדר זה.
    2. מחפשים עלייה חדה בתדירות שהתרחשה במועד שתואם לעלייה החדה במופעי השגיאה בתרשים העליון.
    3. לוחצים על שורת השגיאה כדי לעבור אל דף הפרטים המכיל מידע נוסף. קוראים את תיאור השגיאה הספציפית כדי להבין איך לטפל בה בדרך הטובה ביותר.
    4. מתקנים את כל המופעים של השגיאה, ומבקשים אימות באמצעות לחיצה על אימות תיקון בדף הפרטים המתייחס לסיבה זו. למידע נוסף על אימות.
    5. הודעות ישלחו בהתאם לשלבי האימות, אבל ניתן לבדוק כעבור כמה ימים אם מספר השגיאות הצטמצם.
  3. מדי פעם מומלץ לבטל את הסינון לכתובות URL שלא נכללו, למיין אותן לפי מספר הדפים שהושפעו ולסרוק אותן כדי לאתר בעיות בלתי רצויות.

איך למצוא את מצב האינדקס של כתובת URL ספציפית

כדי לגלות מה סטטוס האינדקס של כתובת URL ספציפית, יש להשתמש בכלי לבדיקת כתובות URL. לא ניתן לחפש או לסנן לפי כתובת URL בדוח ההכללה באינדקס.
פתרון שגיאות שרת
כשמתרחשת שגיאת שרת, פירוש הדבר ש-Googlebot לא הצליח לגשת לכתובת ה-URL, שתם הזמן הקצוב לתפוגה של הבקשה או שהאתר היה עמוס. כתוצאה מכך, Googlebot נאלץ לזנוח את הבקשה.

בדיקת קישוריות השרת

אפשר להשתמש בכלי לבדיקת כתובות URL כדי לראות אם אפשר לשחזר שגיאת שרת בעזרת הדוח 'סטטוס כיסוי האינדקס'.

תיקון שגיאות של קישוריות שרת

  • מפחיתים טעינה עודפת של דפים עבור בקשות דפים דינמיות.
    אתר שמציג תוכן זהה במספר כתובות URL נחשב לאתר שמציג תוכן באופן דינמי (לדוגמה www.example.com/shoes.php?color=red&size=7‎ מציג את אותו תוכן כמו www.example.com/shoes.php?size=7&color=red).  זמן התגובה של דפים דינמיים עשוי להיות ארוך מדי, ולגרום לבעיות של תום הזמן הקצוב לתפוגה. לחלופין, השרת עשוי להחזיר סטטוס של עומס יתר כדי לבקש מ-Googlebot לסרוק את האתר לאט יותר. באופן כללי, מומלץ להשתמש ברשימות פרמטרים קצרות ובאופן מדוד. אם אתם בטוחים לגבי אופן הפעולה של פרמטרים באתר, תוכלו להורות ל-Google כיצד לטפל בפרמטרים אלה.
  • מוודאים ששרת האירוח של האתר לא מושבת, עמוס מדי או מוגדר באופן שגוי.
    אם בעיות של חיבור, תגובה או זמן קצוב לתפוגה נמשכות, מומלץ לפנות למארח האתר ושקול להגביר את יכולת האתר לטפל בתנועה.
  • מקפידים לא לחסום את Google‏ מבלי להתכוון לכך.
    ייתכן שאתם חוסמים את Google עקב בעיה ברמת המערכת, כגון בעיית תצורה של DNS‏, חומת אש או מערכת הגנה של DoS שאינן מוגדרות כראוי, או תצורה של מערכת ניהול תוכן. מערכות הגנה הן מרכיב חשוב בשירות אירוח טוב, ולעיתים קרובות הן מוגדרות לחסימה אוטומטית של בקשות שרת המגיעות לרמות גבוהות באופן חריג. עם זאת, מפני ש-Googlebot מבצע לעיתים קרובות יותר בקשות מאשר משתמש אנושי, מצב זה יכול להפעיל את מערכות ההגנה האלה החוסמות את Googlebot ומונעות ממנו לסרוק את האתר. כדי לתקן בעיות כאלה, עליכם לזהות את החלק בתשתית האתר החוסם את Googlebot ולהסיר את החסימה. ייתכן שחומת האש לא בשליטתכם, ולכן יהיה עליכם לפנות לספק האירוח.
  • קובעים בתבונה כיצד יבוצעו הסריקה ויצירת האינדקס של האתר על ידי מנועי חיפוש.
    מנהלי אתרים מונעים מ-Googlebot באופן מכוון את הגישה לאתרים שלהם, לעיתים באמצעות חומת אש, כמתואר למעלה. במקרים אלה, בדרך כלל המטרה היא לא לחסום לחלוטין את Googlebot, אלא לשלוט באופן הסריקה של האתר וביצירת האינדקס שלו. אם אפשרות זו נכונה לגביכם, עליכם לבדוק את הדברים הבאים:
פתרון שגיאות 404

באופן כללי, אנחנו ממליצים להקדיש זמן רק לתיקון דפי שגיאה מסוג 404, ולא דפים מסוג 404 שלא נכללו. כתובות URL של שגיאות 404 הן כתובות URL שביקשתם באופן מפורש מ-Google להוסיף לאינדקס, אבל הן לא נמצאו. כתובות URL מסוג 404 שלא נכללו הן כתובות ש-Google גילתה באמצעות מנגנון אחר.

כך צריך לטפל בשגיאות 404:

  1. מחליטים אם כדאי לתקן. אפשר להתעלם משגיאות רבות (ואולי אפילו מרוב השגיאות), מפני ששגיאות מסוג 404 לא פוגעות באינדקס ובדירוג של האתר.
    • אם זו כתובת URL שנשלחה (שגיאה), כדאי לתקן אותה.
    • אם דף נמחק ואין לו תחליף או דף מקביל, החזרת שגיאה מסוג 404 היא הפעולה הנכונה. שגיאת ה-404 לא אמורה להופיע יותר בדוח לאחר כחודש.
    • אם זו כתובת URL שגויה שנוצרה על ידי סקריפט או שמעולם לא הייתה קיימת באתר שלכם, כנראה שאין צורך לטפל בה. ייתכן שתדאגו כשתראו זאת בדוח אבל לא צריך לתקן את זה, אלא אם כן כתובת ה-URL היא קישור שמאוית לעיתים קרובות באופן שגוי (ראו למטה). שגיאות 404 לא אמורות להופיע יותר בדוח לאחר כחודש.
  2. אם כתובת ה-URL נשלחה להוספה לאינדקס (הסטטוס הוא שגיאה),
    1. בודקים את כתובת ה-URL כדי לראות מאיפה היא נשלחה, על ידי לחיצה על סמל השליחה חפש שליד כתובת ה-URL ומעיינים בפרטי הגילוי. מעדכנים את ה-sitemap לפי הצורך.
    2. אם התוכן הועבר, מוסיפים כתובת URL להפניה מחדש.
    3. אם מחקתם תוכן לצמיתות ללא כוונה להחליף אותו בתוכן קשור וחדש יותר, מחזירים שגיאת 404 או 410 מכתובת ה-URL הישנה. נכון לעכשיו, Google מתייחסת לסטטוסי שגיאה מסוג 410 (נעלם) כמו לסטטוסי שגיאה מסוג 404 (לא נמצא). החזרת קוד השונה מ-404 או 410 עבור דף שאינו קיים (או הפניית משתמשים לדף אחר, כגון דף הבית, במקום להחזיר 404) עשויה להיות בעייתית. דפים כאלה נקראים Soft 404, והם עשויים לבלבל הן את המשתמשים והן את מנועי החיפוש.
    4. אם כתובת ה-URL אינה ידועה: ייתכן שתראו מדי פעם שגיאות 404 לכתובות URL שמעולם לא היו קיימות באתר שלכם. שגיאות אלה מתרחשות כאשר מישהו גולש לכתובת URL שאינה קיימת באתר שלכם. ייתכן שמישהו טעה בהקלדה של כתובת URL בדפדפן או של כתובת URL בקישור. אם זו שגיאה נפוצה מאוד, ייתכן שכדאי לכם ליצור הפניה אוטומטית עבורה.
      סיבה נוספת לכך היא שכתובות URL לא צפויות אלה עשויות להיווצר על ידי Googlebot בעת ניסיון להפעיל קישורים שנמצאו ב-JavaScript, בקובצי Flash או בתוכן מוטמע אחר, או שקיימים רק ב-Sitemap. לדוגמה, האתר עשוי להשתמש בקוד הבא כדי לעקוב אחר הורדת קבצים ב-Google Analytics‏:
      <a href="helloworld.pdf"
        onClick="_gaq.push(['_trackPageview','/download-helloworld']);">
        Hello World PDF</a>

      כש-Googlebot רואה את הקוד הזה, הוא עשוי לנסות לסרוק את כתובת ה-URL http://www.example.com/download-helloworld‏, אף על פי שהיא לא מובילה לדף אמיתי. במקרה כזה, הקישור עשוי להופיע כשגיאת 404 (לא נמצא) בדוח שגיאות הסריקה. Google פועלת כדי למנוע סוג זה של שגיאות סריקה. שגיאה זו אינה משפיעה על הסריקה או הדירוג של האתר.

  3. אל תיצרו תוכן מזויף או הפניה לדף הבית שלכם, ואל תשתמשו בקובץ robots.txt כדי לחסום דפי 404. כל הפעולות האלה מקשות על זיהוי מבנה האתר שלכם ועל עיבוד האתר כראוי. אנחנו מכנים אותן שגיאות soft 404 (לאחר ש-Google סורקת בהצלחה כתובת URL, היא עשויה לנסות לסרוק את כתובת ה-URL לנצח. הנפקה של הפניה אוטומטית ברמה 300 תעכב את ניסיון הסריקה מחדש, כנראה לזמן רב מאוד). הגשת בקשה להסרת כתובת URL באמצעות הכלי להסרת כתובות URL לא תסיר את השגיאה מדוח זה.

שאלות נפוצות

מדוע הדף (או האתר) שלי לא נכלל (עדיין) באינדקס?

אם יש לכם אתר חדש, ייתכן שיחלוף זמן מה עד ש-Google תמצא אותו ותסרוק אותו.

  1. כדי ש-Google תדע שיש דף חדש, עליכם לשלוח sitemap או בקשה לסריקת דף. לחלופין, Google צריכה למצוא קישור לדף שלכם במקום כלשהו.
  2. לאחר שכתובת הדף ידועה, ייתכן שיחלוף זמן מה (עד מספר שבועות) עד ש-Google תסרוק חלק מהאתר או את כולו.

פעולת ההוספה לאינדקס אף פעם אינה מיידית, גם אם שולחים בקשת סריקה באופן ישיר.

למה הדף שלי באינדקס? אני לא רוצה שייכלל באינדקס.

Google יכולה להוסיף לאינדקס כל כתובת URL שהיא מוצאת, אלא אם תכללו הוראת noindex בדף (או שהיא נחסמה באופן זמני). כמו כן, Google יכולה למצוא דף בדרכים רבות ושונות, כולל מצב שבו יש קישור לדף מאתר אחר.

  1. אם רוצים לחסום את הדף מתוצאות של חיפוש Google, אפשר לדרוש סוג של התחברות לדף או להשתמש בהוראת noindex בדף.
  2. אם רוצים להסיר את הדף מהתוצאות של חיפוש Google לאחר שהדף נמצא, צריך לפעול לפי השלבים האלה.

למה לא התבצעה לאחרונה הוספה מחדש לאינדקס עבור האתר שלי?

Google מבצעת הוספה מחדש של דפים לאינדקס על סמך מספר קריטריונים, כולל הערכה שלה לגבי תדירות השינוי של הדף. אם האתר שלכם לא משתנה לעיתים קרובות, ייתכן שקצב הרענון שלו איטי יותר וזה בסדר, אם הדפים לא השתנו. אם אתם סבורים שבאתר שלכם נדרש רענון, יש לבקש מ-Google לסרוק אותו מחדש.

האם תוכלו לסרוק מחדש את הדף/האתר שלי?

אפשר לבקש מ-Google לסרוק אותו מחדש.

למה כל כך הרבה דפים לא נכללים?

יש לבחון את הסיבות לאי-ההכללה שמפורטות בדוח ההכללה באינדקס. רוב אי-ההכללות נובעות מאחת הסיבות הבאות:

  • יש כלל ב-robots.txt שחוסם אפשרות לסרוק חלקים גדולים מהאתר שלכם. יש להשתמש בכלי לבדיקת כתובות URL כדי לוודא שזו הבעיה.
  • האתר מכיל מספר רב של דפים כפולים. בדרך כלל הסיבה היא שהוא משתמש בפרמטרים כדי לסנן או למיין אוסף משותף (לדוגמה: type=dress או color=green או sort=price). דפים אלה יסווגו כ"כפולים" או כ"חלופיים" בדוח ההכללה באינדקס.
  • כתובת ה-URL מפנה לכתובת URL אחרת. הפניות לכתובות URL אחרות לא מתווספות לאינדקס, אבל יעד ההפניה כן מתווסף.

Google לא יכולה לקבל גישה ל-sitemap שלי

ודאו שה-sitemap לא נחסם על ידי robots.txt, שהוא תקין ושאתם משתמשים בכתובת ה-URL הנכונה ברשומת robots.txt או בהגשת הדוח של קובצי ה-sitemap. יש לבדוק את כתובת ה-URL של ה-sitemap באמצעות כלי לבדיקת sitemap שזמין באופן ציבורי. 

מדוע Google ממשיכה לסרוק דף שהוסר?

Google ממשיכה לסרוק את כל כתובות ה-URL המוכרות גם לאחר החזרת שגיאות 4XX למשך זמן מה, למקרה שזו שגיאה זמנית. המקרה היחיד שבו כתובת URL לא תיסרק הוא כשהיא תחזיר הוראת noindex.

כדי לא להציג לכם רשימה שכל הזמן הולכת וגדלה של שגיאות 404, דוח ההכללה באינדקס מראה רק כתובות URL שהחזירו שגיאות 404 בחודש האחרון.

אני רואים את הדף שלי. למה Google לא רואה אותו?

אפשר להשתמש בכלי לבדיקת כתובות URL כדי לראות אם Google יכולה לראות את הדף הפעיל. אם היא לא רואה, אמורה להופיע הסיבה לכך. אם היא רואה את הדף, הבעיה היא כנראה שגישת השגיאה תוקנה מאז הסריקה האחרונה. יש להפעיל סריקה פעילה באמצעות הכלי לבדיקת כתובות URL ולשלוח בקשה להוספה לאינדקס.

לפי הכלי לבדיקת כתובות URL, אין בעיות אבל דוח ההכללה באינדקס מראה שיש שגיאה. מה הסיבה לכך?

ייתכן שתיקנתם את השגיאה לאחר ש-Google סרקה לאחרונה את כתובת ה-URL. בדקו את תאריך הסריקה של כתובת ה-URL (הוא צריך להופיע בדף הפרטים של כתובת ה-URL בדוח ההכללה באינדקס או בתצוגה של הגרסה שנוספה לאינדקס בכלי לבדיקת כתובות URL). לאחר מכן, תוכלו לקבוע אם ביצעתם תיקונים מאז שהדף נסרק.

סיבות לסטטוס

הכנו פירוט של כמה סיבות אפשריות לכל אחד מהדפים באתר.

"נשלחה" לעומת "לא נשלחה"

בכל פעם שמוצגת סיבה לאינדקס המשלבת את המילה "נשלחה", פירוש הדבר שנשלחה בקשה מפורשת ל-Google להוסיף לאינדקס את כתובת ה-URL באמצעות הכללתה בקובץ sitemap. בכל פעם שהסיבה משלבת את המילים "לא נשלחה", פירוש הדבר ש-Google מצאה את כתובת ה-URL בעצמה (לדוגמה, מקישור בדף אחר) ושהיא לא נכללת בקובצי sitemap שבאינדקס.

שגיאה


דפים עם שגיאות לא נוספו לאינדקס.


שגיאת שרת (5xx): השרת החזיר שגיאה במחלקה 500 כשנשלחה בקשה להצגת הדף. אפשר לקרוא על פתרון שגיאות שרת.

שגיאת הפניה לכתובת אתר אחרת: כתובת האתר הכילה שגיאה בהפניה לכתובת אתר אחרת. השגיאה יכולה להיות אחד מסוגי השגיאות הבאים: שרשרת ההפניה הייתה ארוכה מדי, כתובת האתר הייתה הפניה חזרה לכתובת האתר המקורית, ההפניה לכתובת אתר אחרת בסופו של דבר חרגה ממגבלת התווים של כתובת האתר, שרשרת ההפניה הכילה כתובת אתר פגומה או ריקה.

כתובת האתר שנשלחה נחסמה על-ידי robots.txt: שלחתם את הדף הזה להוספה לאינדקס, אבל הדף נחסם על-ידי robots.txt. נסו לבדוק את הדף באמצעות בודק robots.txt.

כתובת האתר שנשלחה סומנה כ-'noindex': שלחתם את הדף הזה להוספה לאינדקס, אבל הדף כולל הוראת 'noindex' במטא תג או בכותרת ה-HTTP. כדי להוסיף את הדף הזה לאינדקס, צריך להסיר את התג או את כותרת ה-HTTP.

כתובת האתר שנשלחה נראית כמו soft 404: שלחתם את הדף הזה להוספה לאינדקס, אבל השרת החזיר שגיאה שנראית כמו soft 404.

כתובת האתר שנשלחה מחזירה בקשה לא מורשית (401): שלחתם את הדף הזה להוספה לאינדקס, אבל Google קיבלה תגובה 401 (לא מורשה). יש להסיר דרישות הרשאה לדף זה או לאפשר ל-Googlebot לגשת לדפים על ידי אימות זהותו.

כתובת האתר שנשלחה לא נמצאה (404): שלחתם כתובת אתר שלא קיימת להוספה לאינדקס. אפשר לקרוא על פתרון שגיאות 404.

בכתובת האתר שנשלחה יש בעיית סריקה: שלחתם את הדף הזה להוספה לאינדקס, ו-Google נתקלה בשגיאת סריקה לא מוגדרת שלא שייכת לאף אחת מהסיבות האחרות. אפשר לנסות לנפות באגים בדף באמצעות הכלי לבדיקת כתובות אתרים:

אזהרה


ייתכן שתצטרכו להקדיש תשומת לב לדפים עם סטטוס אזהרה. כמו כן, ייתכן שדפים כאלה נוספו לאינדקס, וייתכן שלא, בהתאם לתוצאה הספציפית.


נוסף לאינדקס, אך נחסם על-ידי robots.txt: הדף נוסף לאינדקס, אף על פי שהוא נחסם על-ידי קובץ robots.txt‏ (Google תמיד מיישמת את ההוראות של קובץ robots.txt, אך הימצאות הקובץ לא תעזור אם מישהו אחר מקשר אל הדף). דף זה סומן כאזהרה מפני שאנחנו לא בטוחים אם התכוונתם לחסום אותו בתוצאות החיפוש. אם ברצונכם לחסום דף זה, קובץ robots.txt הוא לא המנגנון הנכון למניעת ההוספה שלו לאינדקס. כדי למנוע את הוספת הדף לאינדקס, עליכם להשתמש ב-'noindex' או לדרוש אימות כדי למנוע גישה אנונימית לדף. אפשר להשתמש בבודק robots.txt כדי לקבוע איזה כלל יחסום את הדף הזה. עקב השימוש בקובץ robots.txt, כל קטע טקסט שיופיע בשביל הדף ככל הנראה יהיה מתחת לרמה האופטימלית. אם אינכם רוצים לחסום דף זה, עליכם לעדכן את קובץ robots.txt כדי לבטל את החסימה של הדף.

תקין


דפים בסטטוס "חוקי" נוספו לאינדקס.

נשלחה ונוספה לאינדקס: שלחתם את כתובת האתר להוספה לאינדקס, והפעולה בוצעה בהצלחה.

נוספה לאינדקס, אך לא נשלחה באמצעות sitemap: כתובת האתר התגלתה על-ידי Google ונוספה לאינדקס. מומלץ לשלוח את כל כתובות האתר החשובות באמצעות sitemap.

לא נכלל


הדפים האלה בדרך כלל לא נוספים לאינדקס, ולדעתנו המצב הזה תקין. הדפים האלה הם עותקים משוכפלים של דפים באינדקס או שהסריקה שלהם נחסמה באמצעות מנגנון כלשהו באתר. ייתכן גם שהם לא נוספו לאינדקס מסיבה אחרת שלדעתנו אינה שגיאה.


הוחרג על-ידי תג noindex: כש-Google ניסתה להוסיף את הדף לאינדקס, המערכת נתקלה בהוראת noindex ולכן לא הוסיפה אותו לאינדקס. אם אתם לא רוצים שהדף יתווסף לאינדקס, הפעולה שביצעתם נכונה. אם אתם רוצים שדף זה יתווסף לאינדקס, עליכם להסיר את הוראת 'noindex' הזו.

נחסם על-ידי הכלי להסרת דפים: הדף חסום כרגע על-ידי בקשה להסרת כתובת URL. אם אתם בעלים מאומתים של האתר, אפשר להשתמש בכלי להסרת כתובות URL כדי לראות מי שלח בקשה להסרת כתובת URL. בקשות הסרה תקפות ל-90 ימים בערך, אחרי תאריך ההסרה. בתום התקופה, Googlebot עשוי לחזור ולהוסיף את הדף לאינדקס, גם אם לא תשלחו בקשה נוספת להוספת הדף לאינדקס. אם אתם לא רוצים שהדף יתווסף לאינדקס, יש להשתמש ב-noindex, לבקש הרשאה בשביל הדף או להסיר את הדף.

נחסם על-ידי robots.txt: דף זה נחסם לסריקת Googlebot על-ידי קובץ robots.txt. ניתן לאמת זאת באמצעות בודק robots.txt. לתשומת ליבכם: חסימת הדף על ידי קובץ robots.txt לא תמנע את הוספת הדף לאינדקס באמצעים אחרים. אם Google תצליח למצוא מידע נוסף על דף זה מבלי לטעון אותו, הוספת הדף לאינדקס עדיין תתאפשר (אף על פי שאפשרות זו פחות שכיחה). כדי לוודא ש-Google לא תוסיף דף מסוים לאינדקס, יש להסיר את חסימת robots.txt ולהשתמש בהוראת 'noindex'.

נחסם עקב בקשה לא מורשית (401): הדף נחסם לסריקת Googlebot על-ידי בקשת הרשאה (תגובה 401). אם ברצונכם לאפשר ל-Googlebot לסרוק את הדף, עליכם להסיר את בקשות ההרשאה או להעניק ל-Googlebot גישה לדף שלכם.

חריגה בסריקה: חריגה לא מוגדרת אירעה במהלך האחזור של כתובת ה-URL הזו. ייתכן שמדובר בקוד תגובה מרמה 4xx או 5xx. יש לנסות לאחזר את הדף באמצעות הכלי לבדיקת כתובות URL כדי לבדוק אם צצות בעיות אחזור כלשהן. הדף לא נוסף לאינדקס.

נסרק, אך לא נוסף לאינדקס בשלב זה: הדף נסרק על-ידי Google, אך לא נוסף לאינדקס. ייתכן שהדף יתווסף לאינדקס בעתיד, וייתכן שלא. אין צורך לשלוח מחדש את כתובת האתר הזו לסריקה.

התגלה, אך לא נוסף לאינדקס בשלב זה: הדף נמצא על-ידי Google, אך עדיין לא נסרק. Google ניסתה לסרוק את כתובת האתר, כרגיל, אבל האתר היה עמוס מדי. לפיכך תיאלץ Google לבצע את הסריקה במועד אחר. לכן תאריך הסריקה האחרון ריק בדוח הזה.

דף חלופי עם תג קנוני תקין: דף זה הוא עותק משוכפל של דף ש-Google מזהה כדף קנוני. דף זה מפנה כראוי לאותו דף קנוני, לכן לא נדרשת פעולה מצידכם.

דף משוכפל ללא דף קנוני שנבחר על-ידי המשתמש: לדף הזה יש עותקים משוכפלים, ואף אחד מהם לא מסומן כקנוני. אנחנו סבורים שדף זה אינו הדף הקנוני. עליכם לסמן בצורה מפורשת את כתובת האתר הקנונית של דף זה. בדיקת כתובת URL זו צריכה להציג את כתובת ה-URL הקנונית שנבחרה על-ידי Google.

עותק משוכפל, Google בחרה כתובת URL קנונית שונה מזו שבחר המשתמש: דף זה מסומן ככתובת ה-URL הקנונית של קבוצת דפים, אבל Google סבורה שכתובת URL אחרת מתאימה יותר לשמש ככתובת ה-URL הקנונית. Google הוסיפה לאינדקס את הדף שלדעתנו הוא קנוני, ולא את הדף הזה. מומלץ לסמן באופן מפורש את הדף הזה בתור עותק משוכפל של כתובת ה-URL הקנונית. הדף הזה התגלה בלי בקשת סריקה מפורשת. בדיקת כתובת URL הזו צריכה להציג את כתובת ה-URL הקנונית שנבחרה על-ידי Google.

לא נמצא (404): התקבלה שגיאת 404 בעת בקשת הדף. Google גילתה את כתובת האתר הזו ללא בקשה מפורשת או Sitemap. ייתכן ש-Google גילתה את כתובת האתר כקישור מאתר אחר וייתכן גם שהדף היה קיים בעבר ונמחק. Googlebot ככל הנראה ימשיך לנסות לסרוק את כתובת האתר הזו במשך תקופת זמן מסוימת. אין דרך להורות ל-Googlebot "לשכוח" לצמיתות כתובת אתר, אף על פי שהוא יסרוק אותה בתדירות נמוכה יותר ויותר. תגובות 404 לא מהוות בעיה, אם התקבלו באופן מכוון. אם הדף שלכם הועבר, ניתן להשתמש בהפניה אוטומטית מסוג 301 למיקום החדש. בקישור הבא מוסבר איך לפתור שגיאות 404

הדף הוסר עקב תלונה משפטית: הדף הוסר מהאינדקס עקב תלונה משפטית.

דף עם הפניה לכתובת אחרת: כתובת ה-URL היא הפניה לכתובת אחרת, ולכן לא נוספה לאינדקס.

soft 404: בקשת הדף מחזירה תגובה שלדעתנו היא תגובת soft 404. פירוש הדבר הוא שהבקשה מחזירה הודעת "לא נמצא" ידידותית למשתמש, ללא קוד תגובה 404 תואם. מומלץ להחזיר קוד תגובה 404 לדפים בסטטוס "לא נמצא" או להוסיף מידע נוסף לדף כדי ליידע אותנו שהוא לא soft 404. מידע נוסף

כתובת ה-URL שנשלחה לא נבחרה כקנונית: כתובת ה-URL היא חלק מקבוצה של כתובות URL משוכפלות ללא דף קנוני (רשמי) שסומן באופן מפורש. ביקשתם בצורה מפורשת להוסיף את כתובת ה-URL הזו לאינדקס, אך בגלל שמדובר בכתובת URL משוכפלת, ומכיוון ש-Google סבורה שכתובת URL אחרת היא מועמדת מתאימה יותר לשמש ככתובת URL קנונית, Google לא הוסיפה את כתובת ה-URL הזו לאינדקס. במקום זאת, הוספנו לאינדקס את כתובת ה-URL הקנונית שבחרנו. (Google מוסיפה לאינדקס רק את הדף הקנוני מתוך קבוצה של עותקים משוכפלים.) ההבדל בין הסטטוס הזה לבין הסטטוס "Google בחרה כתובת אתר קנונית השונה מזו שבחר המשתמש" הוא שבמקרה הזה ביקשתם באופן מפורש שכתובת האתר תתווסף לאינדקס. בדיקת כתובת URL זו צריכה להציג את כתובת ה-URL הקנונית שנבחרה על-ידי Google.

 

בעיות ידועות

ברשימה הבאה מוצגות בעיות בגרסת הבטא של ה-Search Console החדש שאנחנו מודעים להן. אין צורך לדווח לנו עליהן, אבל נשמח לקבל משוב על פיצ'רים או בעיות אחרות שתזהו. לשם כך אפשר להשתמש במנגנון המשוב המובנה בסרגל הניווט.

  • נתוני האינדקס אינם מתעדכנים מדי יום, לכן הנתונים עלולים להתעכב מספר ימים וחלק מהערכים עשויים להשתנות.
  • התרשימים אמורים להתייחס ל-90 הימים האחרונים, אך ייתכן שבשלב זה הם יציגו פחות ימים. 
  • רשימת הסינון הנפתחת של קובצי ה-sitemap כוללת רק קובצי sitemap שנשלחו באמצעות הפעלת Search Console או הוראת robots.txt.
  • רשימת הסטטוסים עתידה להשתנות ולהפוך למדויקת יותר, לדוגמה: פריטים המסומנים כשגיאה משלבים סוגים שונים של תגובות (4xx/5xx).
האם המאמר היה מועיל?
איך נוכל לשפר את המאמר?