מידע על סורק התוכן

הסורק, שנקרא גם 'עכביש' או 'בוט', הוא התוכנה ש-Google משתמשת בה כדי לעבד את התוכן של דפי אינטרנט ולהוסיף אותו לאינדקס. סורק התוכן נכנס לאתר כדי לבדוק איזה סוג תוכן הוא כולל ולוודא שיוצגו בו מודעות רלוונטיות.

דברים שחשוב לדעת על סורק התוכן:

• דוח הסורק מתעדכן מדי שבוע.
  הסריקה מתבצעת באופן אוטומטי. אין לנו אפשרות לקבל בקשות לסריקות תכופות יותר.
• סורק התוכן שונה מהסורק של Google.
  שני הסורקים נפרדים זה מזה, אבל יש להם מטמון משותף. המטרה היא למנוע מצב שבו שני הסורקים נכנסים לאותם הדפים. כך אנחנו עוזרים לכם לחסוך ברוחב הפס. באופן דומה, גם ל-Search Console יש סורק נפרד.
• פתרון בעיות שקשורות לסורק התוכן לא יביא לפתרון בעיות שקשורות לסריקה של Google.
  פתרון הבעיות שמפורטות בדף גישת הסורק לא ישפיע על הדירוג של האתר בחיפוש Google.
  הערה: מידע נוסף על דירוג האתר ב-Google זמין במאמר הזה.
• הסורק מוסיף דפים לאינדקס לפי כתובות URL.
  לדוגמה, הסורק שלנו ייגש אל "site.com" ואל "www.site.com" בנפרד. עם זאת, הסורק לא יספור את "site.com" ואת "site.com/#anchor" בנפרד.
• הסורק לא ניגש לספריות או לדפים שנחסמו בקובץ robots.txt.
  גם הסורקים של Google וגם הסורקים של AdMob Mediapartners פועלים לפי מה שמוגדר בקובץ ה-robots.txt שלכם. אם בקובץ robots.txt הגישה לספריות או לדפים מסוימים חסומה, הם לא יעברו סריקה.
  הערה: אם אתם מציגים מודעות בדפים שהגישה אליהם נחסמה לרובוטים באמצעות השורה User-agent: *‎, סורק התוכן עדיין יסרוק את הדפים האלה. כדי למנוע מסורק התוכן לגשת לדפים שלכם, אתם צריכים לציין User-agent: Mediapartners-Google‏ בקובץ ה-robots.txt.

  מידע נוסף על מתן גישת סורק לדפים שלכם
• הסורק ינסה לגשת רק לכתובות URL שבהן הוטמעו תגי המודעות שלנו.
  בקשות סריקה צריכות להישלח למערכות שלנו רק לגבי דפים שבהם מוצגות מודעות Google, ורק הדפים האלו צריכים לעבור סריקה.
• הסורק ינסה לגשת לדפים שמפנים אוטומטית לכתובת URL אחרת.
  אם יש לכם "דפים מקוריים" שמפנים אוטומטית לדפים אחרים, לסורק שלנו חייבת להיות גישה לדפים המקוריים כדי לוודא שההפניה האוטומטית תקינה. לכן, אם הסורק ייכנס לדפים המקוריים זה יופיע ביומני הגישה.
• אנחנו לא יכולים לשלוט בתדירות שבה הסורקים מוסיפים את תוכן האתר שלכם לאינדקס.
  נכון לעכשיו, הסריקה מתבצעת אוטומטית על ידי הבוטים שלנו. אם תערכו שינויים בדף, יכול להיות שיעברו שבועיים עד שהשינויים יבואו לידי ביטוי באינדקס.