הסורק, הידוע גם כעכביש או כבוט, הוא התוכנה שבה משתמשת Google כדי לעבד את התוכן של דפי האינטרנט ולהוסיף אותו לאינדקס. סורק התוכן נכנס לאתר כדי לקבוע את סוג התוכן שהוא כולל, וכך לוודא שיוצגו בו מודעות רלוונטיות.
ריכזנו כאן כמה עובדות חשובות שכדאי לדעת על סורק התוכן:
- דוח הסורק מתעדכן מדי שבוע.
הסריקה מתבצעת באופן אוטומטי ואיננו יכולים לקבל בקשות לסריקות תכופות יותר. - סורק התוכן שונה מהסורק של Google.
שני הסורקים נפרדים זה מזה, אבל המטמון שלהם משותף. המטרה היא למנוע מצב שבו שני הסורקים נכנסים לאותם הדפים. כך אנחנו עוזרים לבעלי אתרים לחסוך ברוחב הפס שלהם. באופן דומה, גם ל-Search Console יש סורק נפרד. - פתרון בעיות הקשורות לסורק התוכן לא יביא לפתרון בעיות בסריקה של Google.
פתרון הבעיות המפורטות בדף 'גישת הסורק' לא ישפיע על מיקום האתר בתוצאות החיפוש ב-Google. לקבלת מידע נוסף על דירוג האתר שלכם ב-Google, אפשר לעיין במאמר של AdSense שמסביר איך להופיע בתוצאות החיפוש ב-Google. - הסורק מוסיף דפים לאינדקס לפי כתובות URL.
הסורק ייגש לכתובות site.com ו-www.site.com בנפרד. עם זאת, הסורק לא יתייחס אל site.com ואל site.com/#anchor כאל שני אתרים נפרדים. - לסורק אין גישה לספריות או לדפים שנחסמו על ידי קובץ robots.txt.
הסורקים של Google וגם של AdMob Mediapartners פועלים בהתאם למוגדר בקובץ ה-robots.txt שלכם. אם קובץ ה-robots.txt אוסר את הגישה לספריות או לדפים מסוימים, הם לא ייסרקו.לתשומת ליבכם: אם אתם מציגים מודעות בדפים שנחסמו בפני רובוטים באמצעות השורה * :User-agent, סורק התוכן עדיין יסרוק את הדפים האלה. כדי למנוע מסורק התוכן גישה לדפים שלכם, עליכם לצייןUser-agent: Mediapartners-Googleבקובץ ה-robots.txt. מידע נוסף. - הסורק ינסה לגשת רק לכתובות URL שבהן הוטמעו תגי מודעות.
רק דפים שבהם מוצגות מודעות Google צריכים לשלוח למערכות שלנו בקשות סריקה ולעבור סריקה. - הסורק ינסה לגשת לדפים שמפנים לכתובת URL אחרת.
אם יש לכם "דפים מקוריים" שמפנים לכתובת URL אחרת, הסורק שלנו חייב לגשת לדפים המקוריים כדי לוודא שההפניה האוטומטית תקינה. לכן, כניסה של הסורק לדפים המקוריים תופיע ביומני הגישה. - סריקה מחדש של אתרים
בשלב זה, איננו יכולים לשלוט בתדירות שבה הסורקים מוסיפים את תוכן האתר שלכם לאינדקס. הבוטים שלנו מבצעים את הסריקה באופן אוטומטי. אם תערכו שינויים בדף, ייתכן שיחלפו עד שבועיים לפני שהשינויים יבואו לידי ביטוי באינדקס.