הסורק, שנקרא גם 'עכביש' או 'בוט', הוא התוכנה שבה משתמשת Google כדי לעבד את התוכן של דפי האינטרנט ולהוסיף אותו לאינדקס. מתבצעת בדיקה על ידי הסורק של AdSense כדי לקבוע את סוג התוכן שהאתר שלכם כולל ולוודא שיוצגו בו מודעות רלוונטיות.
הנה כמה עובדות חשובות שכדאי לדעת על הסורק של AdSense:
- הדוח של הסורק מתעדכן מדי שבוע.
הסריקה מתבצעת באופן אוטומטי ואין לנו אפשרות לקבל בקשות לסריקות תכופות יותר.
- הסורק של AdSense שונה מהסורק של Google.
שני הסורקים נפרדים זה מזה, אבל יש להם מטמון משותף. המטרה היא למנוע מצב שבו שני הסורקים נכנסים לאותם הדפים. כך אנחנו עוזרים לבעלי אתרים לחסוך ברוחב הפס. באופן דומה, גם ל-Search Console יש סורק נפרד.
- פתרון בעיות שקשורות לסריקה של AdSense לא יביא לפתרון בעיות שקשורות לסריקה של Google.
פתרון הבעיות שמפורטות בדף גישת סורק לא ישפיע על מיקום האתר בתוצאות החיפוש ב-Google. מידע נוסף על הדירוג של האתר ב-Google, אפשר למצוא במאמר על הכללת האתר בתוצאות החיפוש ב-Google.
- הסורק מוסיף אתרים לאינדקס לפי כתובות אתרים.
לסורק שלנו תהיה גישה לכתובות site.com ו-www.site.com בנפרד. עם זאת, הסורק לא יתייחס ל-site.com ול-site.com/#anchor כאל שני אתרים נפרדים.
- לסורק אין גישה לספריות או לדפים שנחסמו על ידי קובץ robots.txt.
סורקי Mediapartners של Google ושל AdSense פועלים בהתאם למוגדר בקובץ robots.txt. אם בקובץ ה-robots.txt הגישה לספריות או לדפים מסוימים חסומה, הם לא יעברו סריקה.
הערה: אם אתם מציגים מודעות בדפים שהגישה אליהם נחסמה בפני רובוטים באמצעות השורהUser-agent: *, הסורק של AdSense עדיין יסרוק את הדפים האלה. כדי למנוע מהסורק של AdSense גישה לדפים האלה, צריך לציין את השורהUser-agent: Mediapartners-Googleבקובץ robots.txt. - הסורק ינסה לגשת רק לכתובות URL שבהן הוטמעו תגי המודעות שלנו.
בקשות סריקה צריכות להתקבל במערכת שלנו רק עבור דפים שבהם מוצגות מודעות Google, ורק דפים אלו צריכים לעבור סריקה.
- הסורק ינסה לגשת רק לדפים המבצעים הפניה אוטומטית.
אם יש לכם 'דפים מקוריים' שמפנים אוטומטית לדפים אחרים, לסורק שלנו חייבת להיות גישה לדפים המקוריים כדי לוודא שההפניה האוטומטית תקינה. לכן, כניסה של הסורק לדפים המקוריים תופיע ביומני הגישה.
- אין לנו אפשרות לשלוט בתדירות שבה הסורק מוסיף את תוכן האתר שלכם לאינדקס.
בשלב זה, אין לנו שליטה בסריקה מחדש של אתרים. הבוטים שלנו מבצעים את הסריקה באופן אוטומטי. אם תערכו שינויים בדף, ייתכן שיחלפו עד שבועיים לפני שהשינויים יבואו לידי ביטוי באינדקס.
