Googlebot

Googlebot הוא השם הכללי של סורק האינטרנט של Google. Googlebot הוא השם הכללי של שני סוגי סורקים שונים: סורק של מחשבים שמדמה משתמש במחשב שולחני, וסורק של ניידים שמדמה משתמש במכשיר נייד.

סביר להניח שהאתר שלכם ייסרק על ידי Googlebot למחשבים וגם על ידי Googlebot לסמארטפונים. ניתן לזהות את סוג המשנה של ה-Googlebot על ידי בחינה של מחרוזת הסוכן-משתמש בבקשה. עם זאת, שני סוגי הסורקים מצייתים לאותו אסימון מוצר (אסימון סוכן משתמש) ב-robots.txt, ולכן לא ניתן למקד באופן סלקטיבי ל-Googlebot לניידים או ל-Googlebot למחשבים באמצעות robots.txt.

אם האתר שלכם הומר לנייד תחילה ב-Google, רוב בקשות הסריקה של ה-Googlebot יבוצעו באמצעות הסורק לניידים, ומעט מהן באמצעות הסורק למחשבים. באתרים שעדיין לא הומרו, רוב הסריקות יבוצעו באמצעות סורק למחשבים. בשני המקרים, סורק המיעוט סורק רק כתובות URL שכבר נסרקו על ידי סורק הרוב.

 

כיצד Googlebot מקבל גישה לאתר

במרבית האתרים, Googlebot ייגש לאתר שלכם לא יותר מאשר פעם בכמה שניות בממוצע. עם זאת, בגלל עיכובים, ייתכן שהקצב יהיה גבוה מעט יותר לפרקי זמן קצרים.

Googlebot תוכנן לפעול בו-זמנית באלפי מכשירים, כדי לשפר את הביצועים ואת קנה המידה ככל שהאינטרנט גדל. כמו כן, כדי לצמצם את השימוש ברוחב הפס, אנו מפעילים סורקים רבים במכשירים שממוקמים ליד האתרים שהם עשויים לסרוק. לכן, ייתכן שביומנים יוצגו ביקורים ממספר מכשירים בכתובת google.com, כולם עם סוכן המשתמש Googlebot. מטרתנו היא לסרוק בכל ביקור כמות גדולה ככל האפשר של דפים באתר שלכם, מבלי להעמיס על רוחב הפס של השרת. אם האתר שלכם מתקשה לעמוד בבקשות הסריקה של Google, אתם יכולים לבקש לשנות את קצב הסריקה.

חסימת Googlebot מביקור באתר שלכם

כמעט בלתי אפשרי לשמור על סודיות של שרת אינטרנט על ידי אי פרסום קישורים אליו. לדוגמה, ברגע שמישהו עוקב אחר קישור מהשרת ה"סודי" לשרת אינטרנט אחר, כתובת האתר ה"סודית" עשויה להופיע בתג המפנה וניתן לאחסנה ולפרסמה על ידי שרת האינטרנט האחר ביומן הרישום המפנה שלו. בדומה לכך, באינטרנט יש קישורים רבים מנותקים ולא מעודכנים. בכל פעם שמישהו מפרסם קישור שגוי לאתר שלכם או לא מצליח לעדכן קישורים כדי לשקף את השינויים בשרת שלכם, Googlebot מנסה לסרוק קישור שגוי מהאתר שלכם.

אם ברצונכם למנוע מ-Googlebot לסרוק תוכן באתר שלכם, עומדות בפניכם כמה אפשרויות. יש לשים לב להבדלים בין האפשרויות הבאות: למנוע מ-Googlebot לסרוק דף, למנוע מ-Googlebot להוסיף דף לאינדקס ולמנוע מדף להיות נגיש לסורקים וגם למשתמשים.

אימות Googlebot

לפני שתחליטו לחסום את Googlebot, חשוב לשים לב שסורקים אחרים לרוב מזייפים את מחרוזת הסוכן-משתמש שמשמשת את Googlebot. כשיש בקשות בעייתיות, חשוב לוודא שהן מגיעות מ-Google. הדרך הטובה ביותר לוודא שהבקשה אכן מגיעה מ-Googlebot היא לבצע שאילתת DNS הפוכה על כתובת ה-IP המקורית של הבקשה.

Googlebot וכל הרובוטים של מנועי החיפוש האמינים יפעלו לפי ההנחיות שבקובץ robots.txt‏, אולם יש תוכנות מזיקות אחרות ושולחי ספאם שלא פועלים כך. Google נלחמת באופן פעיל בשולחי ספאם. אם אתם מבחינים בדפים או באתרים הכוללים ספאם בתוצאות החיפוש של Google, אפשר לדווח על ספאם ל-Google.

 

האם המידע הועיל?
איך נוכל לשפר את המאמר?