חסימת גישה לתוכן באתר

מאמר זה מסביר כיצד לחסום גישה לתוכן באתר.

ייתכן שחלק מהתוכן שמפרסמים לא רלוונטי להצגה בחדשות Google. ניתן להגביל את הגישה של Google לתוכן מסוים על ידי חסימת גישה לסורקים הרובוטיים של Google,‏ ל-Googlebot ול-Googlebot לחדשות.

יצירת קובץ robots.txt

כשמשתמשים בקובץ robots.txt, נהנים משליטה רבה יותר על החלקים באתר שעשויים להופיע בחיפוש Google ובחדשות Google. מידע נוסף על קובצי robots.txt.

ניתן לחסום את הגישה בדרכים הבאות:

כדי למנוע את הופעת האתר בחדשות Google, צריך לחסום את הגישה של Googlebot לחדשות באמצעות קובץ robots.txt.
כדי למנוע את הופעת האתר בחדשות Google ובחיפוש Google, צריך לחסום את הגישה של Googlebot באמצעות קובץ robots.txt.

חשוב להעניק לסורק שלנו גישה לקובץ robots.txt, כדי שנראה אם ציינתם חלקים מסוימים שאינכם רוצים לכלול בסריקת האתר.

יצירת מטא תג

ניתן להוסיף מטא תגים לדף HTML. המטא תגים מציינים למנועי החיפוש מהן המגבלות החלות בהצגת דפים בתוצאות החיפוש. כך חוסמים יצירת אינדקס לחיפוש באמצעות מטא תגים.

ריכזנו כאן כמה מטא תגים נפוצים שניתן להוסיף לדפי ה-HTML כדי:

למנוע הופעה של מאמרים ספציפיים מהאתר בחדשות Google, צריך לחסום את הגישה של Googlebot לחדשות באמצעות המטא תג הבא: ‎<meta name="Googlebot-News" content="noindex, nofollow">‎.
למנוע הופעה של מאמרים ספציפיים מהאתר בחדשות Google ובחיפוש Google, צריך לחסום את הגישה של Googlebot באמצעות המטא תג הבא: <meta name="googlebot" content="noindex, nofollow">.
למנוע הוספה לאינדקס של מאמרים ספציפיים מהאתר על ידי כל הרובוטים, צריך להשתמש במטא תג הבא: ‎<meta name="robots" content="noindex, nofollow">‎.
למנוע מרובוטים סריקת תמונות במאמר מסוים, צריך להשתמש במטא תג הבא: ‎<meta name="robots" content="noimageindex">‎.
ליידע אותנו שיש להסיר מאמר מאינדקס Google בזמן מסוים, צריך להשתמש במטא תג הבא: ‎<meta name="googlebot" content="unavailable_after: 25-Aug-2011 15:00:00 EST">‎.
יש לציין את השעה והתאריך בפורמט RFC 850. מטא תג זה יטופל כבקשה להסרת תוכן. הדף ייעלם מתוצאות החיפוש בערך יום לאחר המועד של בקשת ההסרה. עם זאת, כדי להבטיח פעולה תקינה של התג, יש לוודא שהוא כלול במאמר כשהוא נסרק בפעם הראשונה.
יש אפשרויות אחרות להגבלת התוכן המוצג בתוצאת חיפוש. ניתן לקבל מידע נוסף בתיעוד למפתחים.

מפרטי כותרת HTTP

ניתן גם לציין הוראות לרובוטים בכותרת התגובה של ה-HTTP. למידע נוסף, אפשר לקרוא על מפרטי כותרת HTTP.

חשוב: Google מפרשת את ההעדפות בנוגע לבוטים באופן המגביל ביותר.