חסימת סריקה של תוכן כפול עם פרמטרים

פרמטרים של כתובת אתר ותוכן כפול

אם האתר שלכם משתמש בפרמטרים של כתובת אתר לוריאציות לא משמעותיות של דפים (למשל, color=red לעומת color=green), או אם האתר משתמש בפרמטרים שיכולים להציג תוכן זהה בעיקרו באמצעות כתובות אתר שונות (לדוגמה, example.com/shirts?style=polo,long-sleeve וגם example.com/shirts?style=polo&style=long-sleeve), ייתכן שסריקת האתר על ידי Google לא תהיה יעילה.

לפניכם דוגמה לכתובות אתר שהובילו לתוכן כפול, שזהה בעיקרו למעט פרמטרים שונים:

אם יש באתר שלכם פרמטרים רבים של כתובת אתר, ייתכן ששימוש בכלי לפרמטרים של כתובת אתר יועיל בהפחתת הסריקה של כתובות אתר כפולות.

חסימת סריקה של כתובות אתר עם פרמטרים ספציפיים

ניתן למנוע מ-Google לסרוק כתובות אתר עם פרמטרים ספציפיים, או פרמטרים עם ערכים ספציפיים, כדי להימנע מסריקת דפים כפולים.

דרישות

ניתן להשתמש בכלי לפרמטרים של כתובות אתר רק אם האתר עומד בכל הדרישות הבאות.

• האתר מכיל יותר מ-1,000 דפים, וגם
• ביומנים, ניתן לראות מספר משמעותי של דפים כפולים שנוספים לאינדקס על ידי Googlebot, וכל הדפים הכפולים שונים זה מזה רק בפרמטרים של כתובת אתר (לדוגמה: example.com?product=green_dress and example.com?type=dress&color=green).

שימוש

ניתן להנחות את אופן הפעולה של Google בעת סריקת האתר שלכם באמצעות פרמטרים ספציפיים. אופן הפעולה של פרמטר חל על כל הנכס. לא ניתן להגביל את אופן פעולת הסריקה לפי פרמטר נתון להסתעפות או כתובת ספציפית באתר.

כדי להשתמש בכלי לפרמטרים של כתובת אתר:

1. מוודאים שהאתר עומד בדרישות שהוזכרו קודם.
2. פותחים את הכלי לפרמטרים של כתובת אתר.
3. עורכים פרמטר קיים, או שלוחצים על הוספת פרמטר כדי ליצור אחד חדש. שימו לב לכך שהכלי הזה תלוי רישיות, ולכן יש להקליד את הפרמטר בדיוק כפי שהוא מופיע בכתובת האתר.
4. מציינים אם הפרמטר של כתובת האתר משפיע על תוכן הדף:
   • לא: לא משפיע על תוכן הדף: הפרמטר לא משפיע על אופן ההצגה של תוכן הדף. פרמטר מסוג זה עשוי לשמש למעקב אחר כניסות והפניות, אך אין לו השפעה על תוכן הדף בפועל. לדוגמה, sessionID או userName. אם יימצאו על ידי Google כתובות אתר רבות שהשוני ביניהן הוא בערך פרמטר כזה בלבד, רק אחת מהן תיסרק. ב-Google, אנחנו מנסים לאתר סוגי פרמטרים כאלו, אבל אם לפי היומנים שלכם נראה שאיננו מזהים פרמטר סטאטי זה כראוי, ניתן לציין זאת כאן.
   • כן: עורך שינויים, משנה את הסדר או מצמצם את תוכן הדף: הפרמטר יכול לשנות את תוכן הדף. למשל, brand,‏ gender,‏ country או sortorder. יש לבחור את מטרת הפרמטר:
     • מיון (לדוגמה, sort=price_ascending): משנה את הסדר שבו התוכן מוצג.
     • צמצום (לדוגמה, t-shirt_size=XS): מסנן את התוכן שבדף.
     • ציון (לדוגמה, store=women): קובע את הסיווג הכללי של התוכן המוצג בדף. אם הפרמטר מציין פריט מסוים, וזוהי הדרך היחידה להציג את התוכן הזה, צריך לבחור "כל כתובת אתר" באופן הפעולה.
     • תרגום (לדוגמה, lang=fr): מציג גרסה מתורגמת של התוכן. אם אתם משתמשים בפרמטר כדי להציג שפות שונות, כדאי שהסריקה של Google תכלול את הגרסאות המתורגמות. לשם כך יש להשתמש ב-hreflang כדי לציין גרסאות שפה בדף, במקום לחסום תוכן באמצעות כלי זה.
     • עימוד (לדוגמה, page=2): מציג עמוד ספציפי מתוך מאמר או רשימה ארוכים.
        
     • אילו כתובות אתר עם פרמטר זה Googlebot צריך לסרוק? יש לבחור אפשרות לציון אופן הפעולה של Google כשיש כתובות אתר המכילות את הפרמטר הזה:
       • נותנים ל-Googlebot להחליט: ההגדרה הזו בברירת מחדל לפרמטרים ידועים. יש לבחור באפשרות זו אם לא בטוחים לגבי אופן הפעולה של הפרמטר, או אם אופן הפעולה שלו משתנה בחלקים שונים של האתר. Googlebot יכול לנתח את האתר כדי לקבוע מהי הדרך הטובה ביותר לטיפול בפרמטר.
       • כל כתובת אתר: אפשרות זו מורה ל-Google לא לחסום כתובות אתר המכילות את הפרמטר הזה אף פעם. כתובות אתר עם ערכים ייחודיים של פרמטר זה לא מכילות תוכן כפול. לדוגמה, לאחר היישום של סוג ההגדרה הזה בכתובות אתר המכילות את הפרמטר productid‏, לפי Google, כתובת האתר http://ww.example.com/dresses/real.htm?productid=1202938 תיחשב כשונה לחלוטין מהכתובת http://www.example.com/dresses/real.htm?productid=5853729, כיוון שלכל אחת מכתובות האתר יש ערך שונה בפרמטר productid.
       • רק כתובות אתר עם ערך מסוים: אפשרות זו מורה ל-Google לסרוק רק כתובות אתר שבהן הפרמטר של כתובת האתר מוגדר לערך שצוין. כתובות אתר עם ערך פרמטר שונה לא ייסרקו. אפשרות זו שימושית במיוחד אם האתר משתמש בערך הפרמטר כדי לשנות את הסדר שבו מוצג תוכן הזהה מבחינות אחרות. לדוגמה, הכתובת http://www.example.com/dresses/real.htm?sort=price_high מכילה תוכן זהה לזה שבכתובת http://www.example.com/dresses/real.htm?sort=price_low. אפשר להשתמש בהגדרה זו כדי להורות ל-Googlebot לסרוק רק את כתובות האתר שבהן sort=price_low כדי למנוע סריקה של תוכן כפול.
       • ללא כתובות אתר: אפשרות זו מורה ל-Google לא לסרוק אף כתובת אתר המכילה פרמטר ספציפי. Google לא תסרוק אף כתובת אתר המכילה את הפרמטר שהוזן. לדוגמה, אפשר להורות ל-Google לא לסרוק כתובות אתר המכילות פרמטרים כגון pricefrom ו-priceto (כמו http://www.examples.com/search?category=shoe&brand=nike&color=red&size=5&pricefrom=10&priceto=1000) כדי למנוע סריקה מיותרת של תוכן כפול שכבר זמין מהכתובת http://www.examples.com/search?category=shoe&brand=nike&color=red&size=5.
5. אם האתר משתמש בכמה פרמטרים בכתובת אתר כלשהי, כדאי לעיין בקטע ניהול כתובות אתר עם מספר פרמטרים.
6. שימו לב שהכללים עשויים לעבור בירושה על לנכסים אחרים (יש לעיין בירושה של כללי פרמטרים).

ירושה של כללי פרמטרים

אם יש לכם נכסים נפרדים ל-HTTP ול-HTTPS, או נכסים נפרדים של הורה וצאצא (לדוגמה, example.com ו-/example.com/fr, או example.com ו-m.example.com), אז הגדרות הפרמטרים עשויות לעבור בירושה בין נכסים, בהתאם לחוקים הבאים:

• HTTP/‏HTTPS: אם יש כללים רק באחד מהנכסים של HTTP ו-HTTPS, הכללים יוחלו על שניהם. אם יש כללים מוגדרים בשני הנכסים של HTTP ו-HTTPS, אז יוחלו רק הכללים של כל אחד מהם בנפרד.
• הורה/צאצא: אם לנכס הורה (example.com) יש כללי פרמטרים, כל נכס צאצא (example.com/fr/‎) ללא כללי פרמטרים, יקבל בירושה את הכללים האלו. כל נכס צאצא עם כללי פרמטרים משתמש רק בכללים שלו. שימו לב שתת-דומיינים (m.example.com) נחשבים כצאצאים של דומיינים הורים (example.com).

ניהול כתובות אתר עם מספר פרמטרים

כתובת אתר יחידה יכולה להכיל כמה פרמטרים. ניתן לציין הגדרות סריקה לכל אחד בנפרד. אם כתובת אתר יחידה מכילה מספר פרמטרים מנוהלים, הסריקה של Google תפעל לפי הכלל הבא כדי לקבוע אם לכלול את כתובת האתר:

הגדרות פרמטר מגבילות יותר מבטלות את הגדרות הפרמטר המגבילות פחות.

לדוגמה, בהמשך מוצגים שלושה פרמטרים של כתובת אתר והגדרות הסריקה של Google התואמות להם:

דוגמה 1

http://www.example.com?shopping-category=shoes&sort-by=size&sort-order=asc.

כתובת האתר הזו לא תיסרק על ידי Google כיוון שהפרמטר sort-by לא מוגדר ל-production-year, למרות שכתובת האתר מכילה ערך  sort-order חוקי (asc)

דוגמה 2

http://www.example.com?shopping-category=DVD-movies&sort-by=production-year&sort-order=asc.

כתובת האתר הזו לא תיסרק על ידי Google כיוון שהערכים sort-by ו-sort-order תואמים להגדרות המותרות.

דוגמה 3

http://www.example.com/shoes/33453

http://www.example.com?country=fr

שתי כתובות האתר יכולות להיסרק על ידי Google כיוון שאין להן פרמטרים מסומנים.