איחוד של כתובות URL משוכפלות

הגדרת דף קנוני לדפים דומים או משוכפלים

אם יש לכם דף אינטרנט אחד שאפשר להיכנס אליו באמצעות כמה כתובות, או דפים שונים עם אותו תוכן (לדוגמה: דף עם גרסה לנייד וגרסה למחשב), Google מתייחסת אליהם כאל גרסאות משוכפלות של אותו דף. Google תבחר בכתובת URL אחת בתור הגרסה הקנונית ותסרוק אותה, וכל שאר כתובות ה-URL ייחשבו ככתובות URL משוכפלות שייסרקו בתדירות נמוכה יותר. 

אם לא תגדירו ל-Google באופן מפורש איזו כתובת URL היא הקנונית, Google תבחר אותה בשבילכם או תתייחס לשתי הגרסאות בצורה שווה. מקרה כזה עלול לגרום להתנהגות בלתי רצויה, כפי שמוסבר בהמשך בקטע למה צריך לבחור כתובת URL קנונית?

מהי כתובת URL קנונית?
כתובת URL קנונית היא כתובת ה-URL שנחשבת ב-Google לכתובת הייצוגית ביותר מתוך קבוצת דפים משוכפלים באתר שלכם. לדוגמה, אם יש לכם כתובות URL לאותו דף (לדוגמה:example.com?dress=1234 וגם example.com/dresses/1234), אחת תיבחר על ידי Google לשמש כקנונית. שימו לב שהדפים אינם זהים לחלוטין בהכרח. הדומיין של הכתובת הקנונית יכול להיות שונה מזה של הכתובת המשוכפלת.
פרטים נוספים
כשאתר נסרק על ידי Googlebot ונוסף לאינדקס, מתבצע ניסיון לקבוע מהו התוכן העיקרי של כל דף. אם נמצאו מספר דפים שנראים זהים על ידי Googlebot, ייבחר הדף שלפי ההגדרות שלנו הוא המלא והשימושי ביותר, והוא יסומן כקנוני. כדי להפחית מעומס הסריקה של Google באתר שלכם, הדף הקנוני ייסרק בתדירות הגבוהה ביותר, ואילו הדפים המשוכפלים ייסרקו בתדירות נמוכה יותר.
הדף הקנוני נבחר ב-Google על סמך כמה גורמים (או אותות), למשל: אם הדף הוצג ב-http או https, אם המשתמש בחר דומיין מועדף, איכות הדף, הימצאות של כתובת ה-URL ב-sitemap וסימון באמצעות התווית "rel=canonical". אפשר לציין את העדפתכם ל-Google בשיטות אלו, אך ייתכן שהדף שייבחר ב-Google כקנוני יהיה שונה מבחירתכם, מכל מיני סיבות.
דפים קנוניים משמשים את Google כמקורות עיקריים להערכת תוכן ואיכות. תוצאת חיפוש Google מפנה בדרך כלל לדף הקנוני, אלא אם אחד מהדפים המשוכפלים מתאים יותר למשתמש באופן מפורש. לדוגמה, סביר להניח שתוצאת החיפוש תפנה לדף לנייד אם המשתמש חיפש במכשיר נייד, גם אם הדף למחשב מסומן כקנוני.

למה שיהיו דפים דומים/משוכפלים?

יש כמה סיבות לגיטימיות לכך שיהיו לכם כתובות שונות שמפנות לאותו הדף, או גרסאות משוכפלות או דומות מאוד של אותו דף בכתובות שונות. אלו הן הסיבות הנפוצות ביותר:

  • כדי לתמוך בסוגים רבים של מכשירים:
    https://example.com/news/koala-rampage
    https://m.example.com/news/koala-rampage
    https://amp.example.com/news/koala-rampage
    
  • כדי להפעיל כתובות URL דינמיות לרכיבים כמו פרמטרים של חיפוש או מזהי הפעלה:
    https://www.example.com/products?category=dresses&color=green
    https://example.com/dresses/cocktail?gclid=ABCD
    https://www.example.com/dresses/green/greendress.html
  • אם מערכת הבלוגים שומרת אוטומטית כמה כתובות URL כשמפרסמים אותו פוסט בכמה מדורים.
    https://blog.example.com/dresses/green-dresses-are-awesome/
    https://blog.example.com/green-things/green-dresses-are-awesome/
  • אם השרת מוגדר להציג את אותו התוכן לגרסאות של הדף עם או בלי www ב-http או https:
    http://example.com/green-dresses
    https://example.com/green-dresses
    http://www.example.com/green-dresses
    
  • אם התוכן שמפורסם בבלוג במטרה לבצע סינדיקציה לאתרים אחרים משוכפל בחלקו או במלואו בדומיינים האלה:
    https://news.example.com/green-dresses-for-every-day-155672.html (הפוסט בסינדיקציה) https://blog.example.com/dresses/green-dresses-are-awesome/3245/ (הפוסט המקורי)

למה צריך לבחור כתובת URL קנונית?

יש כמה סיבות לכך שמומלץ לבחור מפורשות דף קנוני לדפים דומים/משוכפלים:

  • כדי לבחור את כתובת ה-URL שתוצג בתוצאות החיפוש. יכול להיות שתעדיפו שאנשים יגיעו לדף שבו אתם מוכרים שמלות ירוקות דרך https://www.example.com/dresses/green/greendress.html‏ ולא דרך https://example.com/dresses/cocktail?gclid=ABCD‏.
  • כדי לאחד בין אותות קישור לדפים דומים או משוכפלים. פעולה זו מסייעת למנועי החיפוש לאחד את המידע שיש להם על כתובות URL ספציפיות (כמו הקישורים לכתובות האלה) בכתובת URL אחת, מועדפת. כך למשל, קישורים מאתרים אחרים אל http://example.com/dresses/cocktail?gclid=ABCD‏ יאוחדו עם קישורים אל https://www.example.com/dresses/green/greendress.html‏.
  • כדי לעקוב בקלות אחרי המדדים של מוצר/נושא ספציפי. כשמשתמשים בכמה כתובות URL, קשה יותר לקבל מדדים אחידים לחלק ספציפי בתוכן.
  • כדי לנהל תוכן בסינדיקציה. אם מבצעים סינדיקציה לתוכן כדי לפרסם אותו בדומיינים אחרים, מומלץ לאחד את דירוג הדף של כתובת ה-URL המועדפת.
  • כדי לחסוך בזמן הסריקה של דפים משוכפלים. בסופו של דבר, כדאי שהאתר ייסרק על ידי Googlebot בצורה היעילה ביותר. לכן, עדיף שזמן הסריקה יושקע בדפים חדשים (או מעודכנים) באתר, במקום בגרסאות שונות, לנייד ולמחשב, של אותו דף.

מהי כתובת ה-URL הקנונית שלנו, לפי Google?

אפשר להשתמש בכלי לבדיקת כתובות URL כדי לראות איזה דף נחשב כקנוני ב-Google. שימו לב שגם אם אתם מציינים מפורשות דף קנוני, Google עשויה לבחור בדף קנוני אחר מסיבות שונות, כמו ביצועים או תוכן.

בחירת דף קנוני ספציפי

יש כמה דרכים לבחור דף קנוני ספציפי מבין הדפים המשוכפלים, בהתאם לצורך:

שיטה תיאור
כללי אצבע כללי האצבע האלה רלוונטיים לכל שיטות הקנוניזציה.
בחירת הדומיין המועדף

השתמשו ב-Search Console כדי לבחור כתובות URL ספציפיות בדומיין כקנוניות. לדוגמה, תוכלו לבחור את example.com במקום www.example.com. השתמשו בשיטה הזו רק כשיש לכם שני אתרים דומים שההבדל היחיד ביניהם הוא בתת-דומיין. אל תשתמשו בה כדי להבדיל בין הפרוטוקולים http/https.

היתרונות:

  • קל מאוד לבחור, לנהל ולשנות.
  • מתאימה כשיש אתרים זהים בדומיינים שונים.

החסרונות:

  • מתאימה כשההבדל הוא רק בדומיין. לדפים צריכים להיות נתיבים ושמות זהים כדי שהם ייחשבו משוכפלים.
  • מאפשרת רק מיפוי של הדפים הבודדים הנושאים אותו שם ונמצאים בנתיבים זהים.
התג rel=canonical <link>‎

הוסיפו את התג <link> לקוד של כל הדפים המשוכפלים והפנו באמצעותו לדף הקנוני.

היתרונות:

  • אפשר למפות מספר בלתי מוגבל של דפים משוכפלים.

החסרונות:

  • הדף עשוי לגדול.
  • שינוי המיפוי של אתרים גדולים או אתרים שבהם כתובות ה-URL משתנות לעתים קרובות עלול להיות מורכב.
  • מתאימה רק לדפי HTML ולא לקבצים כמו PDF. במקרים כאלה, אפשר להשתמש בכותרת ה-HTTP ‏"rel="canonical.
כותרת ה-HTTP ‏"rel=canonical"

שלחו את הכותרת rel="canonical"‎ בתגובה של הדף.

היתרונות:

  • הדף לא גדל.
  • אפשר למפות מספר בלתי מוגבל של דפים משוכפלים.

החסרונות:

  • שינוי המיפוי של אתרים גדולים או אתרים שבהם כתובות ה-URL משתנות לעתים קרובות עלול להיות מורכב.
Sitemap

ציון מפורש של דפים קנוניים ב-sitemap.

היתרונות:

  • קל לבצע ולשנות, במיוחד באתרים גדולים.

החסרונות:

  • הבוט Googlebot עדיין צריך לקבוע אילו דפים משוכפלים קשורים לדפים הקנוניים שצוינו ב-sitemap.
  • האות שנשלח ל-Googlebot חלש יותר מהאות שנשלח באמצעות התג ‎rel="canonical"‎.
הפניות 301 השתמשו בהפניות 301 כדי לומר ל-Googlebot שכתובת ה-URL שאתם מפנים אליה היא גרסה טובה יותר מכתובת URL מסוימת. השתמשו בשיטה הזו רק כשאתם רוצים להוציא משימוש דף משוכפל.
גרסת AMP אם אחת מהגרסאות שלכם היא דף AMP, תצטרכו לפעול לפי ההנחיות של AMP כדי לציין מהו הדף הקנוני ומהי גרסת ה-AMP.

 

השיטות האלה הן רק המלצות. אתם לא חייבים להשתמש באף אחת מהן. אם לא תציינו כתובת URL קנונית, נבחר את זו שלדעתנו היא הגרסה הטובה ביותר.

כללי אצבע

כללי האצבע האלה רלוונטיים לכל שיטות הקנוניזציה.

כללי אצבע
  • אין להשתמש בקובץ robots.txt‏ למטרות קביעת כתובת URL כקנונית.
  • אין להשתמש בכלי להסרת כתובות URL לצורך קביעת כתובת URL כקנונית: הוא מסיר מהחיפוש את כל הגרסאות של כתובת ה-URL הרלוונטית.
  • אין לציין כתובות URL שונות של אותו דף כקנוניות באמצעות שיטות זהות או שונות לקביעת כתובת URL כקנונית (לדוגמה, אין לציין כתובת URL אחת ב-sitemap אבל כתובת URL אחרת לאותו הדף באמצעות "rel="canonical).
  • אין להשתמש ב-noindex כאמצעי למניעת הבחירה של דף קנוני. הדף לא ייסרק ולא יתווסף לאינדקס. זו לא הדרך הנכונה להשפיע על הבחירה של הדף הקנוני. 
  • יש לציין דף קנוני כשמשתמשים בתגי hreflang. יש לציין דף קנוני באותה שפה. אם אין דף קנוני באותה שפה, בוחרים בדף בשפה המתאימה ביותר.

  • יש לקשר לכתובת ה-URL הקנונית במקום לכתובת ה-URL המשוכפלת, בקישורים שבתוך האתר. הקפדה על כך שהקישורים באתר יפנו באופן עקבי לכתובת URL שנחשבת לקנונית מבחינתכם, תסייע ל-Google בהבנת העדפתכם.

העדפת HTTPS על פני HTTP ביחס לכתובות URL קנוניות

Google מעדיפה שדפים קנוניים יהיו בפרוטוקול HTTPS אם גרסת ה-HTTP זהה, למעט אם יש התנגשות בין האותות, כמו בדוגמאות הבאות:

  • לדף ה-HTTPS יש אישור SSL לא חוקי.
  • דף ה-HTTPS מכיל יחסי תלות לא מאובטחים (חוץ מתמונות).
  • דף ה-HTTPS מפנה משתמשים אל דף HTTP או לכתובת אחרת דרכו.
  • דף ה-HTTPS כולל קישור מסוג rel="canonical"‎‏ אל דף ה-HTTP.

כברירת מחדל, המערכות שלנו מעדיפות דפי HTTPS על פני דפי HTTP. עם זאת, אפשר להשתמש בדרכים הבאות כדי לוודא שהן תמיד יעדיפו אותם:

  • הוספה של הפניה לכתובת אחרת מדף ה-HTTP לדף ה-HTTPS.
  • הוספת קישור מסוג rel="canonical"‎‏ מדף ה-HTTP אל דף ה-HTTPS.
  • הטמעת HSTS‏.

כדי למנוע מ-Google להפוך בטעות דווקא את דף ה-HTTP לקנוני, מומלץ להימנע מהפעולות הבאות:

  • אישורי SSL לא תקינים והפניות מחדש מסוג HTTPS-ל-HTTP הם הסיבה לכך שאנחנו מעדיפים HTTP באופן גורף. הטמעת HSTS לא יכולה לבטל העדפה זו.
  • הכללה של דף ה-HTTP, במקום גרסת ה-HTTPS, ב-sitemap או ברשומות ה-hreflang‏ שלכם.
  • הטמעה של אישור ה-SSL/TLS שלכם עבור גרסת המארח הלא נכונה: לדוגמה, example.com מציג את האישור של www.example.com.  האישור צריך להתאים לכתובת ה-URL המלאה, או להיות אישור כללי שיכול לשמש מספר תת-דומיינים באותו דומיין.

למשתמשים מתקדמים בלבד: ניתן להורות ל-Google להתעלם מפרמטרים דינמיים

אפשר להשתמש בתכונה טיפול בפרמטר כדי להורות ל-Googlebot להתעלם מפרמטרים מסוימים בזמן הסריקה. התעלמות מפרמטרים יכולה להקטין את כמות הכפילויות של התוכן באינדקס של Google, ולהקל על סריקת האתר. לדוגמה, אם מציינים שצריך להתעלם מהפרמטר sessionid, שתי כתובות ה-URL הבאות ייחשבו מבחינת Googlebot כמשוכפלות:

  • https://www.example.com/dresses/green.php?sessionid=273749
  • https://www.example.com/dresses/green.php

שיטות ספציפיות

אפשר להשתמש באחת מהשיטות הבאות כדי לציין כתובת URL קנונית לכתובות URL משוכפלות או לדפים משוכפלים/דומים.

בכל מקרה, חשוב לשמור גם על כללי האצבע שפירטנו קודם.

הגדרת דומיין מועדף

אפשר להשתמש ב-Search Console כדי לציין ל-Google איזו גרסה של כתובת ה-URL אתם מעדיפים שתהיה הכתובת הקנונית של הדומיין:

  • https://www.example.com
  • https://example.com

אם תגדירו את הדומיין המועדף בתור https://example.com,‏ Google תתייחס לכתובת URLים או דפים דומים בדומיין www.example.com כאל עותקים משוכפלים של הדפים בדומיין example.com.

רוצים לדעת איך להגדיר דומיין מועדף?

שימוש בתג הקישור rel="canonical"‎

אפשר להשתמש בתג <link> בכותרת של הדף כדי לציין שהדף הוא עותק משוכפל של דף אחר.

נניח שאנחנו רוצים שהכתובת https://example.com/dresses/green-dresses תהיה כתובת ה-URL הקנונית, גם אם יש כמה וכמה כתובות URL שמובילות לתוכן הזה. אפשר לציין את כתובת URL זו כקנונית באופן הבא:

  1. מסמנים את כל הדפים המשוכפלים באמצעות אלמנט הקישור rel="canonical"‎. מוסיפים את האלמנט <link> עם המאפיין rel="canonical"‎ בקטע <head> של הדפים המשוכפלים, ומפנים לדף הקנוני:
    ‎<link rel="canonical" href="https://example.com/dresses/green-dresses" />‎

  2. אם לדף הקנוני יש וריאציה לנייד, מוסיפים אליה את הקישור rel="alternate"‎ כדי להפנות לגרסה לנייד של הדף:
    ‎<link rel="alternate" media="only screen and (max-width: 640px)"  href="http://m.example.com/dresses/green-dresses">‎

  3. מוסיפים תגי hreflang או הפניות אחרות הרלוונטיות לדף.

חשוב להשתמש בנתיבים אבסולוטיים ולא בנתיבים יחסיים עם אלמנט הקישור rel="canonical"‎.

השתמשו במבנה הזה: https://www.example.com/dresses/green/greendresss.html‏
ולא במבנה הזה: /dresses/green/greendress.html
שימוש בכותרת HTTP‏ rel="canonical"‎

אם אפשר להגדיר את השרת, כדאי להשתמש בכותרות HTTP מסוג rel="canonical"‎ (במקום בתגי HTML) כדי לציין כתובת URL קנונית של מסמכים שאינם בפורמט HTML, כמו קובצי PDF.

לדוגמה, אם יש כמה כתובות URL שמובילות לקובץ ה-PDF, אפשר להשתמש בכותרת HTTP‏ rel="canonical"‎ בכתובת ה-URLים המשוכפלות, כמו בדוגמה הבאה. כך אפשר לומר ל-Googlebot מהי כתובת ה-URL הקנונית של קובץ ה-PDF:

Link: <http://www.example.com/downloads/white-paper.pdf>; rel="canonical"‎

כרגע, אפשר להשתמש בשיטה הזו רק לתוצאות החיפוש באינטרנט ב-Google.

חשוב להשתמש בנתיבים אבסולוטיים ולא בנתיבים יחסיים עם אלמנט הקישור rel="canonical"‎. כלומר:
השתמשו במבנה הזה http://www.example.com/downloads/white-paper.pdf
ולא במבנה הזה: /downloads/white-paper.pdf
שימוש ב-sitemap

אפשר לבחור כתובת URL קנונית לכל אחד מהדפים ולשלוח אותן באמצעות sitemap. כל הדפים שרשומים ב-sitemap יוצעו כקנוניים. הבוט Googlebot יחליט אילו דפים הם משוכפלים (אם בכלל יהיו עותקים משוכפלים), בהתאם למידת הדמיון בתוכן.

אנחנו לא מבטיחים שנתייחס לכתובות ה-URL ב-sitemap כאל קנוניות, אבל זוהי דרך פשוטה להגדיר כתובות URL קנוניות לאתר גדול. בנוסף, זוהי דרך נוחה לציין ל-Google אילו דפים נחשבים בעיניכם כחשובים ביותר באתר.

אל תכללו דפים לא-קנוניים ב-sitemap. אם אתם משתמשים ב-sitemap, ציינו רק כתובות URL קנוניות.

שימוש בהפניות מחדש מסוג 301 לכתובות URL שאינן בשימוש

אפשר להשתמש בשיטה הזו כשרוצים להיפטר מדפים משוכפלים ולהבטיח מעבר חלק לפני שמוציאים משימוש כתובות URL ישנות.

נניח שניתן להגיע אל הדף בכמה דרכים:

  • https://example.com/home
  • https://home.example.com
  • https://www.example.com

אפשר לבחור אחת מהן ככתובת ה-URL הקנונית ולהשתמש בהפניות מחדש מסוג 301 בשרת כדי להעביר את התנועה מכתובות ה-URL האחרות אל כתובת ה-URL המועדפת. זוהי הדרך הטובה ביותר להבטיח שהמשתמשים ומנועי החיפוש יופנו לדף הנכון. המשמעות של קוד סטטוס 301 היא שהדף הועבר לתמיד למיקום חדש.

אם האתר שלכם בשירות לאירוח אתרים, יש לערוך חיפוש אחר התיעוד שלו להגדרת הפניות לכתובות אחרות מסוג 301.

האם המאמר היה מועיל?
איך נוכל לשפר את המאמר?