איחוד של כתובות URL משוכפלות

הגדרת דף קנוני לדפים דומים או משוכפלים

אם יש לכם דף אינטרנט אחד שאפשר להיכנס אליו באמצעות כמה כתובות URL, או דפים שונים עם אותו תוכן (לדוגמה: דף עם גרסה לנייד וגרסה למחשב), Google מתייחסת אליהם כאל גרסאות משוכפלות של אותו דף. Google תבחר בכתובת URL אחת בתור הגרסה הקנונית ותסרוק אותה, וכל שאר כתובות ה-URL ייחשבו ככתובות URL משוכפלות שייסרקו בתדירות נמוכה יותר. 

אם לא תגדירו ל-Google באופן מפורש איזו כתובת URL היא הקנונית, Google תבחר אותה בשבילכם או תתייחס לשתי הגרסאות באופן שווה. מקרה כזה עלול לגרום להתנהגות בלתי רצויה, כפי שמוסבר בהמשך בקטע למה צריך לבחור כתובת URL קנונית?

מהי כתובת URL קנונית?
כתובת URL קנונית היא כתובת ה-URL שנחשבת ב-Google לכתובת הייצוגית ביותר מתוך קבוצת דפים משוכפלים באתר שלכם. לדוגמה, אם יש לכם כמה כתובות URL לאותו דף (לדוגמה:example.com?dress=1234 וגם example.com/dresses/1234), ‏Google תבחר באחת ככתובת הקנונית. שימו לב שהדפים אינם זהים לחלוטין בהכרח. שינויים קלים במיון או סינון של דפי רשימה לא הופכים את הדף לדף ייחודי (לדוגמה, מיון לפי מחיר או סינון לפי צבע פריט).
הדומיין של הכתובת הקנונית יכול להיות שונה מזה של הכתובת המשוכפלת.
פרטים נוספים
כשאתר נסרק על ידי Googlebot ונוסף לאינדקס, מתבצע ניסיון לקבוע מהו התוכן העיקרי של כל דף. אם Googlebot מוצא מספר דפים שנראים זהים, ייבחר הדף שלפי ההגדרות שלנו הוא המלא והשימושי ביותר, והוא יסומן כקנוני. כדי להפחית מעומס הסריקה של Google באתר שלכם, הדף הקנוני ייסרק בתדירות הגבוהה ביותר, ואילו הדפים המשוכפלים ייסרקו בתדירות נמוכה יותר.
Google בוחרת בדף הקנוני על סמך כמה גורמים (או אותות), למשל: אם הדף הוצג ב-http או https, אם המשתמש בחר דומיין מועדף, איכות הדף, הימצאות של כתובת ה-URL ב-sitemap וסימון באמצעות התווית "rel=canonical". אפשר לציין את העדפתכם ל-Google בשיטות אלו, אך ייתכן שהדף ש-Google תבחר כקנוני יהיה שונה מבחירתכם, מכל מיני סיבות.
גרסאות שפה שונות של דף יחיד נחשבות כפולות רק אם התוכן הראשי מוצג באותה שפה (כלומר אם רק הכותרת, הכותרת התחתונה וטקסט לא קריטי אחר מתורגמים, אבל גוף הדף אינו משתנה, הדפים נחשבים לכפולים).
דפים קנוניים משמשים את Google כמקורות עיקריים להערכת תוכן ואיכות. תוצאת חיפוש Google מפנה בדרך כלל לדף הקנוני, אלא אם אחד מהדפים המשוכפלים מתאים יותר למשתמש באופן מפורש. לדוגמה, סביר להניח שתוצאת החיפוש תפנה לדף לנייד אם המשתמש חיפש במכשיר נייד, גם אם הדף למחשב מסומן כקנוני.

למה שיהיו דפים דומים/משוכפלים?

יש כמה סיבות לגיטימיות לכך שיהיו לכם כתובות שונות שמפנות לאותו הדף, או גרסאות משוכפלות או דומות מאוד של אותו דף בכתובות שונות. אלו הן הסיבות הנפוצות ביותר:

  • כדי לתמוך בסוגים רבים של מכשירים:
    https://example.com/news/koala-rampage
    https://m.example.com/news/koala-rampage
    https://amp.example.com/news/koala-rampage
    
  • כדי להפעיל כתובות URL דינמיות לרכיבים כמו פרמטרים של חיפוש או מזהי הפעלה:
    https://www.example.com/products?category=dresses&color=green
    https://example.com/dresses/cocktail?gclid=ABCD
    https://www.example.com/dresses/green/greendress.html
  • אם מערכת הבלוגים שומרת אוטומטית כמה כתובות URL כשמפרסמים את אותו פוסט בכמה מדורים.
    https://blog.example.com/dresses/green-dresses-are-awesome/
    https://blog.example.com/green-things/green-dresses-are-awesome/
  • אם השרת מוגדר להציג את אותו התוכן לגרסאות של הדף עם או בלי www ב-http או https:
    http://example.com/green-dresses
    https://example.com/green-dresses
    http://www.example.com/green-dresses
    
  • אם התוכן שמפורסם בבלוג במטרה לבצע סינדיקציה לאתרים אחרים משוכפל בחלקו או במלואו בדומיינים האלה:
    https://news.example.com/green-dresses-for-every-day-155672.html (הפוסט בסינדיקציה) https://blog.example.com/dresses/green-dresses-are-awesome/3245/ (הפוסט המקורי)

למה צריך לבחור כתובת URL קנונית?

יש כמה סיבות לכך שמומלץ לבחור מפורשות דף קנוני לדפים דומים/משוכפלים:

  • כדי לבחור את כתובת ה-URL שתוצג בתוצאות החיפוש. יכול להיות שתעדיפו שאנשים יגיעו לדף שבו אתם מוכרים שמלות ירוקות דרך https://www.example.com/dresses/green/greendress.html‏ ולא דרך https://example.com/dresses/cocktail?gclid=ABCD‏.
  • כדי לאחד בין אותות קישור לדפים דומים או משוכפלים. פעולה זו מסייעת למנועי החיפוש לאחד את המידע שיש להם על כתובות URL ספציפיות (כמו הקישורים לכתובות האלה) בכתובת URL אחת, מועדפת. כך למשל, קישורים מאתרים אחרים אל http://example.com/dresses/cocktail?gclid=ABCD‏ יאוחדו עם קישורים אל https://www.example.com/dresses/green/greendress.html‏.
  • כדי לעקוב בקלות אחרי המדדים של מוצר/נושא ספציפי. כשמשתמשים בכמה כתובות URL, קשה יותר לקבל מדדים אחידים לחלק ספציפי בתוכן.
  • כדי לנהל תוכן בסינדיקציה. אם מבצעים סינדיקציה לתוכן כדי לפרסם אותו בדומיינים אחרים, מומלץ לאחד את דירוג הדף של כתובת ה-URL המועדפת.
  • כדי לחסוך בזמן הסריקה של דפים משוכפלים. בסופו של דבר, כדאי שהאתר ייסרק על ידי Googlebot בצורה היעילה ביותר. לכן, עדיף שזמן הסריקה יושקע בדפים חדשים (או מעודכנים) באתר, במקום בגרסאות שונות של אותו דף לנייד ולמחשב.

מהי כתובת ה-URL הקנונית שלי, לפי Google?

אפשר להשתמש בכלי לבדיקת כתובות URL כדי לראות איזה דף נחשב כקנוני ב-Google. שימו לב שגם אם אתם מציינים מפורשות דף קנוני, Google עשויה לבחור בדף קנוני אחר מסיבות שונות, כמו ביצועים או תוכן.

פתרון בעיות

אם כתובת URL קנונית נמצאת בנכס שאינו בבעלותכם, לא תוכלו לראות את התנועה לדף המשוכפל. הנה כמה סיבות נפוצות לכך שכתובת קנונית נמצאת בנכס נפרד:
  • וריאציות של שפות שמסומנות באופן שגוי: אם יש לכם כמה אתרים שמוצג בהם פחות או יותר תוכן זהה המותאם למשתמשים שונים ברחבי העולם, עליכם לפעול לפי ההנחיות שלנו לאתרים המותאמים לשוק המקומי.
  • תגים קנוניים שגויים: מערכות ניהול תוכן (CMS) מסוימות או יישומי פלאגין של CMS עלולים להשתמש באופן שגוי בטכניקות קנוניזציה כדי להפנות אל כתובות URL באתרים חיצוניים. יש לבדוק את התוכן כדי לוודא שאין בו תגים שגויים כאלה. אם האתר מצביע על העדפה בלתי צפויה של כתובת אתר קנונית, אולי בשל שימוש שגוי ברכיב rel="canonical"‎ או בהפניית 301, יש לפתור את הבעיה ישירות.
  • שרתים בעלי תצורות שגויות: ישנן תצורות אירוח שגויות שעלולות לגרום לבחירה בלתי צפויה בכתובת URL מדומיין אחר. למשל:
    • ייתכן שתצורת שרת מוגדרת באופן שגוי כך שהוא יחזיר תוכן מ-a.com בתגובה לבקשת כתובת אתר ב-b.com
    • שני שרתי אינטרנט שאינם קשורים זה לזה עלולים להחזיר דפי soft 404 ש-Google לא מצליחה לזהות כדפי שגיאה.
  • פעילות האקרים זדונית: כמה סוגי התקפות על אתרים מוסיפות קוד שמחזיר הפניית 301 של HTTP או מוסיף אלמנט קישור rel="canonical"‎ מדומיין אחר אל תג <head> של HTTP או לכותרת HTTP. בדרך כלל, הקוד הזה מפנה אל כתובת URL המארחת תוכן זדוני או ספאמי. במקרים אלה, האלגוריתמים שלנו עלולים לבחור בכתובת ה-URL הזדונית או בכתובת ה-URL שמכילה ספאם, במקום בכתובת ה-URL שבאתר האינטרנט שנפרץ.
  • אתר שנפרץ: במצבים נדירים, האלגוריתמים שלנו עלולים לבחור כתובת URL מאתר חיצוני שמארח את התוכן שלכם ללא רשותכם. אם אתם סבורים שאתר אחר משכפל את התוכן שלכם באופן שמהווה הפרה של חוקי זכויות יוצרים, תוכלו ליצור קשר עם מארח האתר כדי לבקש להסיר את התוכן. בנוסף, אפשר לבקש ש-Google תסיר מתוצאות החיפוש את הדף שמהווה הפרה על-ידי הגשת בקשה במסגרת החוק Digital Millennium Copyright Act.

בחירת דף קנוני ספציפי

יש כמה דרכים לבחור דף קנוני ספציפי מבין הדפים המשוכפלים, בהתאם לצורך:

שיטה תיאור
הנחיות כלליות הנחיות אלה רלוונטיות לכל שיטות הקנוניזציה.
בחירת הדומיין המועדף

השתמשו ב-Search Console כדי לבחור כתובות URL ספציפיות בדומיין כקנוניות. לדוגמה, תוכלו לבחור את example.com במקום www.example.com. השתמשו בשיטה הזו רק כשיש לכם שני אתרים דומים שההבדל היחיד ביניהם הוא בתת-דומיין. אל תשתמשו בה כדי להבדיל בין הפרוטוקולים http/https.

היתרונות:

  • קל מאוד לבחור, לנהל ולשנות.
  • מתאימה כשיש אתרים זהים בדומיינים שונים.

החסרונות:

  • מתאימה כשההבדל הוא רק בדומיין. לדפים צריכים להיות נתיבים ושמות זהים כדי שהם ייחשבו משוכפלים.
  • מאפשרת רק מיפוי של הדפים הבודדים הנושאים את אותו שם ונמצאים בנתיבים זהים.
התג rel=canonical <link>‎

הוסיפו את התג <link> לקוד של כל הדפים המשוכפלים והפנו באמצעותו לדף הקנוני.

היתרונות:

  • אפשר למפות מספר בלתי מוגבל של דפים משוכפלים.

החסרונות:

  • הדבר עשוי להוסיף לגודל הדף.
  • יכול להיות מסובך לשנות את המיפוי של אתרים גדולים או של אתרים שבהם כתובות ה-URL משתנות לעיתים קרובות.
  • מתאימה רק לדפי HTML ולא לקבצים כמו PDF. במקרים כאלה, אפשר להשתמש בכותרת ה-HTTP ‏"rel="canonical.
כותרת ה-HTTP ‏"rel=canonical"

שלחו את הכותרת rel="canonical"‎ בתגובה של הדף.

היתרונות:

  • הדבר לא מוסיף לגודל הדף.
  • אפשר למפות מספר בלתי מוגבל של דפים משוכפלים.

החסרונות:

  • יכול להיות מסובך לשנות את המיפוי של אתרים גדולים או של אתרים שבהם כתובות ה-URL משתנות לעיתים קרובות.
Sitemap

ציון מפורש של דפים קנוניים ב-sitemap.

היתרונות:

  • קל לבצע ולשנות, במיוחד באתרים גדולים.

החסרונות:

  • Googlebot עדיין צריך לקבוע אילו דפים משוכפלים קשורים לדפים הקנוניים שצוינו ב-sitemap.
  • האות שנשלח ל-Googlebot חלש יותר מהאות שנשלח באמצעות התג ‎rel="canonical"‎.
הפניות 301 השתמשו בהפניות 301 כדי לומר ל-Googlebot שכתובת ה-URL שאתם מפנים אליה היא גרסה טובה יותר מכתובת URL מסוימת. השתמשו בשיטה הזו רק כשאתם רוצים להוציא משימוש דף משוכפל.
גרסת AMP אם אחת מהגרסאות שלכם היא דף AMP, תצטרכו לפעול לפי ההנחיות של AMP כדי לציין מהו הדף הקנוני ומהי גרסת ה-AMP.

 

השיטות האלה הן רק המלצות. אתם לא חייבים להשתמש באף אחת מהן. אם לא תציינו כתובת URL קנונית, נבחר את זו שלדעתנו היא הגרסה הטובה ביותר.

הנחיות כלליות

ההנחיות הכלליות האלה רלוונטיות לכל שיטות הקנוניזציה.

הנחיות כלליות
  • אין להשתמש בקובץ robots.txt‏ למטרות קנוניזציה.
  • אין להשתמש בכלי להסרת כתובות URL לצורך קנוניזציה: הוא מסיר מהחיפוש את כל הגרסאות של כתובת ה-URL הרלוונטית.
  • אין לציין כתובות URL שונות של אותו דף כקנוניות באמצעות שיטות זהות או שונות לקביעת כתובת URL כקנונית (לדוגמה, אין לציין כתובת URL אחת ב-sitemap אבל כתובת URL אחרת לאותו הדף באמצעות "rel="canonical).
  • אין להשתמש ב-noindex כאמצעי למניעת הבחירה של דף קנוני. הדף לא ייסרק ולא יתווסף לאינדקס. זו לא הדרך הנכונה להשפיע על הבחירה של הדף הקנוני. 
  • יש לציין דף קנוני כשמשתמשים בתגי hreflang. יש לציין דף קנוני באותה שפה. אם אין דף קנוני באותה שפה, בוחרים בדף בשפה המתאימה ביותר.

  • יש לקשר לכתובת ה-URL הקנונית במקום לכתובת ה-URL המשוכפלת, בקישורים שבתוך האתר. הקפדה על כך שהקישורים באתר יפנו באופן עקבי לכתובת URL שנחשבת לקנונית מבחינתכם, תסייע ל-Google בהבנת העדפתכם.

העדפת HTTPS על פני HTTP ביחס לכתובות URL קנוניות

Google מעדיפה שדפים קנוניים יהיו בפרוטוקול HTTPS אם גרסת ה-HTTP זהה, למעט אם יש התנגשות בין האותות, כמו בדוגמאות הבאות:

  • לדף ה-HTTPS יש אישור SSL לא חוקי.
  • דף ה-HTTPS מכיל יחסי תלות לא מאובטחים (חוץ מתמונות).
  • דף ה-HTTPS מפנה משתמשים אל דף HTTP או לכתובת אחרת דרכו.
  • דף ה-HTTPS כולל קישור מסוג rel="canonical"‎‏ אל דף ה-HTTP.

כברירת מחדל, המערכות שלנו מעדיפות דפי HTTPS על פני דפי HTTP. עם זאת, אפשר להשתמש בדרכים הבאות כדי לוודא שהן תמיד יעדיפו אותם:

  • הוספה של הפניה לכתובת אחרת מדף ה-HTTP לדף ה-HTTPS.
  • הוספת קישור מסוג rel="canonical"‎‏ מדף ה-HTTP אל דף ה-HTTPS.
  • הטמעת HSTS‏.

כדי למנוע מ-Google להפוך בטעות דווקא את דף ה-HTTP לקנוני, מומלץ להימנע הדברים הבאים:

  • אישורי SSL לא תקינים והפניות מחדש מסוג HTTPS-ל-HTTP הם הסיבה לכך שאנחנו מעדיפים HTTP באופן גורף. הטמעת HSTS לא יכולה לבטל העדפה זו.
  • הכללה של דף ה-HTTP, במקום גרסת ה-HTTPS, ב-sitemap או ברשומות ה-hreflang‏ שלכם.
  • הטמעה של אישור ה-SSL/TLS שלכם עבור גרסת המארח הלא נכונה: לדוגמה, example.com מציג את האישור של www.example.com.  האישור צריך להתאים לכתובת ה-URL המלאה, או להיות אישור כללי שיכול לשמש מספר תת-דומיינים באותו דומיין.

למשתמשים מתקדמים בלבד: ניתן להורות ל-Google להתעלם מפרמטרים דינמיים

אפשר להשתמש בתכונה טיפול בפרמטר כדי להורות ל-Googlebot להתעלם מפרמטרים מסוימים בזמן הסריקה. התעלמות מפרמטרים יכולה להקטין את כמות הכפילויות של התוכן באינדקס של Google, ולהקל על סריקת האתר. לדוגמה, אם מציינים שצריך להתעלם מהפרמטר sessionid, שתי כתובות ה-URL הבאות ייחשבו מבחינת Googlebot כמשוכפלות:

  • https://www.example.com/dresses/green.php?sessionid=273749
  • https://www.example.com/dresses/green.php

שיטות ספציפיות

אפשר להשתמש באחת מהשיטות הבאות כדי לציין כתובת URL קנונית לכתובות URL משוכפלות או לדפים משוכפלים/דומים.

בכל מקרה, חשוב לפעול לפי ההנחיות הכלליות שפירטנו קודם.

הגדרת דומיין מועדף

אפשר להשתמש ב-Search Console כדי לציין ל-Google איזו גרסה של כתובת ה-URL אתם מעדיפים שתהיה הכתובת הקנונית של הדומיין:

  • https://www.example.com
  • https://example.com

אם תגדירו את הדומיין המועדף בתור https://example.com,‏ Google תתייחס לכתובות URL או לדפים דומים בדומיין www.example.com כאל עותקים משוכפלים של הדפים בדומיין example.com.

רוצים לדעת איך להגדיר דומיין מועדף?

שימוש בתג הקישור rel="canonical"‎

אפשר להשתמש בתג <link> בכותרת של הדף כדי לציין שהדף הוא עותק משוכפל של דף אחר.

נניח שאנחנו רוצים שהכתובת https://example.com/dresses/green-dresses תהיה כתובת ה-URL הקנונית, גם אם יש כמה וכמה כתובות URL שמובילות לתוכן הזה. אפשר לציין כתובת URL זו כקנונית באופן הבא:

  1. מסמנים את כל הדפים כמשוכפלים באמצעות אלמנט הקישור rel="canonical"‎. מוסיפים את האלמנט <link> עם המאפיין rel="canonical"‎ בקטע <head> של הדפים המשוכפלים, ומפנים לדף הקנוני:
    ‎<link rel="canonical" href="https://example.com/dresses/green-dresses" />‎

  2. אם לדף הקנוני יש וריאציה לנייד, מוסיפים אליה את הקישור rel="alternate"‎ כדי להפנות לגרסה לנייד של הדף:
    ‎<link rel="alternate" media="only screen and (max-width: 640px)"  href="http://m.example.com/dresses/green-dresses">‎

  3. מוסיפים תגי hreflang או הפניות אחרות הרלוונטיות לדף.

חשוב להשתמש בנתיבים מוחלטים ולא בנתיבים יחסיים עם אלמנט הקישור rel="canonical"‎.

יש להשתמש במבנה הזה: https://www.example.com/dresses/green/greendresss.html‏
ולא במבנה הזה: /dresses/green/greendress.html
שימוש בכותרת HTTP‏ rel="canonical"‎

אם אפשר להגדיר את השרת, כדאי להשתמש בכותרות HTTP מסוג rel="canonical"‎ (במקום בתגי HTML) כדי לציין כתובת URL קנונית של מסמכים שאינם בפורמט HTML, כמו קובצי PDF.

לדוגמה, אם יש כמה כתובות URL שמובילות לקובץ ה-PDF, אפשר להשתמש בכותרת HTTP‏ rel="canonical"‎ בכתובת ה-URL המשוכפלות, כמו בדוגמה הבאה. כך אפשר לומר ל-Googlebot מהי כתובת ה-URL הקנונית של קובץ ה-PDF:

Link: <http://www.example.com/downloads/white-paper.pdf>; rel="canonical"‎

כרגע, אפשר להשתמש בשיטה הזו רק לתוצאות החיפוש באינטרנט ב-Google.

חשוב להשתמש בנתיבים מוחלטים ולא בנתיבים יחסיים עם אלמנט הקישור rel="canonical"‎. כלומר:
יש להשתמש במבנה הזה http://www.example.com/downloads/white-paper.pdf
ולא במבנה הזה: ‎/downloads/white-paper.pdf
שימוש ב-sitemap

אפשר לבחור כתובת URL קנונית לכל אחד מהדפים ולשלוח אותן באמצעות sitemap. כל הדפים שרשומים ב-sitemap יוצעו כקנוניים. Googlebot יחליט אילו דפים הם משוכפלים (אם בכלל יהיו עותקים משוכפלים), בהתאם למידת הדמיון בתוכן.

אנחנו לא מבטיחים שנתייחס לכתובות ה-URL ב-sitemap כאל קנוניות, אבל זוהי דרך פשוטה להגדיר כתובות URL קנוניות לאתר גדול. בנוסף, זוהי דרך נוחה לציין ל-Google אילו דפים נחשבים בעיניכם כחשובים ביותר באתר.

אל תכללו דפים לא קנוניים ב-sitemap. אם אתם משתמשים ב-sitemap, ציינו רק כתובות URL קנוניות.

שימוש בהפניות מחדש מסוג 301 לכתובות URL שאינן בשימוש

אפשר להשתמש בשיטה הזו כשרוצים להיפטר מדפים משוכפלים ולהבטיח מעבר חלק לפני שמוציאים משימוש כתובות URL ישנות.

נניח שניתן להגיע אל הדף בכמה דרכים:

  • https://example.com/home
  • https://home.example.com
  • https://www.example.com

אפשר לבחור אחת מהן ככתובת ה-URL הקנונית ולהשתמש בהפניות מחדש מסוג 301 בשרת כדי להעביר את התנועה מכתובות ה-URL האחרות אל כתובת ה-URL המועדפת. זוהי הדרך הטובה ביותר להבטיח שהמשתמשים ומנועי החיפוש יופנו לדף הנכון. המשמעות של קוד סטטוס 301 היא שהדף הועבר לתמיד למיקום חדש.

אם האתר שלכם נמצא בשירות לאירוח אתרים, יש לערוך חיפוש אחר התיעוד שלו להגדרת הפניות לכתובות אחרות מסוג 301.

האם המאמר היה מועיל?
איך נוכל לשפר את המאמר?