פתרון בעיות בסורק התוכן

אם תקפידו להגדיר את האתר כך שכולו יהיה פתוח לסריקה זה יעזור לכם להגדיל את ההכנסות מהתוכן. אם סורק התוכן לא יכול לגשת לתוכן שלכם, מומלץ לעיין ברשימה הבאה של בעיות אפשריות בסורק והפתרונות שלהן.

הנושאים בדף:

• בעיות גישה
• בעיות באתר
• בעיות אירוח

בעיות גישה

סיבה אפשרית	מה צריך לבדוק	איך לפתור את הבעיה
כדי לגשת לאתר צריך להתחבר. ייתכן שסורק המודעות מופנה לדף התחברות, ולכן הוא לא מצליח לסרוק את התוכן.	האם המבקרים צריכים פרטי כניסה כדי לגשת לתוכן באתר?	צריך להגדיר כניסת סורק כדי להשתמש בתוכן מהאינטרנט שהגישה אליו מחייבת התחברות לצורך מיפוי תכנים באפליקציות.
הגישה לתוכן שלכם מוגבלת למיקומים מסוימים או לטווח IP מסוים.	האם הגדרתם הגבלות לגבי המיקומים הגיאוגרפיים או טווחי ה-IP שיכולים לגשת אל התוכן שלכם?	כדי שסורק המודעות יוכל לסרוק את כתובות ה-URL שלכם, צריך להסיר את ההגבלות האלה או להגדיר את התוכן כנגיש לכולם.
חסמתם את סורק המודעות בקובץ ה-robots.txt.	האם סורק המודעות חסום בקובץ ה-robots.txt?	עליכם לתת גישה לסורק המודעות בקובץ ה-robots.txt

בעיות באתר

סיבה אפשרית	מה צריך לבדוק	איך לפתור את הבעיה
לא ניתן למצוא את האתר. אם כתובת ה-URL שנשלחה ל-Google מפנה לדף שלא קיים באתר (או שפעם היה קיים בו ועכשיו כבר לא) או גורמת לשגיאה 404 ("לא נמצא"), סורק המודעות לא יצליח לסרוק את התוכן.	האתר פעיל? משתמשים יכולים להיכנס לאתר באינטרנט?	מוודאים שהאתר פורסם וזמין באינטרנט.
יש באתר תוכן חדש שפורסם לא מזמן. כשמפרסמים דף חדש, אפשר לשלוח בקשות להצגת מודעות לפני שלסורקים של Google יש הזדמנות לסרוק את התוכן. דוגמאות לאתרים שמתפרסם בהם הרבה תוכן חדש: אתרים עם תוכן של משתמשים, מאמרי חדשות, אתרים עם מלאי גדול של מוצרים או אתרים שמציגים תחזיות מזג אוויר.	האם פרסמתם לאחרונה תוכן חדש?	יש להמתין עד שסורק המודעות יסרוק את התוכן החדש. בדרך כלל כששולחים בקשה להצגת מודעה בכתובת URL חדשה, התוכן נסרק תוך מספר דקות. עם זאת, במהלך הדקות הראשונות, בגלל שהתוכן עוד לא נסרק, ייתכן שנפח המודעה יהיה נמוך.
יש באתר הרבה הפניות לכתובות אחרות. אם מוגדרות באתר הפניות אוטומטיות, יכול להיות שסורק המודעות ייתקל בבעיות במעבר לכתובות URL אחרות. לדוגמה, אם הרבה הפניות אוטומטיות והפניות ביניים באתר נכשלות, או אם פרמטרים חשובים כמו קובצי Cookie נשמטים במהלך ההפניה, יכול להיות שהסריקה תהיה פחות איכותית.	מוגדרות באתר שלכם הרבה הפניות אוטומטיות? הגדרתם הפניות אוטומטיות בדפים שמוצגות בהם מודעות?	מומלץ לצמצם את השימוש בהפניות אוטומטיות בדפים שמוטמע בהם קוד מודעות. צריך לוודא שכל ההפניות האוטומטיות מוטמעות נכון.
אתם משתמשים בכתובות URL מותאמות אישית. בכתובות ה-URL של אתרים מסוימים יש פרמטרים נוספים שמטרתם לזהות את המשתמש המחובר (למשל, מזהה סשן), או לספק מידע אחר שייחודי לכל ביקור. במקרים כאלה, סורק המודעות עשוי להתייחס לכתובת ה-URL כאל דף חדש, גם אם התוכן זהה. כשזה המצב, יכולות לעבור כמה דקות מרגע שנשלחת הבקשה הראשונה להצגת מודעה בדף ועד שהדף נסרק בפועל. בנוסף, הסורק יכול להגדיל את העומס על השרתים שלכם.	יש באתר כתובות URL שהוספתם להן פרמטרים או נתיבי כתובות URL שנוצרים באופן דינמי?	באופן כללי, אם התוכן בדף לא משתנה, מומלץ להסיר את הפרמטרים מכתובת ה-URL ולהשתמש בשיטה אחרת לאחסון המידע. מבנה פשוט יותר של כתובות URL מקל על סריקת האתר.
אתם משתמשים בנתוני POST. אם האתר שלכם שולח נתוני POST ביחד עם כתובות URL (לדוגמה, העברת נתוני טופס דרך בקשת POST), יכול להיות שהאתר דוחה בקשות שלא מלוות בנתוני POST. לתשומת ליבכם, מאחר שסורק המודעות לא מספק נתוני POST כלשהם, ההגדרה הזו עלולה למנוע מהסורק לגשת לדף שלכם.	האם האתר שלכם שולח נתוני POST יחד עם כתובות URL?	אם תוכן הדף נקבע לפי הנתונים שהמשתמש מזין בטופס, מומלץ להשתמש בבקשת GET.

בעיות אירוח

סיבה אפשרית	מה צריך לבדוק	איך לפתור את הבעיה
יש בעיה בשרת השמות של האתר שלכם.	שרת השמות מוגדר נכון? האם יש הגבלות לגבי המקורות האפשריים של הבקשות?	ודאו ששרת השמות של הדומיין או תת הדומיין מפנה את סורק המודעות אל התוכן שלכם בצורה תקינה.
יש בעיה בשרת של האתר שלכם. לפעמים, כשסורק המודעות מנסה לגשת לתוכן באתר, השרת של האתר לא מצליח להגיב בזמן. זה יכול לקרות כשהשרת מושבת, איטי או שיש עליו עומס יתר בגלל בקשות.	השרת של האתר פעיל?	מומלץ לבדוק את האמינות של השרת או ספק השירות שמארחים את האתר.