Google จะทำการ Crawl จากหน้าผลิตภัณฑ์และรูปภาพในอุปกรณ์เคลื่อนที่และเดสก์ท็อปเป็นประจําเพื่อตรวจสอบปัญหาด้านคุณภาพ หากทำการ Crawl เหล่านี้ไม่ได้ เราก็จะไม่สามารถแสดงผลิตภัณฑ์ในโฆษณา Shopping
นอกจากนี้ หากเราตรวจพบข้อผิดพลาดในการ Crawl ขณะดึงข้อมูลจากหน้า Landing Page ของผลิตภัณฑ์ในอุปกรณ์เคลื่อนที่หรือเดสก์ท็อป Google จะไม่อนุมัติผลิตภัณฑ์นั้นทั้งในอุปกรณ์เคลื่อนที่และเดสก์ท็อป จนกว่าจะสามารถเข้าถึงหน้า Landing Page ดังกล่าวได้สำเร็จ
สาเหตุทั่วไปของปัญหาเกี่ยวกับการ Crawl ผลิตภัณฑ์มีดังนี้
- ข้อผิดพลาด "ไม่พบหน้าเว็บ (404)": คุณระบุ URL ที่ไม่ถูกต้อง (เช่น มีข้อผิดพลาดใน URL) ทำให้หน้าเว็บนี้แสดงข้อผิดพลาด "ไม่พบหน้าเว็บ (404)" โปรดตรวจสอบว่า URL ถูกต้องและเว็บไซต์ดังกล่าวพร้อมใช้งาน
- robots.txt ของเซิร์ฟเวอร์ไม่อนุญาตให้เข้าถึง: คุณได้เพิ่มไฟล์ "robots.txt" ลงในเซิร์ฟเวอร์และห้ามไม่ให้มีการเข้าถึงเพื่อทำการ Crawl เราไม่สามารถทำการ Crawl จากหน้าเว็บที่มีไฟล์และข้อห้ามประเภทนี้ โปรดแก้ปัญหานี้โดยกําหนดค่าไฟล์ "robots.txt" เพื่ออนุญาตให้เราทำการ Crawl
- URL ไม่ถูกต้อง: URL มีอักขระที่ไม่ถูกต้องหรือมีรูปแบบของลิงก์ที่ไม่ถูกต้อง
โปรดทราบว่าเมื่อคุณแก้ไขปัญหาแล้ว อาจใช้เวลาถึง 48 ชั่วโมงเพื่อให้ผลิตภัณฑ์แสดงในโฆษณา Shopping อีกครั้ง
นอกจากนี้ยังมีปัญหาอื่นๆ ที่อาจทําให้ Google ทำการ Crawl จากหน้าเว็บไม่ได้
ปัญหาที่พบบ่อยอื่นๆ
- หน้าเว็บต้องมีการตรวจสอบสิทธิ์: URL ที่ระบุได้รับการปกป้องด้วยโปรโตคอลการตรวจสอบสิทธิ์บางประเภทที่ป้องกันไม่ให้ Google เข้าถึงเนื้อหา
- การตอบกลับของ HTTP 4xx และการตอบกลับของ HTTP 5xx: เซิร์ฟเวอร์ที่โฮสต์เว็บไซต์แสดงข้อผิดพลาดของ HTTP ทำให้เราเข้าถึงเนื้อหาไม่ได้
- แก้ไขชื่อโฮสต์ไม่ได้: เราแก้ไขชื่อโฮสต์ของเซิร์ฟเวอร์เป็นที่อยู่ IP และเข้าถึงหน้าเว็บนั้นไม่ได้
- การตอบกลับ HTTP มีรูปแบบไม่ถูกต้อง: ระบบไม่สามารถอ่านการตอบกลับจากเซิร์ฟเวอร์ของคุณได้
- IP ส่วนตัว: เว็บไซต์ได้รับการปกป้องด้วยไฟร์วอลล์หรือเราเตอร์ ทำให้เราเข้าถึงเว็บไซต์ไม่ได้
- ข้อผิดพลาดเกี่ยวกับเครือข่าย: เกิดข้อผิดพลาดบางอย่างขึ้นในเครือข่าย
- หมดเวลาในการอ่านหน้าเว็บ: เซิร์ฟเวอร์ใช้เวลาในการแสดงผลหน้าเว็บนานเกินไป และเราได้ยกเลิกการ Crawl ของผลิตภัณฑ์นั้น
- เซิร์ฟเวอร์เปลี่ยนเส้นทางบ่อยเกินไป: เซิร์ฟเวอร์เปลี่ยนเส้นทางการ Crawl หลายครั้ง ทำให้ต้องยกเลิกการดำเนินการ
- URL เปลี่ยนเส้นทางยาวเกินไป, URL เปลี่ยนเส้นทางว่างเปล่า หรือมี URL เปลี่ยนเส้นทางที่ไม่ดี: URL เปลี่ยนเส้นทางที่เซิร์ฟเวอร์ของคุณแสดงผลนั้นไม่ถูกต้อง ทำให้เราไม่สามารถเปลี่ยนเส้นทางตาม URL ได้
- เข้าถึง robots.txt ของเซิร์ฟเวอร์ไม่ได้และหมดเวลาในการอ่าน robots.txt: เราอ่านไฟล์ robots.txt ไม่ได้ ทำให้ไม่สามารถทำการ Crawl จากหน้าเว็บ ดูข้อมูลเพิ่มเติมเกี่ยวกับโปรโตคอลการยกเว้นสำหรับโรบ็อตได้ที่นี่