เพิ่มรายได้จากเนื้อหาด้วยเว็บไซต์ที่ Crawl ได้อย่างสมบูรณ์ เพื่อปรับให้เว็บไซต์เหมาะสำหรับการ Crawl มากที่สุด ให้พิจารณาปัญหาทั้งหมดต่อไปนี้ซึ่งอาจส่งผลต่อความสามารถในการ Crawl ในเว็บไซต์ของคุณ
ให้การอนุญาต Crawler ของ Google ใน robots.txt
โปรดให้สิทธิ์เข้าถึงแก่ Crawler ของ Google เพื่อให้เรา Crawl เว็บไซต์ของคุณได้
หากคุณแก้ไขไฟล์ robots.txt ของเว็บไซต์เพื่อห้ามไม่ให้ Crawler ของ Ad Manager จัดทำดัชนีหน้าเว็บ เราจะแสดงโฆษณา Google ในหน้าเว็บเหล่านี้ไม่ได้ อัปเดตไฟล์ robots.txt เพื่อให้สิทธิ์เข้าถึงหน้าเว็บแก่ Crawler
นำข้อความ 2 บรรทัดต่อไปนี้ออกจากไฟล์ robots.txt
User-agent: Mediapartners-Google
Disallow: /การเปลี่ยนแปลงนี้จะอนุญาตให้ Crawler จัดทำดัชนีเนื้อหาในเว็บไซต์และแสดงโฆษณา Google
การเปลี่ยนแปลงใดๆ ที่ทำกับไฟล์ robots.txt อาจไม่แสดงในดัชนีจนกว่า Crawler จะพยายามเข้าชมเว็บไซต์อีกครั้ง
การให้สิทธิ์เข้าถึงเนื้อหาที่ต้องเข้าสู่ระบบก่อน
หากคุณมีเนื้อหาที่ต้องเข้าสู่ระบบก่อน ให้ตรวจสอบว่าตั้งค่าการเข้าสู่ระบบของ Crawler แล้ว
หากยังไม่ได้ให้ข้อมูลสำหรับเข้าสู่ระบบแก่ Crawler ระบบอาจเปลี่ยนเส้นทาง Crawler ไปยังหน้าการเข้าสู่ระบบซึ่งอาจทำให้เกิดการละเมิดนโยบาย "ไม่มีเนื้อหา" นอกจากนี้ Crawler อาจได้รับข้อผิดพลาด 401 (ไม่ได้รับอนุญาต) หรือ 407 (ต้องมีการตรวจสอบสิทธิ์ในการใช้พร็อกซี) ซึ่งทำให้ Crawl เนื้อหาไม่ได้
ข้อผิดพลาด "ไม่พบหน้าเว็บ"
หาก URL ที่ส่งไปยัง Google ชี้ไปยังหน้าเว็บที่ไม่มีอยู่ในเว็บไซต์ (หรือเคยมีแต่ตอนนี้ไม่มีแล้ว) หรือทำให้เกิดข้อผิดพลาด 404 ("ไม่พบหน้าเว็บ") Crawler ของ Google จะ Crawl เนื้อหาใดไม่ได้เลย
การลบล้าง URL
หากคุณลบล้าง URL ของหน้าในแท็กโฆษณา Crawler ของ Google อาจเรียกเนื้อหาของหน้าที่ขอโฆษณาไม่ได้ โดยเฉพาะอย่างยิ่งหาก URL ของหน้าที่ถูกเขียนทับนั้นผิดรูปแบบ
โดยทั่วไปแล้ว URL ของหน้าที่ส่งให้ Google ในคำขอโฆษณาควรตรงกับ URL จริงของหน้าที่ใช้สร้างรายได้อยู่ เพื่อให้ Google ดำเนินการกับข้อมูลตามบริบทที่ถูกต้อง
ปัญหาเกี่ยวกับ Nameserver
หาก Nameserver ของโดเมนหรือโดเมนย่อยนำ Crawler ไปยังเนื้อหาได้ไม่ถูกต้องหรือมีข้อจำกัดเรื่องที่มาของคำขอ Crawler ก็อาจไม่พบเนื้อหาของคุณ
การเปลี่ยนเส้นทางที่มีปัญหาหรือซ้ำกัน
หากเว็บไซต์มีการเปลี่ยนเส้นทาง Crawler อาจมีปัญหาในการไปตามการเปลี่ยนเส้นทางเหล่านั้น เช่น หากมีการเปลี่ยนเส้นทางจำนวนมาก การเปลี่ยนเส้นทางช่วงกลางล้มเหลว หรือมีการละเว้นพารามิเตอร์ที่สำคัญอย่างเช่นคุกกี้ระหว่างที่เปลี่ยนเส้นทาง ก็อาจลดคุณภาพของการ Crawl ได้
ลองใช้การเปลี่ยนเส้นทางในหน้าเว็บที่มีโค้ดโฆษณาให้น้อยที่สุดและตรวจสอบว่าใช้การเปลี่ยนเส้นทางอย่างถูกต้อง
ปัญหาเกี่ยวกับเว็บไฮสต์
บางครั้งเมื่อ Crawler ของ Google พยายามเข้าถึงเนื้อหาเว็บไซต์ เซิร์ฟเวอร์ของเว็บไซต์ไม่สามารถตอบสนองได้ทันเวลา ปัญหานี้อาจเกิดจากเซิร์ฟเวอร์ขัดข้อง ทำงานช้า หรือได้รับคำขอมากเกินไป
เราขอแนะนำให้ตรวจสอบว่าเว็บไซต์โฮสต์อยู่ในเซิร์ฟเวอร์ที่มีประสิทธิภาพหรือผู้ให้บริการที่น่าเชื่อถือ
ข้อจำกัดทางภูมิศาสตร์ เครือข่าย หรือ IP
บางเว็บไซต์อาจจำกัดพื้นที่ทางภูมิศาสตร์หรือช่วง IP ที่จะเข้าถึงเนื้อหาของตนได้ หรือมีเนื้อหาอยู่ในเครือข่ายหรือช่วง IP ที่ถูกจำกัด (เช่น 127.0.0.1)
หากข้อจำกัดเหล่านี้ทำให้ Crawler ของ Google เข้าถึงหน้าเว็บทั้งหมดไม่ได้ โปรดลองนำข้อจำกัดออกหรือกำหนดเนื้อหาให้เข้าถึงได้แบบสาธารณะเพื่ออนุญาตให้ Crawl กับ URL ได้
เนื้อหาที่เผยแพร่ใหม่
เมื่อเผยแพร่หน้าเว็บใหม่ คุณสามารถสร้างคำขอโฆษณาก่อนที่ Crawler ของ Google จะมีโอกาสได้ Crawl เนื้อหานั้น เช่น เว็บไซต์ที่โพสต์เนื้อหาใหม่จำนวนมากรวมถึงเว็บไซต์ข่าว เว็บไซต์ที่มีเนื้อหาที่ผู้ใช้สร้างขึ้น เว็บไซต์ที่มีสินค้าคงคลังของผลิตภัณฑ์จำนวนมาก เว็บไซต์สภาพอากาศ และอื่นๆ
ปกติแล้ว หลังจากที่มีการสร้างคำขอโฆษณาใน URL ใหม่ เนื้อหาจะได้รับการ Crawl ภายในเวลาไม่นาน อย่างไรก็ตาม เนื้อหาจะยังไม่ได้รับการ Crawl ในช่วง 2-3 นาทีแรก คุณจึงอาจเห็นว่ามีโฆษณาจำนวนน้อย
หน้าเว็บที่ปรับเปลี่ยนในแบบของคุณ โดยใช้พารามิเตอร์ของ URL หรือเส้นทาง URL ที่สร้างขึ้นแบบไดนามิก
บางเว็บไซต์มีพารามิเตอร์เพิ่มเติมใน URL ซึ่งระบุผู้ใช้ที่ลงชื่อเข้าสู่ระบบ (เช่น SessionID) หรือข้อมูลอื่นๆ ที่อาจไม่ซ้ำกันในการเข้าชมแต่ละครั้ง ในกรณีเช่นนี้ Crawler ของ Google อาจถือว่า URL นั้นเป็นหน้าเว็บใหม่แม้ว่าเนื้อหาจะเหมือนกันก็ตาม ซึ่งอาจส่งผลให้เกิดเวลาหน่วง 2-3 นาทีระหว่างตอนที่ส่งคำขอโฆษณาแรกในหน้าเว็บดังกล่าวกับตอนที่หน้าเว็บนั้นได้รับการ Crawl รวมทั้งทำให้ Crawler ทำงานหนักขึ้นในเซิร์ฟเวอร์ของคุณ
หากเนื้อหาในหน้าเว็บไม่เปลี่ยนแปลง ขอแนะนำให้นำพารามิเตอร์ออกจาก URL และส่งข้อมูลนั้นไปยังเว็บเซิร์ฟเวอร์ด้วยวิธีอื่น
โครงสร้าง URL ที่ไม่ซับซ้อนจะช่วยให้ Crawl เว็บไซต์ได้ง่าย
ข้อมูล POST
หากเว็บไซต์ส่งข้อมูล POST พร้อมกับ URL (เช่น ส่งข้อมูลในแบบฟอร์มผ่านคำขอ POST) ก็เป็นไปได้ว่าเว็บไซต์จะปฏิเสธคำขอที่ไม่ได้มาพร้อมข้อมูล POST โปรดทราบว่าเนื่องจาก Crawler ของ Google ไม่ให้ข้อมูล POST การตั้งค่าเช่นนี้จึงจะทำให้โปรแกรมเข้าถึงหน้าเว็บของคุณไม่ได้
หากเนื้อหาของหน้ากำหนดโดยข้อมูลที่ผู้ใช้ป้อนในแบบฟอร์ม ให้พิจารณาใช้คำขอ GET แทน
