ไม่สามารถเข้าถึง robots.txt

ก่อนที่จะรวบรวมข้อมูลหน้าในเว็บไซต์ของคุณ เราได้พยายามตรวจสอบไฟล์ robots.txt เพื่อให้มั่นใจว่าไม่ได้รวบรวมข้อมูลหน้าเว็บที่คุณป้องกันโดยใช้ไฟล์ robots.txt แต่เซิร์ฟเวอร์ของคุณแสดงข้อผิดพลาด 5xx (ไม่สามารถเข้าถึงได้) เมื่อเราพยายามเรียกไฟล์ robots.txt เราจึงเลื่อนการรวบรวมข้อมูลออกไปก่อนเพื่อเป็นการป้องกันไม่ให้เรารวบรวมข้อมูลหน้าเว็บที่ระบุไว้ในไฟล์ดังกล่าว

ผู้ให้บริการโฮสติ้งของคุณอาจบล็อก Googlebot หรืออาจมีปัญหาเกิดขึ้นกับการกำหนดค่าไฟร์วอลล์ของผู้ให้บริการโฮสติ้ง

หมายเหตุ: หากเนื้อหาของไฟล์ robots.txt ในเบราว์เซอร์ต่างจากที่ Google เห็น ให้ทํางานร่วมกับบริษัทโฮสติ้งเพื่อหยุดใช้กฎของเซิร์ฟเวอร์ซึ่งอาจแสดงเนื้อหา robots.txt แตกต่างกันสำหรับ User Agent แต่ละอย่าง