Trước khi thu thập dữ liệu các trang trên trang web của bạn, chúng tôi đã cố gắng kiểm tra tệp robots.txt để đảm bảo chúng tôi không thu thập trang nào đã bị bạn loại trừ trong tệp này. Tuy nhiên, máy chủ của bạn trả về lỗi 5xx (không truy cập được) khi chúng tôi cố gắng truy xuất tệp robots.txt của bạn. Để đảm bảo chúng tôi không thu thập dữ liệu trên trang nào được nêu trong tệp đó, chúng tôi đã tạm ngừng quá trình thu thập dữ liệu.
Nhà cung cấp dịch vụ lưu trữ của bạn có thể đang chặn Googlebot hoặc có thể đang có sự cố với cấu hình tường lửa của họ.
Lưu ý: Nếu nội dung của tệp robots.txt trong trình duyệt của bạn khác với những gì Google thấy được, hãy làm việc với công ty lưu trữ của bạn để xóa mọi quy tắc máy chủ có thể đưa ra nội dung khác nhau trong tệp robots.txt tuỳ theo tác nhân người dùng.