Kiểm tra tệp robots.txt bằng Trình kiểm tra robots.txt

Công cụ Trình kiểm tra robots.txt cho biết liệu tệp robots.txt của bạn có chặn trình thu thập dữ liệu web của Google khỏi một số URL cụ thể trên trang web của bạn hay không. Ví dụ, bạn có thể dùng công cụ này để kiểm tra xem trình thu thập dữ liệu Googlebot-Image có thể thu thập dữ liệu trên URL của một hình ảnh bạn muốn chặn khỏi kết quả của Google Hình ảnh hay không.

 

Mở Trình kiểm tra robots.txt

 

Bạn có thể gửi URL đến công cụ Trình kiểm tra robots.txt. Công cụ này hoạt động như khi Googlebot kiểm tra tệp robots.txt của bạn và xác minh việc URL của bạn đã được chặn đúng cách.

Kiểm tra tệp robots.txt của bạn

1. Mở công cụ kiểm tra cho trang web của bạn rồi đọc qua toàn bộ mã trong tệp robots.txt để xác định vị trí của những cảnh báo về cú pháp và lỗi logic được đánh dấu. Số lượng cảnh báo về cú pháp và lỗi logic sẽ hiển thị ngay lập tức bên dưới trình chỉnh sửa. 
2. Nhập URL của một trang trên trang web của bạn vào hộp văn bản ở cuối trang.
3. Chọn tác nhân người dùng mà bạn muốn mô phỏng trong danh sách thả xuống ở bên phải hộp văn bản.
4. Nhấp vào nút KIỂM TRA để kiểm tra quyền truy cập.
5. Kiểm tra xem nút KIỂM TRA giờ hiển thị ĐƯỢC CHẤP NHẬN hay BỊ CHẶN để tìm hiểu xem URL bạn nhập vào có bị chặn khỏi trình thu thập dữ liệu web của Google hay không.
6. Chỉnh sửa tệp trên trang và kiểm tra lại nếu cần thiết. Hãy lưu ý rằng những nội dung bạn chỉnh sửa trên trang này sẽ không được lưu vào trang web của bạn! Xem bước tiếp theo.
7. Sao chép nội dung chỉnh sửa của bạn vào tệp robots.txt trên trang web của bạn. Công cụ này không làm thay đổi tệp thực tế trên trang web của bạn, nó chỉ kiểm tra bản sao được lưu trữ trong công cụ.

Hạn chế của công cụ Trình kiểm tra robots.txt:

• Công cụ này chỉ dùng được cho các tài sản có tiền tố URL và không dùng được cho các Tài nguyên miền.
• Những thay đổi bạn thực hiện trong trình chỉnh sửa của công cụ này sẽ không tự động lưu vào máy chủ web của bạn. Bạn cần phải sao chép và dán nội dung từ trình chỉnh sửa vào tệp robots.txt được lưu trữ trên máy chủ của bạn.
• Công cụ Trình kiểm tra robots.txt chỉ kiểm tra tệp robots.txt của bạn đối với các tác nhân người dùng hay trình thu thập dữ liệu web của Google, chẳng hạn như Googlebot. Chúng tôi không thể dự đoán cách thức các trình thu thập dữ liệu web khác phân tích tệp robots.txt của bạn.