Giới thiệu về robots.txt

Kiểm tra robots.txt của bạn với Trình kiểm tra robots.txt

Công cụ Trình kiểm tra robots.txt cho biết tệp robots.txt của bạn có chặn trình thu thập dữ liệu web của Google từ các URL cụ thể trên trang web của bạn hay không. Ví dụ, bạn có thể sử dụng công cụ này để kiểm tra xem trình thu thập dữ liệu Googlebot-Image có thể thu thập dữ liệu URL của một hình ảnh bạn muốn chặn từ Google Tìm kiếm hình ảnh hay không.

 

Mở Trình kiểm tra robots.txt

 

Bạn có thể gửi URL đến công cụ Trình kiểm tra robots.txt. Công cụ này hoạt động như Googlebot để kiểm tra tệp robots.txt của bạn và xác minh rằng URL của bạn đã bị chặn đúng cách.

Kiểm tra tệp robots.txt của bạn

  1. Mở công cụ trình kiểm tra cho trang web của bạn và cuộn qua mã robots.txt để xác định vị trí các cảnh báo cú pháplỗi logic được đánh dấu. Số các cảnh báo cú pháp và lỗi logic được hiển thị ngay lập tức bên dưới trình chỉnh sửa. 
  2. Nhập URL của một trang trên trang web của bạn vào hộp văn bản ở cuối trang.
  3. Chọn tác nhân người dùng bạn muốn mô phỏng trong danh sách thả xuống ở bên phải hộp văn bản.
  4. Nhấp vào nút KIỂM TRA để kiểm tra quyền truy cập.
  5. Kiểm tra xem nút KIỂM TRA giờ hiển thị ĐƯỢC CHẤP NHẬN hay BỊ CHẶN để tìm hiểu xem URL bạn nhập vào có bị chặn khỏi trình thu thập dữ liệu web của Google hay không.
  6. Chỉnh sửa tệp trên trang và kiểm tra lại khi cần thiết. Lưu ý rằng những thay đổi được thực hiện trên trang sẽ không được lưu vào trang web của bạn! Xem bước tiếp theo.
  7. Sao chép các thay đổi của bạn vào tệp robots.txt trên trang web của bạn. Công cụ này không làm thay đổi tệp thực tế trên trang web của bạn, nó chỉ kiểm tra bản sao được lưu trữ trong công cụ.

Hạn chế của các công cụ Trình kiểm tra robots.txt:

  • Những thay đổi bạn thực hiện trong trình chỉnh sửa công cụ không được tự động lưu vào máy chủ web của bạn. Bạn cần phải sao chép và dán nội dung từ trình chỉnh sửa vào tệp robots.txt được lưu trữ trên máy chủ của bạn.
  • Công cụ Trình kiểm tra robots.txt chỉ kiểm tra robots.txt với tác nhân người dùng hay trình thu thập dữ liệu web của Google, như Googlebot. Chúng tôi không thể dự đoán cách các trình thu thập dữ liệu web khác phân tích tệp robots.txt của bạn.
Thông tin này có hữu ích không?
Chúng tôi có thể cải thiện trang này bằng cách nào?