О файле robots.txt

Как отправить измененный файл robots.txt в Google

Кнопка Проверить в Инструменте проверки файла robots.txt позволяет ускорить сканирование и индексирование нового файла robots.txt. Чтобы передать его в Google, выполните следующие действия:

1. Нажмите Проверить в правом нижнем углу редактора файла robots.txt. Откроется диалоговое окно передачи.

2. Чтобы загрузить измененный код файла robots.txt из Инструмента проверки файла robots.txt, нажмите Загрузить.

3. Добавьте новый файл robots.txt в корневой каталог домена (файл должен иметь следующий URL: /robots.txt).

Если вы не можете загружать файлы в корневой каталог домена, потому что у вас нет на это прав, обратитесь к администратору домена.

Например, если главная страница вашего сайта расположена по адресу subdomain.example.com/site/example/, возможно, вы не сможете обновить файл subdomain.example.com/robots.txt. В этом случае свяжитесь с владельцем домена example.com/ и попросите внести изменения в файл robots.txt.

4. Нажмите кнопку Проверить. Вы узнаете, используется ли та версия robots.txt, которую нужно сканировать.

5. Нажмите Отправить в Google. Система узнает, что файл robots.txt изменен и его нужно сканировать.

6. Убедитесь, что сканирование нового файла выполнено успешно, обновив страницу "Инструмент проверки файла robots.txt". Окно редактирования будет обновлено, и вы увидите код используемого файла robots.txt. В раскрывающемся меню над текстовым редактором можно узнать, когда робот Google впервые обнаружил последнюю версию файла robots.txt.

ДАЛЕЕ: БЛОКИРОВКА URL ПРИ ПОМОЩИ ЗАЩИТЫ КАТАЛОГОВ СЕРВЕРА ПАРОЛЕМ

Эта информация оказалась полезной?
Как можно улучшить эту статью?