Возможно, эта информация уже неактуальна. Воспользуйтесь поиском или ознакомьтесь с недавно заданными вопросами.
Проиндексировано, несмотря на блокировку в файле robots.txt Рекомендованных ответов: 2 Ответов: 14 Пометок "Я тоже": 4
Здравствуйте. Есть страницы в search console - Проиндексировано, несмотря на блокировку в файле robots.txt .
Всего 78 страниц , и все они это лимиты или сортировка товара. Пример такой страницы:
Не понимаю почему так происходит. Ведь на самой странице указано что индексировать нельзя.
<meta name="robots" content="noindex, follow" />. Также соответсвенно страницы сортировки и лимита закрыты в файле robots.txt
Подскажите пожалуйста как исправить, и насколько такая проблема пагубно отражается на самом сайте?
Спасибо
Подробности
Рекомендованный ответ Рекомендованные ответы (2)
Рекомендованный ответ
Добрый день!
Из-за того что у вас страница закрыта в robots.txt, бот не может ее просканировать и увидеть noindex. Уберите данные запреты
Disallow: /*?sort=
Disallow: /*&sort=
И сами увидите как страницы быстро уйдут из индекса
Если хотите ускорить данный процесс, сформируйте отдельную карту сайта (xml) и отправьте её на переобход в Search Console.
рекомендовал это
отметил(а) сообщение как ответ
Полезно?
Рекомендованный ответ
Файл robots.txt разрешает или запрещает сканировать.
Строчка <meta name="robots" content="noindex" />
Строчка <meta name="robots" content="noindex" />
или
<meta name="robots" content="none" />
Запрещают индексировать.
Почувствуйте разницу.
Илья правильно говорит, пока не разрешите сканировать, бот не узнает, что Вы запретили индексировать.
<meta name="robots" content="none" />
Запрещают индексировать.
Почувствуйте разницу.
Илья правильно говорит, пока не разрешите сканировать, бот не узнает, что Вы запретили индексировать.
___________________________________________
Продвижение (СЕО) и аудиты сайтов.
Настройка контекстной рекламы.
Тут https://kwork.ru/user/serg1764
Продвижение (СЕО) и аудиты сайтов.
Настройка контекстной рекламы.
Тут https://kwork.ru/user/serg1764
рекомендовал это
отметил(а) сообщение как ответ
Полезно?
Все ответы (14)
Рекомендованный ответ
Добрый день!
Из-за того что у вас страница закрыта в robots.txt, бот не может ее просканировать и увидеть noindex. Уберите данные запреты
Disallow: /*?sort=
Disallow: /*&sort=
И сами увидите как страницы быстро уйдут из индекса
Если хотите ускорить данный процесс, сформируйте отдельную карту сайта (xml) и отправьте её на переобход в Search Console.
рекомендовал это
отметил(а) сообщение как ответ
Полезно?
Рекомендованный ответ
Файл robots.txt разрешает или запрещает сканировать.
Строчка <meta name="robots" content="noindex" />
Строчка <meta name="robots" content="noindex" />
или
<meta name="robots" content="none" />
Запрещают индексировать.
Почувствуйте разницу.
Илья правильно говорит, пока не разрешите сканировать, бот не узнает, что Вы запретили индексировать.
<meta name="robots" content="none" />
Запрещают индексировать.
Почувствуйте разницу.
Илья правильно говорит, пока не разрешите сканировать, бот не узнает, что Вы запретили индексировать.
___________________________________________
Продвижение (СЕО) и аудиты сайтов.
Настройка контекстной рекламы.
Тут https://kwork.ru/user/serg1764
Продвижение (СЕО) и аудиты сайтов.
Настройка контекстной рекламы.
Тут https://kwork.ru/user/serg1764
рекомендовал это
отметил(а) сообщение как ответ
Полезно?
Рекомендованный ответ
Странно получаеться. Сканировать - не просканировал, но проиндексировал )
Возможна ли индексация страницы без сканирования? )
рекомендовал это
отметил(а) сообщение как ответ
Полезно?
Рекомендованный ответ
Конечно не возможна.
Но!
Но!
1) На эти страницы могут быть внешние ссылки и тогда добавляется в индекс с пометкой закрыто в robots.txt
2) И Второй вариант у Вас раньше было разрешено сканирование этой страницы. Она попала в индекс и после этого Вы запретили сканировать.
___________________________________________
Продвижение (СЕО) и аудиты сайтов.
Настройка контекстной рекламы.
Тут https://kwork.ru/user/serg1764
Продвижение (СЕО) и аудиты сайтов.
Настройка контекстной рекламы.
Тут https://kwork.ru/user/serg1764
рекомендовал это
отметил(а) сообщение как ответ
Полезно?
Рекомендованный ответ
странно, все эти годы видел, а теперь стал не видеть :(
Значит у Гугла что-то изменилось в этом плане
Тогда будем в роботсе снимать запрет и наблюдать
Спасибо всем
рекомендовал это
отметил(а) сообщение как ответ
Полезно?
Вопрос заблокирован. Ответить на него невозможно.
Ссылка на запись
Удалить запись?
Ваш ответ будет удален из раздела "Ответы".
Уведомления отключены
Сейчас уведомления отключены и вы не получаете электронные письма о новых записях. Чтобы включить их, откройте свой профиль и перейдите в настройки уведомлений.
Ответ больше недоступен.
Значки
Некоторые участники могут получать значки, которые отражают, в каком качестве и насколько активно они участвуют в жизни сообщества.
