Инструмент удаления URL позволяет владельцу сайта временно исключить некоторые страницы из результатов поиска Google, а также посмотреть, кто из владельцев и других пользователей ресурса запрашивал удаление и на какие страницы сайта жаловались из-за контента для взрослых.
Если вам нужно скрыть в Google Поиске материалы с сайта, который вам не принадлежит, прочитайте эту статью.
Учебный курс по Google Search Console: инструменты Search Console для удаления контента
Требования
Ниже описано, как скрыть тот или иной URL своего сайта в результатах поиска Google.
В каких случаях использовать инструмент удаления URL
- Вы хотите быстро заблокировать показ в Google Поиске какого-либо URL, относящегося к вашему ресурсу в Search Console. Это может быть URL веб-страницы или изображения. Если же вам нужно навсегда удалить URL из Google Поиска, понадобится выполнить дополнительные действия.
- Вы удалили со страницы неуместную или конфиденциальную информацию и хотите, чтобы изменения были отражены в результатах поиска Google.
В каких случаях не следует использовать инструмент удаления URL
- Вы хотите заблокировать страницу сайта, который вам не принадлежит. Если это так:
- Если контента нет на текущей версии веб-страницы, вы можете запросить обновление устаревшего контента в Google Поиске.
- Если контент все ещё присутствует на веб-странице, ознакомьтесь с этой информацией.
- Вам нужно навсегда удалить свой URL из Google Поиска. Инструмент удаления URL – это лишь первый этап процедуры, которая позволит навсегда удалить URL. Не выполнив оставшиеся действия, вы не сможете навсегда удалить URL.
- Вы решили удалить какой-либо контент из интернета. Этот инструмент позволяет блокировать материалы только в Google Поиске.
- Вам нужно, чтобы ваш контент перестал показываться в других поисковых системах. Этот инструмент позволяет блокировать материалы только в Google Поиске.
- Вы хотите удалить из результатов поиска ставший ненужным контент, например старые страницы, вместо которых пользователи видят сообщение об ошибке 404. Если вы изменили структуру своего сайта и некоторые URL в индексе Google устарели, поисковые роботы обнаружат это и повторно просканируют их, а старые страницы постепенно будут исключены из результатов поиска. Не нужно запрашивать срочное удаление.
- Вы решили устранить ошибки сканирования в своем аккаунте Search Console. Инструмент удаления URL препятствует показу веб-адресов в результатах поиска Google, а не блокирует их в аккаунте Search Console. Вам не нужно вручную удалять URL. Со временем они будут исключены автоматически.
- Вы планируете "начать с чистого листа". Если вы беспокоитесь по поводу мер, принятых в отношении вашего сайта вручную, или недавно приобрели домен у другого лица и устранили оставшиеся после него проблемы, советуем запросить повторную проверку. Сообщите при этом, с какими проблемами вы столкнулись и что изменили на сайте.
- Вам нужно "отключить" сайт после взлома. Если ваш сайт был взломан и вы хотите исключить из Google Поиска проиндексированные страницы с вредоносным кодом, используйте инструмент удаления URL для блокировки веб-адресов, которые были созданы хакером, например http://www.example.com/buy-cheap-cialis-skq3w598.html. Однако мы не рекомендуем блокировать все страницы сайта или URL, которые нужно будет проиндексировать в будущем. Вместо этого удалите вредоносный код, а затем роботы Google повторно просканируют ваш сайт. Подробнее…
- Вам важно, чтобы индексировалась определенная версия сайта. На многих ресурсах одни и те же HTML-страницы и файлы можно найти по разным URL. Если вы не хотите, чтобы ваш контент повторялся в результатах поиска, прочитайте статью о рекомендуемых способах нормализации. Не используйте инструмент удаления URL, чтобы заблокировать нежелательные версии URL. Это не поможет сохранить предпочтительную версию страницы, а приведет к удалению всех версий URL (http/https, с префиксом www или без него).
Временная блокировка URL
Важные примечания
- Страницы блокируются на срок до шести месяцев. После этого они опять могут появляться в результатах поиска (узнайте, как удалять страницы навсегда).
- Блокировка URL не запрещает Google сканировать вашу страницу, а лишь препятствует ее показу в результатах поиска. Google продолжит сканировать страницу, если она существует и не заблокирована другим способом (например, с помощью тега noindex). Из-за этого не исключено, что Google в очередной раз просканирует страницу до того, как вы удалите ее с сайта или защитите паролем, и она снова появится в результатах поиска по истечении срока действия вашего запроса.
- Если вы воспользуетесь нашим инструментом, а страницу будет невозможно открыть (код статуса 404, 502 или 503), Google причислит ее к удаленным и ваш запрос на блокировку утратит силу. В этом случае любая страница, обнаруженная позже по тому же URL, будет считаться новой и свободно показываться в результатах поиска.
Как временно скрыть страницу или обновить ее вид в Google Поиске после изменения контента
- URL должен относиться к принадлежащему вам ресурсу Search Console. Если это не так, ознакомьтесь с первым пунктом раздела В каких случаях не следует использовать инструмент удаления URL.
- Откройте инструмент удаления URL.
- Перейдите на вкладку Временные удаления.
- Нажмите Создать запрос.
- Выберите Временное удаление URL или Удаление/Обновление фрагмента страницы в поиске.
-
Временное удаление URL
Принципы работы
Страница не появляется в результатах поиска примерно шесть месяцев. По истечении этого срока страница может опять появляться в Google Поиске, но только после того, как робот Googlebot вновь ее просканирует.
Также из результатов поиска Google будет удален фрагмент страницы.
Отправка запроса этого типа – первый шаг в процедуре, позволяющей исключить страницу из результатов поиска Google навсегда.
Вы можете заблокировать либо конкретный URL, либо все URL, начинающиеся с определенного префикса.
Блокировка одного URL
- Укажите полный URL, который нужно заблокировать. Введите верный URL.
- Выберите Удалить только этот URL.
Важные примечания
- В результатах поиска будет заблокирован только тот URL, который точно соответствует указанному вами, вплоть до расширения файла (например, .html) и его параметров.
- В URL не должно быть анкеров (название-страницы.html#анкер) – они не поддерживаются.
- Изучите примечания ниже.
Блокировка нескольких URL с одинаковым префиксом
- Выберите Удалить все URL с этим префиксом.
- Укажите префикс тех URL, которые нужно заблокировать. Будут скрыты все URL (с субдоменом www и без него), в начале которых присутствует этот префикс. Пример:
- Ресурс:
example.com
- Блокируемый путь:
https://example.com/foods/
- Будут скрыты следующие URL:
http://example.com/foods/pizza
https://www.example.com/foods/bread?type=whole_wheat
www.example.com/foods/pasta/spaghetti/bologonese.html
- Чтобы скрыть все страницы на сайте, укажите URL так:
https://example.com/
.
- Ресурс:
Изучите примечания ниже.
Примечания
- Google в период действия блокировки будет сканировать страницу и обновлять ее фрагмент, а по истечении установленного срока снова начнет показывать ее в результатах поиска (если только вы не сделаете контент недоступным окончательно).
- Варианты с префиксами http и https, а также с субдоменом www и без него означают одно и то же. Следовательно, если вы указали URL
example.com/stranitsa
, то действуют следующие условия:- https://example.com/stranitsa соответствует заданному варианту;
- http://example.com/stranitsa соответствует заданному варианту;
- https://www.example.com/stranitsa соответствует заданному варианту;
- http://www.example.com/stranitsa соответствует заданному варианту;
- субдомены m. и amp. (а также все прочие) делают URL неравнозначными, поэтому http://m.example.com/stranitsa не соответствует заданному варианту.
-
Удаление/Обновление фрагмента страницы в поиске
Принципы работы
Описание страницы удаляется из результатов поиска до следующего сканирования. Затем в Google появляется ее новое описание. Пока описания нет, вместо него показывается текст о том, что оно недоступно.
Запрос этого типа можно отправить, если вы удалили со страницы конфиденциальные данные и хотите обновить ее фрагмент в Google Поиске. Пока мы не просканируем страницу снова, она может по-прежнему появляться при поиске удаленного вами контента, однако сам удаленный контент не будет виден в ее фрагменте.
Примечания
- Вводите верный URL, который в точности соответствует искомому, вплоть до расширения файла (например, .html). Если вы укажете URL
path/stranitsa
, следующие URL не будут с ним совпадать:- path/Stranitsa, path/stranitsa?1234
- path/stranitsa.html
- URL с анкерами (название-страницы.html#анкер) не поддерживаются, поэтому в URL не должно быть анкеров.
- Вводите верный URL, который в точности соответствует искомому, вплоть до расширения файла (например, .html). Если вы укажете URL
-
- Нажмите Далее и подтвердите отправку запроса. На его обработку могут потребоваться сутки, и мы не гарантируем, что ответ будет положительным. Проверяйте статус запроса. Если вы увидите, что он отклонен, нажмите Подробнее и ознакомьтесь с информацией о причине.
- Отправьте дополнительные запросы, указав все URL, по которым может открываться та же страница, а также варианты URL с измененным регистром, если ваш сервер их поддерживает. В частности, на одну и ту же страницу могут указывать следующие URL:
example.com/stranitsa
example.com/Stranitsa
example.com/page?1234
- Если вы хотите удалить URL из результатов поиска окончательно, изучите разделы ниже.
Как найти верный URL
Далее описывается, как найти и отправить с помощью нашего инструмента правильный URL.
При отправке запроса необходимо указать в точности тот URL, который появляется в Google Поиске. К примеру, www.example.com/dragon и www.example.com/Dragon считаются двумя разными URL, хотя почти не отличаются друг от друга. Если вы введете URL неточно, то не добьетесь удаления нежелательных результатов поиска.
Чтобы указать URL правильно, выполните следующие действия:
- Откройте нужную страницу и скопируйте URL из адресной строки браузера.
- Анкеры (текст после символа #) копировать не нужно. Они не будут учитываться в запросе.
- Укажите только обязательные параметры. Пример верного URL:
https://example.com?item=1234
. Пример неверного URL:https://example.com/food?sort=ascending
. - Найдите все дополнительные URL страницы. Один и тот же контент может быть доступен по нескольким URL, например:
http://www.example.com/forum/thread/123 http://www.example.com/forum/post/456 http://www.example.com/forum/thread/123?post=456 http://www.example.com/forum/thread/123?post=456&sessionid=12837460
Даже если URL скрыт по вашему запросу из поиска Google, контент, который вы хотите удалить, может по-прежнему появляться в результатах поиска с другими URL. В этом случае нужно отправить несколько дополнительных запросов – по одному на каждый URL.
Чтобы правильно указать URL изображения, выполните следующие действия:
- Найдите изображение в Google Картинках, используя браузер Google Chrome.
- Нажмите на изображение правой кнопкой мыши и выберите Копировать адрес ссылки. Не нажимайте на изображение левой кнопкой мыши. Скопированный URL должен начинаться так: https://www.google.com/imgres?imgurl=https.
- Вставьте URL в текстовый файл, чтобы он был под рукой при отправке запроса на удаление.
- Найдите все дополнительные URL. Изображение иногда имеет разные URL даже на одном и том же сайте, а может находиться и на нескольких сайтах. Что нужно сделать:
- Нажмите на изображение в результатах поиска правой кнопкой мыши и выберите Найти картинку (Google).
- Нажмите Все размеры под строкой "Есть изображения других размеров".
- Также проверьте раздел "Страницы с подходящими изображениями" внизу страницы результатов поиска.
Как удалить контент из Google Поиска навсегда
Инструмент удаления URL позволяет скрыть вашу страницу лишь временно (примерно на шесть месяцев). Если вы хотите исключить контент из результатов поиска Google навсегда, примите дополнительные меры.
- Выполните одно из перечисленных ниже действий.
- Удалите или измените контент сайта (изображения, страницы, каталоги) и убедитесь, что ваш веб-сервер отправляет ответ с кодом статуса HTTP
404 (не найдено)
или410 (удалено)
. Файлы, формат которых отличается от HTML, например документы PDF, следует удалять с сервера полностью. Подробнее о кодах статусов HTTP… - Заблокируйте доступ к контенту, например установите пароль.
- Укажите, что страница не должна индексироваться, используя метатег noindex. Этот метод менее безопасен, чем остальные.
- Не используйте файл robots.txt, чтобы скрыть страницу из результатов Google Поиска.
- Удалите или измените контент сайта (изображения, страницы, каталоги) и убедитесь, что ваш веб-сервер отправляет ответ с кодом статуса HTTP
- Если перед окончательным удалением контента вы заблокировали страницу (шаг 1), снимите блокировку, а затем снова ее включите. Тогда страница будет исключена из индекса, если наш робот повторно сканировал ее после блокировки.
Как отменить запрос
Если вы хотите отозвать свой запрос на временную блокировку контента в результатах поиска Google, выполните следующие действия:
- Откройте инструмент удаления URL.
- Найдите свой запрос в таблице с историей.
- Нажмите кнопку меню рядом с запросом и выберите Отменить запрос.
Как посмотреть историю запросов на удаление контента
Вы можете посмотреть историю всех действующих и устаревших запросов относительно вашего сайта за последние шесть месяцев.
Запросы от пользователей без права собственности на сайт
Речь идет о запросах, которые были отправлены с помощью инструмента удаления устаревшего контента. Этот инструмент позволяет обычным пользователям запрашивать обновление результатов поиска Google, чтобы они не содержали информации, которой уже нет на каком-либо сайте, в частности на вашем. В случае одобрения запроса результаты поиска обновляются. Если искомая страница перестала существовать, она удаляется из индекса и больше не показывается. Если страница осталась, но с нее удалены определенные материалы, эти материалы перестают учитываться при поиске и появляться в результатах.
Список таких запросов за последние шесть месяцев приводится на вкладке Устаревший контент.
Как посмотреть этот список:
- Откройте инструмент удаления URL и перейдите на вкладку Устаревший контент. В таблице вы увидите информацию, описанную ниже.
- URL
- URL, который должен был быть заблокирован. В запрос включены варианты с префиксами http и https, а также с субдоменом www и без него.
- Тип
- Тип запроса. Возможные варианты:
- Удаление устаревшего фрагмента. Страница по-прежнему существует, но некоторые материалы были с нее удалены. После исполнения запроса фрагмент страницы исключается из результатов поиска до следующего сканирования. Страница перестает появляться в результатах при поиске удаленных материалов.
- Удаление устаревших страниц. Страница больше не существует. Исполнение запроса означает ее исключение как из индекса Google, так и из результатов поиска.
- Запрошено
- Дата подачи запроса (по тихоокеанскому времени).
- Статус
- Статус запроса на удаление устаревшего контента. Возможные варианты:
- Одобрено. Запрос одобрен, изменения скоро вступят в силу.
- Отклонено: контент все ещё находится на странице. Контент помечен автором запроса как удаленный, но по-прежнему находится на странице. Необходимо удалить его, чтобы в индексе Google появились актуальные данные.
- Отклонено: устаревший контент отсутствует в индексе. Контент помечен автором запроса как устаревший, но отсутствует в проиндексированной версии страницы. Возможно, этот контент был удален и робот Googlebot повторно просканировал страницу до того, как мы получили запрос. Возможно, пользователь ошибся в запросе и указал контент, которого никогда не было на этой странице.
- Отклонено: страница не проиндексирована. Указанный URL отсутствует в индексе Google.
- Отклонено: повторный запрос. Аналогичный запрос находится на рассмотрении.
- Отклонено: страница не удалена. Страница помечена автором запроса как удаленная, но по-прежнему существует.
- Отклонено: причина неизвестна. Запрос не удалось удовлетворить по причине, которая не относится к перечисленным выше.
Вы можете посмотреть список запросов на удаление, которые отправляли за последние шесть месяцев вы сами.
Как это сделать:
- Откройте инструмент удаления URL и перейдите на вкладку Временные удаления. В таблице вы увидите информацию, описанную ниже.
- URL
- URL, который должен был быть заблокирован. В запрос включены варианты с префиксами http и https, а также с субдоменом www и без него.
- Тип
- Тип запроса:
- Удаление/Обновление фрагмента страницы в поиске. Запрос на удаление фрагмента.
- Временное удаление URL. Запрос на временное удаление контента из результатов поиска.
- Статус
- Статус запроса:
- Запрос обрабатывается. Запрос ещё находится в обработке.
- Запрос отклонен. В рассмотрении отказано (скорее всего потому, что уже поступил похожий запрос). Ознакомьтесь с другими возможными причинами отказа.
- Запрос отменен. Вы отменили свой запрос.
- URL временно удален. Указанный вами URL сейчас скрыт из результатов поиска Google. Если вы не удалите его окончательно, он может снова появиться в Google примерно через шесть месяцев.
- Срок удаления истек. Запрос на удаление URL больше не действует, и страница может снова появиться в результатах поиска, если вы не отправите новый запрос.
- Данные удалены. Запрос на удаление фрагмента выполнен.
Как найти на своем сайте контент, который был помечен как предназначенный только для взрослых
Пользователи могут сообщать Google об URL с контентом только для взрослых при помощи этой формы. Отправленные URL проверяются, и, если мы решим, что данный контент должен фильтроваться средствами Безопасного поиска, эти страницы помечаются как контент для взрослых.
Чтобы найти на своем сайте контент, который помечен как предназначенный только для взрослых, выполните следующие действия:
- Откройте инструмент удаления URL.
- Перейдите на вкладку Фильтрация Безопасным поиском.
- Вы увидите таблицу с запросами пометить ваш контент как предназначенный для взрослых.
Варианты статуса для запросов с фильтрацией Безопасным поиском:
- Запрос обрабатывается. Обычно на обработку запроса требуется несколько дней, но она может занять и более долгий срок.
- Запрос отменен. Пользователь, который создал запрос, отменил его.
- Запрос отклонен по одной из возможных причин.
- Отфильтровано. Запрос был одобрен, и URL не показывается в результатах поиска Google у тех пользователей, которые включили Безопасный поиск.
Если с тех пор, как вы выполнили инструкции по оптимизации сайта для Безопасного поиска, прошло не менее 2–3 месяцев, но ваши страницы по-прежнему классифицируются некорректно, вы можете запросить проверку.
В чем разница между инструментом удаления URL и инструментом обновления устаревшего контента
В Search Console есть два инструмента для удаления и обновления материалов в результатах поиска:
- Инструмент удаления URL (ему посвящена эта статья). Используйте его, если нужно на время (180 дней) исключить из Google Поиска страницу или изображение, а также в случае, если уже удаленная с сайта страница или картинка продолжает появляться в результатах поиска. Работать с этим инструментом могут только владельцы ресурсов в Search Console.
- Инструмент обновления устаревшего контента. Используйте его, если страница или картинка была удалена из интернета или обновлена, а в Google Поиске по-прежнему показывается старый результат. Если мы одобрим запрос, удаленный контент исчезнет из Google Поиска, а измененный – будет обновлен в результатах. Для работы с этим инструментом не нужно быть владельцем сайта.