Видеовстреча: приёмный час сотрудников команды качества поиска - 10 июля, 19:00 по московскому времени

10 июля прошла встреча с вебмастерами. Я задал 2 вопроса, но из-за ограничения на длину вопроса в 250 знаков – пришлось сильно сокращать вопросы и как следовало ожидать ответы вышли «не совсем про то». С вашего позволения продублирую, немного уточнив.

Вопрос №1: как получить список всех страниц, которые находятся в индексе Google? В GWT в разделе «Статус индексирования» пишет, что в индексе 331 стр.

В выдаче по «site:mydomain.ru» на первой странице результатов поиска пишет, что «Результатов: примерно 268», если перейти на последнюю страницу, то пишет, что «Результатов: 117». Если нажать на «Показать скрытые результаты» (тот самый GET параметр &filter=0, которого по вашим словам нет) получаем, что «Результатов: 118».

Если собрать все страницы на сайт и проверить их через запросы вида info:mydomain.ru/page1.html, то получаем, что в индексе 290 страниц.

Как получить список всех остальных страниц в индексе Google? По поводу вашего ответа на встрече – мне не суть, почему та, или иная страница не ищется по запросу «info:mydomain.ru/page1.html», я просто хочу узнать, какие именно страницы находятся в индексе. Как это можно сделать?

Вопрос №2: Официально Google заявлял, что Supplemental index был отменен в 2007 г. Однако определенный хинт, который якобы показывает страницы в основном и дополнительном индексе Google. В качестве примера запрос «site:бакалова.рф», Google сообщает, что найдено 28 результатов. По запросу «site:бакалова.рф/&» мы получаем только 18 результатов. По второму запросу в выдаче например нет страниц: http://xn--80aaabh0ciy.xn--p1ai/cvadebnyj-makiyazh-dlya-mariny/ и http://xn--80aaabh0ciy.xn--p1ai/sotrudnichestvo-so-studiej-vualya/ ну и ряда других страниц. Что показывает «оператор &»? Почему разнятся результаты? 

Как получить список всех остальных страниц в индексе Google? По поводу вашего ответа на встрече – мне не суть, почему та, или иная страница не ищется по запросу «info:mydomain.ru/page1.html», я просто хочу узнать, какие именно страницы находятся в индексе. Как это можно сделать?

 Что показывает «оператор &»? Почему разнятся результаты? 

Однако, задам встречный вопрос, если Вам не интересно, почему та или иная страница не в индексе, то зачем Вам эта информация?

И возникают вопросы - может это дорвей, или что еще хуже - служебная информация, которая не должна быть доступна в поиске.

Планируете ли вы дать возможность вебмастерам получать список всех проиндесированных страниц, а не просто число, как сейчас?

Андрей, Вы уж простите за настойчивость, но можно по пунктам подвести итог беседы по общим вопросам? В частности:

1) Был ли действительно отменен Supplemental index был отменен в 2007?

2) Если Supplemental index действительно сейчас нет, то что из себя представляют «скрытые результаты»? Поясню. Когда ищешь что-то в Google часто появляется сообщение: «Мы скрыли некоторые результаты, которые очень похожи на уже представленные выше (ХХХ). Показать скрытые результаты.». Многие вебмастера считают, что эти самые скрытые результаты и есть тот самый «дополнительные индекс».

3) Чем грозит, когда страница находится в этих скрытых результатах? Плохо ли если у сайта много таких страниц? Может ли страница быть в скрытых результатах по одному запросу и в обычных по другому?

Частный вопрос про индексацию.

Вы несколько раз просили добавить конкретики, извольте. Специально взял небольшой сайт: бакалова.рф, чтобы было проще выполнить проверку.

Итак

1) На сайте уже несколько месяцев не добавлялся новый контент, так что задержки с индексацией очевидно нет.

2) Согласно GWT всего проиндексировано 46 страниц, это число не менялось с 04.05.2014.

3) При помощи нескольких парсеров я собрал все страницы сайта и удалил дубли. Был учтен момент, что в поиске Google могут отображаться страницы закрытые в robots.txt, поэтому при сборе страниц запреты игнорировались. В результате было получено 77 страниц с кодом ответа сервера 200ОК. Проверив их при помощи запроса info я получил, что в индексе находится 43 страницы, хотя GWT сообщает о 46 + заодно пробил через оператор «site:». Вот тут выгрузка: yadi.sk/i/ja1b5do6Z8iky

Андрей, можете мне показать оставшиеся 3 страницы?

В заключении пожелание, чтобы вы всё же добавили отображение страниц в индексе, т.к. от простого числа толку нет. Если проблема с мощностями, можно отображать допустим первые 10 000 страниц, или если совсем беда, то первые 1000. Польза я думаю очевидна.