Индекс

Индексирование представляет собой процесс, во время которого робот Googlebot открывает ту или иную страницу и анализирует ее контент. В результате страница добавляется в индекс Google. Если такая страница соответствует рекомендациям из раздела Главное о Google Поиске, она может показываться в результатах поиска Google. Перед индексированием обычно выполняется сканирование. При этом поисковые роботы Google способны индексировать страницы, даже если не имеют доступа к их контенту (в частности, он может быть запрещен директивой robots.txt). Подробнее…