Поисковый робот Менеджера рекламы

Поисковый робот, также часто называемый "пауком" или просто роботом, представляет собой программу для анализа и индексирования контента на веб-страницах. Робот Менеджера рекламы анализирует сайты издателей и подбирает рекламу, которая соответствует содержанию страниц.

Ниже приведена основная информация о роботе Менеджера рекламы.

• Поисковый робот Менеджера рекламы не следует путать с поисковым роботом Google. Они работают отдельно, но используют общий кеш. Это позволяет избежать ситуаций, в которых оба робота запрашивают одни и те же страницы, и обеспечить высокую пропускную способность на сайте издателя. Также существует отдельный робот Search Console.
• Устранение проблем, с которыми сталкивается на вашем сайте робот Менеджера рекламы, не поможет устранить затруднения при сканировании, которые возникают у роботов Google. Даже когда робот Менеджера рекламы снова будет успешно обрабатывать ваши страницы, это не окажет влияния на позицию сайта в результатах обычного поиска Google. Подробнее о том, как добавить свой сайт в результаты поиска Google…
• Индексирование выполняется по URL. Робот обращается к URL site.com и www.site.com как к разным сайтам. При этом варианты site.com и site.com/#anchor не считаются разными страницами.
• Робот не сканирует страницы и каталоги, доступ к которым заблокирован для него в файле robots.txt. Роботы партнеров Google и Менеджера рекламы соблюдают правила, указанные в этом файле, и не сканируют страницы и каталоги, к которым он запрещает доступ.

  Строка User-agent: * не запрещает роботу Менеджера рекламы сканировать страницы с объявлениями. Чтобы запретить роботу Менеджера рекламы доступ к определенной странице, используйте в файле robots.txt строку User-agent: Mediapartners-Google.

  Подробнее о том, как управлять доступом для поисковых роботов с помощью файла robots.txt…

• Робот пытается получить доступ только к страницам с тегами объявлений Google. Обращаться к нашим системам и проходить сканирование должны только страницы, на которых показываются объявления Google.
• Робот пытается получить доступ к страницам, с которых осуществляется переадресация. Если на вашем сайте выполняется переадресация с исходных страниц на другие ресурсы, робот должен получить доступ к первоначальным страницам, чтобы определить наличие переадресации. В журналах доступа регистрируются посещения роботом исходных страниц.
• Повторное сканирование сайтов. В настоящее время мы не можем управлять частотой сканирования контента на вашем сайте. Оно выполняется автоматически. Для того чтобы изменения на странице были учтены в нашем индексе, может потребоваться до двух недель.