Поисковый робот Менеджера рекламы

Поисковый робот, также часто называемый "пауком" или просто роботом, представляет собой программу для анализа и индексирования контента на веб-страницах. Робот Менеджера рекламы анализирует сайты издателей и подбирает рекламу, которая соответствует содержанию страниц.

Ниже приведена основная информация о роботе Менеджера рекламы.

• Поисковый робот Менеджера рекламы не следует путать с поисковым роботом Google. Они работают отдельно, но используют общий кеш. Это позволяет избежать ситуаций, когда оба робота запрашивают одни и те же страницы, и обеспечить высокую пропускную способность на сайте издателя. Робот Search Console также работает самостоятельно.
• Устранение проблем, с которыми сталкивается на вашем сайте робот Менеджера рекламы, не поможет устранить затруднения при сканировании, которые испытывают роботы Google. Даже когда робот Менеджера рекламы снова будет успешно обрабатывать ваши страницы, это не окажет влияния на позицию сайта в результатах обычного поиска Google. Подробнее о том, как добавить свой сайт в результаты поиска Google…
• Индексирование выполняется по URL. Робот обращается к URL site.com и www.site.com по отдельности. При этом варианты site.com и site.com/#anchor не считаются разными страницами.
• Робот не сканирует страницы и каталоги, доступ к которым заблокирован для него в настройках файла robots.txt. Роботы партнеров Google и Менеджера рекламы соблюдают правила, указанные в этом файле, и не сканируют страницы и каталоги, к которым он запрещает доступ.

  Строка User-agent: * не запрещает роботу Менеджера рекламы сканировать страницы с объявлениями. Чтобы запретить роботу Менеджера рекламы доступ к определенной странице, используйте в файле robots.txt строку User-agent: Mediapartners-Google.

  Подробнее о том, как управлять доступом для поисковых роботов с помощью файла robots.txt…

• Робот пытается получить доступ только к страницам с тегами объявлений Google. Обращаться к нашим системам и проходить сканирование должны только страницы, на которых показываются объявления Google.
• Робот пытается получить доступ к страницам, с которых осуществляется переадресация. Если на вашем сайте выполняется переадресация с исходных страниц на другие ресурсы, робот должен получить доступ к первоначальным страницам, чтобы определить наличие переадресации. В журналах доступа регистрируются посещения роботом исходных страниц.
• Повторное сканирование сайтов. В настоящее время мы не можем управлять частотой сканирования контента на вашем сайте. Оно выполняется автоматически. Для того чтобы внесенные на странице изменения были учтены в нашем индексе, может потребоваться до двух недель.