Устранение ошибок, связанных с целевыми страницами, которые не удается просканировать

Чтобы устранить проблемы с целевыми страницами, которые не могут сканировать роботы Google, выполните действия, описанные ниже.

Шаг 1. Выясните, как в настройках креатива появилась целевая страница, которую невозможно просканировать

Откройте креатив.
Нажмите Статус креатива.
Если ничего не происходит, нажмите Проверка в Дисплее и Видео 360, чтобы увидеть дополнительные сведения. Скопируйте URL целевой страницы, которую не удается просканировать.
Выполните предварительный просмотр креатива, а затем нажмите на него, чтобы перейти на целевую страницу. Сравните этот URL с адресом, скопированным ранее.
1. Если эти URL совпадают, нажмите Сведения о креативе и найдите URL целевой страницы. Вы можете заменить его на другой URL сканируемой страницы или перейти к проверке, есть ли у робота AdsBot доступ к целевой странице.
2. Если URL не совпадают, перейдите к шагу 4, чтобы узнать, где находится целевая страница с ошибками.
Выполните следующие действия, чтобы узнать, откуда в настройках креатива появилась недоступная целевая страница:
- Откройте файлы HTML и JavaScript, относящиеся к креативу, и найдите обнаруженный Дисплеем и Видео 360 URL, который не удается просканировать.
- Если креатив был получен из Менеджера кампаний 360 в результате синхронизации, обратитесь к трафик-менеджеру рекламодателя с просьбой удалить или заменить проблемный URL в соответствующем месте размещения Менеджера кампаний 360.
- Если Дисплей и Видео 360 не может найти целевую страницу креатива, вместо нее будет использоваться URL, указанный в сведениях о вашем рекламодателе в Дисплее и Видео 360. Чтобы найти этот URL, выберите своего рекламодателя и нажмите Настройки Основные сведения. Найдите URL, указанный в поле Сайт.

Шаг 2. Проверьте, есть ли в домене файлы robots.txt

Если вы администратор с доступом к сайту рекламодателя в Google Search Console, то для устранения неполадок используйте инструмент проверки файла robots.txt. В противном случае выполните указанные ниже действия.

Скопируйте и вставьте URL в адресную строку браузера.
Добавьте /robots.txt после доменного имени и нажмите клавишу "Ввод". Например, если URL целевой страницы выглядит как http://www.example.com/folder1/folder2/, введите http://www.example.com/robots.txt. Так вы узнаете, каким роботам разрешено сканировать домен.
Найдите следующие строки:
User-agent: AdsBot-Google
User-agent: Googlebot
User-agent: Googlebot-Image
1. Если таких строк нет, попросите администратора добавить их.
2. Если страница пустая, попросите администратора разместить файл robots.txt на вашем домене.
3. Если строка User-agent: AdsBot-Google есть в файле, убедитесь, что после нее нет строки с директивой Disallow: /. Также проверьте, нет ли в файле какой-либо другой строки, которая запрещает роботу AdsBot доступ к целевой странице.
4. Если строка User-agent: Googlebot есть в файле, убедитесь, что после нее нет строки с директивой Disallow: /. Также проверьте, нет ли в файле какой-либо другой строки, которая запрещает роботу AdsBot доступ к целевой странице.
5. Если строка User-agent: Googlebot-Image есть в файле, убедитесь, что после нее нет строки с директивой Disallow: /. Также проверьте, нет ли в файле какой-либо другой строки, которая запрещает роботу AdsBot доступ к целевой странице.
  
  Подробнее о файлахrobots.txt и поисковых роботах Google…
Если целевая страница является субдоменом, проверьте, есть ли в субдомене собственный файл robots.txt. Пример: https://subdomain.domain.com/robots.txt. Убедитесь, что этот файл robots.txt также не блокирует роботам User-agent: AdsBot-Google и User-agent: Googlebot доступ к целевой странице.

Шаг 3. Проверьте, можно ли сканировать целевую страницу

Откройте целевую страницу в Google Chrome.
Откройте меню браузера Chrome и выберите Дополнительные инструменты > Инструменты разработчика.
На панели Инструменты разработчика нажмите на значок меню и выберите Другие инструменты > Условия работы сети.
В разделе "Агент пользователя" снимите флажок "Использовать настройки браузера по умолчанию".
В раскрывающемся меню выберите "Googlebot".
Обновите страницу. Вы увидите, как Googlebot (поисковый робот Google) воспринимает ее.
В том же раскрывающемся меню выберите "Настроить…".
В поле под раскрывающимся меню введите новый путь к агенту пользователя: AdsBot-Google (+http://www.google.com/adsbot.html). После этого обновите страницу.

Другие причины проблем со сканированием целевой страницы

Если Google AdsBot может сканировать целевую страницу (то есть строки User-agent: AdsBot-Google и User-agent: Googlebot присутствуют в файле robots.txt), ошибки со сканированием могут возникать по другим причинам:

Целевая страница не загружается. Если вы пытаетесь открыть ее в браузере и видите сообщение об ошибке (например, "404 – страница не найдена", "Сайт недоступен", "Срок действия вашего сеанса истек" и т. д.), попросите администратора проверить, может ли целевая страница загружаться в любом браузере и на любой платформе (как на компьютерах, так и на мобильных устройствах).
Целевая страница требует входа в аккаунт. Все целевые страницы должны быть общедоступными. Укажите другую целевую страницу или попросите администратора отключить на ней запрос на вход в аккаунт.
На целевой странице используется слишком много переадресаций. Их должно быть не более 10. Попросите администратора устранить эту проблему. Подробнее о переадресации домена…
Целевая страница содержит поисковую систему, которая не возвращает результаты при загрузке страницы. Если целевая страница запускает поиск по сайту, убедитесь, что при этом возвращается результат. В противном случае поисковый робот будет считать страницу недействительной. Попросите администратора настроить показ каких-нибудь результатов по умолчанию вместо сообщения об их отсутствии или об ошибке.
URL целевой страницы содержит символ решетки (#). Дисплей и Видео 360 не может обрабатывать такие URL. Удалите этот символ или укажите другую целевую страницу.
Не удается просканировать целевую страницу из-за слишком большого времени ожидания. Google пытается обработать страницу, но время выполнения запроса слишком велико. Такое может происходить время от времени и по разным причинам. Если эта проблема возникает слишком часто, свяжитесь с администратором сайта.

Как найти URL, заданные в коде креатива и недоступные роботам Google

В сервисе "Дисплей и Видео 360" URL целевой страницы креатива могут быть указаны в разных местах. Иногда они задаются непосредственно в коде креатива. Чтобы найти подобные URL, выполните описанные ниже действия.

Медийные креативы

Откройте сервис "Дисплей и Видео 360" в Chrome.
Найдите и откройте креатив, а затем выберите Посмотреть или нажмите на значок глаза .
Нажмите на креатив правой кнопкой мыши и выберите Просмотреть код.
Найдите целевую страницу, которую не удалось просканировать. Нажмите в любом месте на панели инструментов разработчика, а затем нажмите комбинацию клавиш Ctrl + F (в Windows) или Command ⌘ + F (в macOS), чтобы открыть строку поиска.
Начните вводить URL, который Дисплей и Видео 360 не может просканировать. Не указывайте в поисковом запросе специальные символы. Например, если URL целевой страницы выглядит как http://www.example.com/folder?var=1234&othervar=5678, введите в поиске только доменное имя, то есть example.
Если вы найдете строку Clicktag = "http://www.example.com", значит, этот URL задан непосредственно в коде креатива.
Удалите или замените URL, который невозможно просканировать, а затем загрузите обновленный креатив.

Видеокреативы

В случае видеокреативов вам нужно проверить URL в файле VAST.

Если креатив был загружен непосредственно в Дисплей и Видео 360 (Новый креатив > Видеофайл), проверьте URL целевой страницы на вкладке Сведения о креативе.
Если объявление размещено на стороннем сервере (Новый креатив > Тег VAST), скопируйте значение URL тега VAST на вкладке Сведения о креативе.
Если креатив был получен из Менеджера кампаний 360 в результате синхронизации, попросите трафик-менеджера рекламодателя удалить или заменить недоступный URL в соответствующем месте размещения Менеджера кампаний 360.

Как проверить тег VAST для целевых страниц

Откройте сервис "Дисплей и Видео 360" в Chrome.
Вставьте URL тега VAST, скопированный ранее в соответствии с приведенными выше инструкциями.
Найдите тег <ClickThrough>. Нажмите в любом месте на панели инструментов разработчика, а затем нажмите Ctrl + F (в Windows) или Command ⌘ + F(в macOS), чтобы открыть строку поиска.
Если тег <ClickThrough> содержит URL, который невозможно просканировать, значит этот URL задан непосредственно в файле VAST.
Удалите или замените URL, который невозможно просканировать, а затем загрузите обновленный креатив.

Эта информация оказалась полезной?

Как можно улучшить эту статью?