Tungkol sa crawler ng mga AdSense ad

Ang crawler, na tinatawag ding spider o bot, ay ang software na ginagamit ng Google para iproseso at i-index ang content ng mga webpage. Binibisita ng crawler ng AdSense, na tinatawag na Mediapartners-Google, ang iyong site para tukuyin ang content nito para makapagbigay ng mga kaugnay na ad.

Narito ang ilang mahalagang impormasyon na dapat malaman tungkol sa crawler ng AdSense:

• Ina-update ang ulat ng crawler linggo-linggo.

  Awtomatikong isinasagawa ang pag-crawl at hindi namin napapagbigyan ang mga kahilingan para sa mas madalas na pag-crawl.

• Iba ang crawler ng AdSense sa crawler ng Google.

  Magkahiwalay ang dalawang crawler, pero iisang cache ang ginagamit ng mga ito. Ginagawa namin ito para maiwasan ang paghiling ng dalawang crawler ng magkakaparehong page, na makakatulong sa mga publisher na makatipid ng kanilang bandwidth. Gayundin, hiwalay ang crawler ng Search Console.

  Tandaan: Gumagamit din ang AdSense ng crawler na tinatawag na Google-Display-Ads-Bot para i-verify ang iyong site kapag nagdagdag ka ng site sa AdSense.
• Hindi malulutas ang mga isyu sa pag-crawl ng Google dahil lang nilutas ang mga isyu sa pag-crawl ng AdSense.

  Kapag nilutas ang mga isyung nakalista sa iyong page na Access ng crawler, wala itong epekto sa placement mo sa mga resulta ng paghahanap sa Google. Para sa higit pang impormasyon sa ranking ng iyong site sa Google, suriin ang aming entry sa kung paano makasama sa mga resulta ng paghahanap ng Google.

• Nag-i-index ang crawler ayon sa URL.

  Hiwalay na ia-access ng aming crawler ang site.com at www.site.com. Gayunpaman, hindi hiwalay na bibilangin ng aming crawler ang site.com at site.com/#anchor.

• Hindi ia-access ng crawler ang mga page o directory na ipinagbabawal ng robots.txt file.

  Sinusunod ng mga crawler ng Google, AdSense Mediapartners-Google, at Google-Display-Ads-Bot ang iyong robots.txt file. Kung ipinagbabawal ng iyong robot.txt file ang pag-access sa ilang partikular na page o directory, hindi iko-crawl ang mga ito.

  Tandaan: Kung naghahatid ka ng mga ad sa mga page na niro-robot sa pamamagitan ng linyang User-agent: *, iko-crawl pa rin ng crawler ng AdSense ang mga page na ito. Para mapigilan ang crawler ng AdSense na i-access ang iyong mga page, kailangan mong isama ang mga sumusunod sa iyong robots.txt file:

  User-agent: Mediapartners-Google

  User-agent: Google-Display-Ads-Bot

• Susubukan ng crawler na i-access lang ang mga URL kung saan ipinapatupad ang aming mga tag ng ad.

  Ang mga page lang na nagpapakita ng mga Google ad ang dapat magpadala ng mga kahilingan sa aming mga system at ang mga ito lang ang mako-crawl.

• Susubukan ng crawler na i-access ang mga page na nagre-redirect.

  Kapag mayroon kang "mga orihinal na page" na nagre-redirect sa iba pang page, dapat i-access ng aming crawler ang mga orihinal na page para matukoy na may nangyayaring pag-redirect. Ibig sabihin, lalabas sa iyong mga log ng pag-access ang pagbisita ng aming crawler sa mga orihinal na page.

• Walang kontrol sa kung gaano kadalas ii-index ng crawler ang content ng iyong site.

  Sa panahong ito, wala kaming kontrol sa mga re-crawling site. Awtomatikong isinasagawa ng aming mga bot ang pag-crawl. Kung gagawa ka ng mga pagbabago sa isang page, puwedeng abutin nang hanggang 1 o 2 linggo bago lumabas ang mga pagbabago sa aming index.