કોઈ ક્રૉલર, વેબપેજના કન્ટેન્ટ પર પ્રક્રિયા કરવા અને તેને અનુક્રમિત કરવા માટે Google ક્રૉલરનો ઉપયોગ કરે છે, આ સૉફ્ટવેર સ્પાઇડર અથવા બૉટના નામે પણ જાણીતું છે. સંબંધિત જાહેરાતો પ્રદાન કરવા માટે તેનું કન્ટેન્ટ નિર્ધારિત કરવા માટે, Mediapartners-Google નામનું AdSense ક્રૉલર તમારી સાઇટની મુલાકાત લે છે.
આ રહ્યાં AdSense ક્રૉલર વિશે જાણવા જેવા કેટલાક મહત્ત્વપૂર્ણ તથ્યો:
- ક્રૉલર રિપોર્ટ દર અઠવાડિયે અપડેટ થાય છે.
ક્રૉલ, ઑટોમૅટિક રીતે કરવામાં આવે છે અને તેથી અમે વારંવાર ક્રૉલ કરવા માટેની વિનંતીઓ પૂરી કરી શકતા નથી.
- AdSense ક્રૉલર એ Google ક્રૉલરથી અલગ છે.
બન્ને ક્રૉલર અલગ-અલગ ભલે હોય, પરંતુ તેઓ કૅશ મેમરી શેર કરે છે. બન્ને ક્રૉલર એક જ પેજની વિનંતી કરે નહીં, એ માટે અમે આમ કરીએ છીએ, જેથી પ્રકાશકોને તેમની બૅન્ડવિડ્થ બચાવવામાં સહાય મળે. એ જ પ્રમાણે, Search Console ક્રૉલર અલગ હોય છે.
નોંધ: જ્યારે તમે AdSenseમાં કોઈ સાઇટ ઉમેરો, ત્યારે તમારી સાઇટની ચકાસણી કરવા AdSense Google-Display-Ads-Bot નામના કોઈ ક્રૉલરનો ઉપયોગ પણ કરે છે. - AdSenseની ક્રૉલ કરવા સંબંધિત સમસ્યાઓનું નિરાકરણ કરવાથી Googleની ક્રૉલ કરવા સંબંધિત સમસ્યાઓનું નિરાકરણ થશે નહીં.
તમારા ક્રૉલરના ઍક્સેસ પેજ પર સૂચિબદ્ધ સમસ્યાઓનું નિરાકરણ કરવાથી Googleના શોધ પરિણામોમાં તમારા સ્થાન નિયોજન પર કોઈ અસર થશે નહીં. Google પર તમારી સાઇટના રેંકિંગ વિશે વધુ માહિતી મેળવવા માટે, અમારા Googleના શોધ પરિણામોમાં શામેલ થવા વિશેના લેખનો રિવ્યૂ કરો.
- ક્રૉલર, URL અનુસાર અનુક્રમિત કરે છે.
અમારું ક્રૉલર site.com અને www.site.comને અલગ-અલગ ઍક્સેસ કરશે. જોકે, અમારું ક્રૉલર site.com અને site.com/#anchorની ગણતરી અલગ-અલગ કરશે નહીં.
- ક્રૉલર robots.txt ફાઇલ દ્વારા પ્રતિબંધિત કોઈ પેજ અથવા ડિરેક્ટરીને ઍક્સેસ કરશે નહીં.
Google, AdSense Mediapartners-Google અને Google-Display-Ads-Bot નામના ક્રૉલર તમારી robots.txt ફાઇલને સપોર્ટ આપે છે. જો તમારી robot.txt ફાઇલ અમુક પેજ કે ડિરેક્ટરીના ઍક્સેસને પ્રતિબંધિત કરે, તો તેમને ક્રૉલ કરી શકાશે નહીં.
નોંધ: જો તમે એવા પેજ પર જાહેરાતો બતાવી રહ્યાં હો કે જેમનેવપરાશકર્તા-એજન્ટ: *મારફતે બાકાત રાખવામાં આવી રહ્યાં હોય, તો પણ AdSense ક્રૉલર આવા પેજને ક્રૉલ કરશે. AdSense ક્રૉલરને તમારા પેજ ઍક્સેસ કરવાથી અટકાવવા માટે, નીચે આપેલી બાબતોનો સમાવેશ તમારે આ તમારી robots.txt ફાઇલમાં કરવો જરૂરી છે:વપરાશકર્તા એજન્ટ: Mediapartners-Googleવપરાશકર્તા એજન્ટ: Google-Display-Ads-Bot - જેમાં અમારા જાહેરાતના ટૅગ લાગુ કરવામાં આવ્યા હોય, ક્રૉલર માત્ર એવા જ URLsને ઍક્સેસ કરવાનો પ્રયાસ કરે છે.
જેમના પર Google જાહેરાતો બતાવવામાં આવી રહી હોય, વિનંતી માત્ર એવા જ પેજ પરથી અમારી સિસ્ટમને મોકલવામાં આવવી જોઈએ અને તેમને જ ક્રૉલ કરવામાં આવવા જોઈએ.
- ક્રૉલર, રીડાયરેક્ટ કરવામાં આવતા હોય એવા જ પેજને ઍક્સેસ કરવાનો પ્રયાસ કરે છે.
જ્યારે તમારી પાસે અન્ય પેજ પર રીડાયરેક્ટ કરતા "ઑરિજિનલ પેજ" હોય, ત્યારે રીડાયરેક્ટની પ્રક્રિયા કરવામાં આવે છે કે નહીં, તે નિર્ધારિત કરવા અમારા ક્રૉલર માટે ઑરિજિનલ પેજનો ઍક્સેસ આવશ્યક હોય છે. તેથી જ, અમારા ક્રૉલરની ઑરિજિનલ પેજની મુલાકાત તમારા ઍક્સેસ લૉગમાં જોવા મળે છે.
- તમારી સાઇટના કન્ટેન્ટને ક્રૉલર કેટલી વાર અનુક્રમિત કરશે, તેના પર કોઈ નિયંત્રણ નથી.
આ સમયે, ફરીથી ક્રૉલ કરતી સાઇટ પર અમારું કોઈ નિયંત્રણ નથી. અમારા બૉટ દ્વારા ઑટોમૅટિક રીતે ક્રૉલ કરવામાં આવે છે. જો તમે કોઈ પેજ પર ફેરફાર કરો, તો અમારી અનુક્રમણિકામાં તે ફેરફારો દેખાવામાં 1થી 2 અઠવાડિયાનો સમય લાગી શકે છે.
