يعرض تقرير "إحصاءات الزحف" إحصاءات حول سجلّ زحف محرّك البحث Google إلى موقعك الإلكتروني. على سبيل المثال، عدد الطلبات التي تم تقديمها والوقت الذي تمت فيه وما كانت استجابة الخادم وأي مشاكل تمت مواجهتها في ما يخصّ مدى التوفّر. يمكنك استخدام هذا التقرير لمعرفة ما إذا كان محرك البحث Google يواجه مشاكل في العرض عند الزحف إلى موقعك الإلكتروني.
هذا التقرير موجّه إلى المستخدمين المتقدّمين. إذا كان لديك موقع إلكتروني يحتوي على أقل من ألف صفحة، لن تحتاج إلى استخدام هذا التقرير أو الاهتمام بشأن هذا المستوى من تفاصيل الزحف.
C<span/>rawl Budget and the Crawl Stats report - Google Search Console Training
(إعدادات الموقع الإلكتروني) > إحصاءات الزحف.البدء
يجب أن تفهم المعلومات التالية قبل استخدام هذا التقرير:
- طريقة عمل "بحث Google"
- مواضيع موجّهة للمستخدمين المتقدّمين، وبصورة خاصة مواضيع الزحف والفهرسة وملفات Sitemap.
- مواضيع متنوعة حول إدارة الوصول إلى موقعك الإلكتروني، بما في ذلك حظر الوصول باستخدام ملف robots.txt.
- إذا كان لديك موقع إلكتروني كبير (مئات الآلاف من الصفحات)، إليك دليل عن إدارة ميزانية الزحف وتحديد مشاكلها وحلّها.
لمحة عن البيانات
- جميع عناوين URL المعروضة والمحتسبة هي عناوين URL الفعلية التي يطلبها محرك بحث Google، ولا يتم تخصيص البيانات لعناوين URL الأساسية كما هي الحال في بعض التقارير الأخرى.
- إذا كان عنوان URL يتضمّن إعادة توجيه لجهة الخادم، يتم احتساب كل طلب في سلسلة إعادة التوجيه كطلب منفصل. وبالتالي، إذا كانت الصفحة 1 تعيد التوجيه إلى الصفحة 2 التي بدورها تعيد التوجيه إلى الصفحة 3، وفي حال طلب محرّك بحث Google الزحف إلى الصفحة 1، ستظهر لك طلبات منفصلة للصفحة 1 (تعرض رمز 301/302) والصفحة 2 (تعرض رمز 301/302) والصفحة 3 (من المفترض أن تعرض رمز 200). يُرجى العلم بأنّه يتم عرض الصفحات المتاحة على النطاق الحالي فقط. وتكون استجابة إعادة التوجيه من نوع الملف "نوع ملف آخر". لا يتم احتساب عمليات إعادة التوجيه من جهة العميل.
- يتم احتساب عمليات الزحف التي تم النظر فيها بدون تنفيذها بسبب عدم توفّر ملف robots.txt ضمن إجمالي عدد عمليات الزحف، ولكن قد يتضمّن التقرير تفاصيل محدودة بشأن هذه المحاولات. مزيد من المعلومات
- الموارد والنطاق:
- تقتصر جميع البيانات على النطاق المحدّد حاليًا. ولن يتم عرض الطلبات الواردة إلى نطاقات أخرى. ويتضمّن ذلك الطلبات إلى أي موارد للصفحة (مثل الصور) يتم استضافتها خارج هذا الموقع الإلكتروني. لذلك، إذا كانت صفحتك example.com/mypage تتضمّن صورة google.com/img.png، لن يظهر الطلب الوارد إلى google.com/img.png في تقرير إحصاءات الزحف للموقع الإلكتروني example.com.
- ولن يتم كذلك عرض الطلبات الواردة إلى نطاق شقيق (en.example وde.example). لذا إذا كنت تستعرض تقرير إحصاءات الزحف للنطاق en.example، لن تظهر الطلبات الواردة إلى صورة على النطاق de.example.
- ويُرجى العلم بانّه يمكن الاطّلاع على الطلبات الواردة بين النطاقات الفرعية ضمن بيانات النطاق الرئيسي. لذا، على سبيل المثال، إذا عرضت البيانات للموقع الإلكتروني example.com، يمكنك رؤية كل الطلبات الواردة إلى example.com وen.example وde.example.com وأي نطاقات فرعية أخرى ذات مستوى أدنى من example.com.
- في المقابل، إذا كانت موارد موقعك الإلكتروني تُستخدم في صفحة على نطاق آخر، قد ترى طلبات زحف مرتبطة بصفحة المضيف، ولكنك لن ترى أي سياق يشير إلى أنّ المورد تم الزحف إليه لأنه يُستخدم في صفحة على نطاق آخر (أي أنك لن ترى أنه قد تم الزحف إلى الصورة example.com/imageX.png لأنها مضمّنة في الصفحة anotherexample.com/mypage).
- تشمل بيانات الزحف كِلا البروتوكولين http وhttps، حتى في المواقع الإلكترونية التي تبدأ بعنوان URL. ويعني ذلك أنّ تقرير إحصاءات الزحف للموقع http://example.com يتضمّن الطلبات الواردة إلى كلٍّ من http://example.com وhttps://example.com، ولكن نماذج عناوين URL للمواقع الإلكترونية التي تبدأ بعنوان URL تقتصر على البروتوكول المحدّد للموقع الإلكتروني (http أو https).
التنقّل في التقرير
يعرض التقرير معلومات الزحف التالية عن موقعك الإلكتروني:
انقر على أي إدخال في الجدول للحصول على عرض تفصيلي لهذا العنصر، بما في ذلك قائمة بأمثلة عن عناوين URL، وانقر على عنوان URL للحصول على تفاصيل طلب الزحف المحدد. على سبيل المثال، في الجدول الذي يعرض استجابات مجمّعة حسب النوع، انقر على الصف HTML لعرض معلومات الزحف المجمّعة لكل صفحات HTML التي تم الزحف إليها على موقعك الإلكتروني، بالإضافة إلى تفاصيل مثل وقت الزحف ورمز الاستجابة وحجم الاستجابة وغير ذلك للحصول على مثال عن عناوين URL هذه.
المضيفون والنطاقات الفرعية
إذا كان موقعك الإلكتروني على مستوى النطاق (example.com أو http://example.com أو https://m.example.com)، ويحتوي على نطاقين فرعيَّين أو أكثر (مثل fr.example.com وde.example.com)، يمكنك الاطّلاع على بيانات النطاق الرئيسي التي تتضمّن بيانات جميع النطاقات الفرعية، أو على البيانات الخاصة بنطاق فرعي واحد.
للاطّلاع على التقرير الخاص بنطاق فرعي محدّد، انقر على النطاق الفرعي المطلوب في قوائم المضيفين على الصفحة المقصودة للنطاق الرئيسي. ولا يتم عرض سوى أهم 20 نطاقًا فرعيًا تلقّى زيارات في آخر 90 يومًا.
أمثلة على عناوين URL
يمكنك النقر على أي من إدخالات نوع البيانات المجمّعة (الاستجابة أو نوع الملف أو الغرض أو نوع Googlebot) للاطّلاع على قائمة بعناوين URL من ذلك النوع.
أمثلة عناوين URL ليست شاملة، ولكنها تشكّل مثالاً توضيحيًّا. وإذا لم ترَ أحد عناوين URL مدرَجًا، لا يعني ذلك أننا لم نطلبه. وقد يستند عدد الأمثلة المرجّحة إلى اليوم، لذا قد تجد أن بعض أنواع الطلبات تتضمّن أمثلة أكثر من الأنواع الأخرى. ومن المفترض أن تتوازن الأعداد مع مرور الوقت.
إجمالي طلبات الزحف
إجمالي عدد طلبات الزحف الصادرة لعناوين URL على موقعك الإلكتروني، سواء كانت ناجحة أم لا. يتضمن هذا العدد الطلبات المتعلّقة بالموارد التي استخدمتها الصفحة إذا كانت هذه الموارد على موقعك الإلكتروني. لا يتم احتساب الطلبات إلى الموارد المستضافة خارج موقعك الإلكتروني. ويتم احتساب الطلبات المكرّرة لعنوان URL نفسه بشكل فردي. في حال كان ملف robots.txt متوفّرًا بشكل غير كافٍ، يتم احتساب عمليات استرجاع محتملة.
تشمل الطلبات غير الناجحة التي يتم احتسابها ما يلي:
- عمليات الاسترجاع التي لم يتم إجراؤها لأنّ ملف robots.txt متوفر بشكل غير كافٍ
- عمليات الاسترجاع التي يتعذّر إجراؤها بسبب مشاكل في التحويل باستخدام نظام أسماء النطاقات (DNS)
- عمليات الاسترجاع التي يتعذّر إجراؤها بسبب مشاكل في إمكانية اتصال الخادم
- عمليات الاسترجاع المتروكة بسبب حلقات إعادة التوجيه
إجمالي حجم عمليات التنزيل:
إجمالي عدد وحدات البايت التي تم تنزيلها من موقعك الإلكتروني أثناء الزحف خلال الفترة الزمنية المحدّدة. إذا خزّن محرك بحث Google مؤقتًا موردًا لصفحة يتم استخدامه في صفحات متعددة، يتم طلب المورد في المرة الأولى فقط (عندما يتم تخزينه مؤقتًا).
متوسط وقت الاستجابة
متوسط وقت الاستجابة لجميع الموارد التي تم استرجاعها من موقعك الإلكتروني خلال الفترة الزمنية المحدّدة. يتم احتساب كل مورد مرتبط بصفحة كاستجابة منفصلة.
حالة المضيف
تصف حالة المضيف ما إذا كان محرك البحث Google قد واجه مشاكل في مدى التوفّر عند محاولة الزحف إلى موقعك الإلكتروني أم لا. يمكن أن تكون الحالة إحدى القيم التالية:
لم يواجه محرك البحث Google أي مشاكل كبيرة تتعلّق بمدى توفّر الزحف إلى موقعك الإلكتروني خلال آخر 90 يومًا. ممتاز! لن تحتاج إلى اتخاذ أي إجراء آخر.
واجه محرك البحث Google مشكلة كبيرة واحدة على الأقل في ما يتعلّق بمدى توفّر الزحف إلى موقعك الإلكتروني خلال آخر 90 يومًا، لكن حدث ذلك قبل أكثر من أسبوع. ربما كان الخطأ مؤقتًا أو ربما تم حلّ المشكلة. يجب التحقق من جدول الاستجابة لمعرفة المشاكل التي حصلت، وتحديد ما إذا كنت بحاجة إلى اتخاذ أي إجراء.
واجه محرك البحث Google خلال الأسبوع الماضي مشكلة كبيرة واحدة على الأقل في ما يتعلّق بمدى توفّر الزحف إلى موقعك الإلكتروني. وبما أنّ هذا الخطأ قد حدث مؤخرًا، يجب أن تحاول معرفة ما إذا كانت المشكلة متكرّرة أم لا. تحقق من جدول الاستجابة لمعرفة المشاكل التي حصلت وتحديد ما إذا كنت بحاجة إلى اتخاذ أي إجراء.
يجب عادةً أن تكون حالة المضيف باللون الأخضر. إذا كانت حالة مدى التوفّر تظهر باللون الأحمر، انقر عليها لعرض تفاصيل مدى التوفّر الخاصة بملف robots.txt والتحويل باستخدام نظام أسماء النطاقات (DNS) والاتصال بالمضيف.
تفاصيل حالة المضيف
يتم تقييم حالة مدى توفّر المضيف في الفئات التالية. وقد يؤدي حدوث خطأ كبير في أي فئة إلى انخفاض حالة مدى التوفّر. انقر على فئة في التقرير للحصول على مزيد من التفاصيل.
لكل فئة، سترى رسمًا بيانيًا لبيانات الزحف خلال الفترة الزمنية المحددة. يحتوي المخطط على خط أحمر منقّط. إذا كان المقياس أعلى من الخط المنقّط لهذه الفئة (على سبيل المثال، إذا تعذّرت مطابقة نظام أسماء النطاقات في أكثر من 5% من الطلبات في يوم معيّن)، سيتم اعتبار ذلك مشكلة لهذه الفئة، كما ستوضّح الحالة مدى حداثة المشكلة الأخيرة.
- استرجاع ملف robots.txt
يعرض الرسم البياني معدّل الفشل لطلبات robots.txt أثناء الزحف. يطلب محرك البحث Google هذا الملف بشكل متكرّر، وإذا لم يعرض الطلب ملفًّا صالحًا (سواء تمت تعبئته أم كان فارغًا) أو رمز استجابة 404 (أي ملف غير موجود)، سيُخفِض عندها محرك البحث Google معدّل الزحف إلى موقعك الإلكتروني أو يوقف الزحف إليه إلى أن يحصل على استجابة ملف robots.txt مقبولة. (مزيد من التفاصيل أدناه) - التحويل باستخدام نظام أسماء النطاقات (DNS)
يبيّن الرسم البياني الأوقات التي لم يتعرّف فيها خادم نظام أسماء النطاقات على اسم المضيف أو لم يستجِب فيها أثناء الزحف. إذا ظهرت لك أخطاء، يُرجى مراجعة جهة التسجيل للتأكّد من إعداد موقعك الإلكتروني بشكل صحيح ومن اتصال الخادم بالإنترنت. - إمكانية اتصال الخادم
يعرض الرسم البياني الأوقات التي لم يستجِب فيها الخادم أو لم يوفّر استجابة كاملة لعنوان URL أثناء الزحف. راجِع الأخطاء في الخادم للاطّلاع على كيفية إصلاح هذه الأخطاء.
في ما يلي وصف أكثر تفصيلاً لكيفية تحقق Google من ملفات robots.txt (واعتماده عليها) عند الزحف إلى موقعك الإلكتروني.
ليس من الضروري أن تستخدم ملف robots.txt على موقعك الإلكتروني، لكن يجب أن يتم عرض استجابة ناجحة (كما هو موضّح أدناه) عند طلب هذا الملف، وإلا قد يتوقف محرك البحث Google عن الزحف إلى موقعك الإلكتروني.
- استجابات robots.txt ناجحة
- أي مما يلي يُعتبر استجابة ناجحة:
- HTTP 200 وملف robots.txt (يمكن أن يكون الملف صالحًا أو غير صالح أو فارغًا). إذا كان الملف يحتوي على أخطاء في البنية، سيظل الطلب ناجحًا، على الرغم من إمكانية تجاهل Google لأي قواعد تتضمّن خطأ في البنية.
- HTTP 403/404/410 (الملف غير موجود). ليس من الضروري أن تستخدم ملف robots.txt على موقعك الإلكتروني.
- استجابات robots.txt غير ناجحة
- HTTP 429/5XX (مشكلة في الاتصال)
في ما يلي كيفية تحقق Google من ملفات robots.txt واستخدامها عند الزحف إلى موقع إلكتروني:
- قبل زحف محرّك بحث Google إلى موقعك الإلكتروني، يتحقق أولاً من توفُّر طلب حديث ناجح لملف robots.txt (مرَّ عليه أقل من 24 ساعة).
- إذا توفّرت لدى Google استجابة ناجحة لملف robots.txt مرَّ عليها أقل من 24 ساعة، سيستخدم محرّك بحث Google ملف robots.txt هذا عند الزحف إلى موقعك الإلكتروني. (تذكّر أنّ الخطأ "404 لم يتم العثور على الصفحة" هو استجابة ناجحة ويشير إلى عدم توفُّر أي ملف robots.txt، ما يعني أنّه بإمكان محرّك بحث Google الزحف إلى أي عناوين URL على الموقع الإلكتروني).
- إذا كانت الاستجابة الأخيرة غير ناجحة أو مرَّ عليها أكثر من 24 ساعة، سيطلب محرّك بحث Google ملف robots.txt الخاص بك:
- إذا كانت الاستجابة ناجحة، يمكن أن يبدأ الزحف.
- إذا لم تكن الاستجابة ناجحة:
- خلال أول 12 ساعة، سيتوقّف محرّك بحث Google عن الزحف إلى موقعك الإلكتروني، ولكن سيواصل طلب ملف robots.txt.
- خلال الفترة الممتدة من 12 ساعة إلى 30 يومًا، سيستخدم محرّك بحث Google آخر ملف robots.txt تم جلبه بنجاح، مع مواصلة طلب ملف robots.txt.
- بعد مرور 30 يومًا:
- في حال توفُّر الصفحة الرئيسية للموقع الإلكتروني، سيعمل محرّك بحث Google كما لو أنّ ملف robots.txt غير متوفّر، وسيزحف بدون قيود.
- إذا كانت الصفحة الرئيسية للموقع الإلكتروني غير متوفّرة، سيتوقّف محرّك بحث Google عن الزحف إلى الموقع الإلكتروني.
- في كلتا الحالتين، سيستمر محرك بحث Google في طلب ملف robots.txt بشكل دوري.
الاستجابة لطلبات الزحف
يعرض هذا الجدول الاستجابات التي تلقّاها محرك البحث Google عند الزحف إلى موقعك الإلكتروني، مجمَّعةً حسب نوع الاستجابة، على شكل نسبة مئوية من جميع استجابات الزحف. تستند البيانات إلى إجمالي عدد الطلبات، وليس حسب عنوان URL، لذلك إذا طلب محرك البحث Google عنوان URL مرّتين وتلقّى خطأ في الخادم (500) في المرة الأولى، وحسنًا (200) في المرة الثانية، ستكون الاستجابة 50% خطأ في الخادم و50% حسنًا.
في ما يلي بعض رموز الاستجابة الشائعة وكيفية معالجتها:
رموز الاستجابة الجيدة
هذه الصفحات جيدة ولا تتسبب في حدوث أي مشاكل.
- حسنًا (200): في الظروف العادية، يجب أن تكون أغلبية الاستجابات 200.
- تم النقل نهائيًا (301): تعرض صفحتك استجابة HTTP 301 أو HTTP 308 (تم النقل نهائيًا)، وهذا على الأرجح ما أردته.
- تم النقل مؤقتًا (302): تعرض صفحتك استجابة HTTP 302 أو HTTP 307 (تم النقل مؤقتًا)، وهذا على الأرجح ما أردته. إذا تم نقل هذه الصفحة نهائيًا، عليك تغيير الاستجابة إلى 301.
- تم النقل (غير ذلك): توجيه meta refresh
- لم يتم التعديل (304): لم يتم إجراء أي تغيير على الصفحة منذ آخر طلب زحف.
رموز الاستجابة التي قد تكون جيدة
قد تكون هذه الاستجابات جيدة، ولكن عليك التحقق منها لمعرفة ما إذا كان هذا ما أردته.
- قد تحدث أخطاء لم يتم العثور على الصفحة (404) بسبب روابط معطّلة على موقعك الإلكتروني أو خارجه. من غير الممكن أو المجدي أو المفضّل إصلاح جميع أخطاء 404 على موقعك الإلكتروني، وغالبًا ما يكون خطأ 404 هو الاستجابة الصحيحة (على سبيل المثال، إذا تمت إزالة الصفحة بدون توفير بديل). تعرَّف على طريقة حلّ أخطاء 404 أو ما إذا كان ذلك ضروريًا.
رموز استجابة سيئة
عليك إصلاح الصفحات التي تعرض هذه الأخطاء لتحسين عملية الزحف.
- ملف robots.txt غير متاح: إذا بقي ملف robots.txt غير متاح لمدة يوم، سيتوقّف محرك البحث Google عن الزحف لفترة من الوقت حتى يتلقّى استجابة مقبولة لطلب ملف robots.txt. وتأكَّد من عدم إخفاء هوية ملف robots.txt لمحرّك البحث Google أو تغيير صفحة robots.txt حسب وكيل المستخدم.
تختلف هذه الاستجابة عن عرض رسالة "لم يتم العثور عليه (404)" لملف robots.txt، التي تُعدّ استجابة جيدة. الاطّلاع على مزيد من التفاصيل حول ملف robots.txt - غير مسموح به (401/407): عليك حظر الزحف إلى هذه الصفحات باستخدام ملف robots.txt أو تحديد ما إذا كان يجب إلغاء حظرها. وإذا كانت هذه الصفحات لا تحتوي على بيانات آمنة وتريد أن يتم الزحف إليها، يمكنك نقل المعلومات إلى صفحات غير آمنة أو السماح لبرنامج Googlebot بالدخول إليها بدون الحاجة إلى تسجيل الدخول (يُرجى العلم بأنّ ثمة احتمال أن يتم انتحال هوية Googlebot، وبالتالي فإنّ السماح لبرنامج Googlebot بالدخول إلى الصفحة سيزيل أمانها).
- خطأ في الخادم (5XX): تؤدي هذه الأخطاء إلى ظهور تحذيرات بشأن مدى التوفّر، ويجب إصلاحها إذا أمكن. يُظهر الرسم البياني للصور المصغّرة الوقت التقريبي الذي حدثت فيه هذه الأخطاء. انقر للاطّلاع على المزيد من التفاصيل وعلى الأوقات الدقيقة. حدِّد ما إذا كانت هذه المشاكل مرحلية أو تمثّل أخطاء أكثر تعقيدًا في مدى توفّر موقعك الإلكتروني. إذا كان محرك البحث Google يجري عمليات زحف زائدة إلى موقعك الإلكتروني، يمكنك طلب معدّل زحف أقل. إذا كان ذلك مؤشرًا على مشكلة خطيرة في مدى التوفّر، اطّلِع على معلومات عن حالات ارتفاع معدّل الزحف بشكل كبير. راجِع الأخطاء في الخادم للاطّلاع على كيفية إصلاح هذه الأخطاء.
- خطأ عميل آخر (4XX): خطأ 4XX (من جهة العميل) آخر لم يتم تحديده هنا. من الأفضل حلّ هذه المشاكل.
- عدم استجابة نظام أسماء النطاقات: لم يستجِب خادم نظام أسماء النطاقات الخاص بك لطلبات عناوين URL على موقعك الإلكتروني.
- خطأ في نظام أسماء النطاقات: خطأ آخر غير محدّد في نظام أسماء النطاقات.
- خطأ في الاسترجاع: تعذّر استرجاع الصفحة بسبب رقم منفذ غير صحيح أو عنوان IP غير صالح أو استجابة غير قابلة للتحليل.
- تعذّر الوصول إلى الصفحة: أي خطأ آخر في استرداد الصفحة، حيث لا يصل الطلب إلى الخادم مطلقًا. وبسبب عدم وصول هذه الطلبات إلى الخادم مطلقًا، لن تظهر هذه الطلبات في سجلّاتك.
- مهلة الصفحة: انتهت مهلة طلب الصفحة.
- خطأ في إعادة التوجيه: خطأ في إعادة توجيه الطلب، على سبيل المثال، عدد كبير جدًا من عمليات إعادة التوجيه أو إعادة توجيه فارغة أو إعادة توجيه دائرية.
- خطأ آخر: خطأ آخر لا يندرج ضمن أي من الفئات المذكورة أعلاه.
أنواع الملفات التي تم الزحف إليها
نوع الملف الذي يعرضه الطلب. النسبة المئوية لكل نوع هي النسبة المئوية للاستجابات من هذا النوع، وليس النسبة المئوية لوحدات البايت التي تم استردادها من هذا النوع.
قيم أنواع الملفات المحتملة:
- HTML
- صورة
- فيديو: أحد تنسيقات الفيديو المتاحة
- JavaScript
- CSS
- ملف XML آخر: ملف XML لا يشمل RSS أو KML أو أي تنسيقات أخرى تم إنشاؤها فوق XML.
- JSON
- مشاركة: خلاصة RSS أو Atom
- صوت
- بيانات المواقع الجغرافية: KML أو بيانات جغرافية أخرى.
- نوع ملف آخر: نوع ملف آخر لم يتم تحديده هنا. ويتم تضمين عمليات إعادة التوجيه في هذه المجموعة.
- غير معروف (فشل): إذا تعذّر إجراء الطلب، هذا يعني أنّ نوع الملف غير معروف.
الغرض من الزحف
- الاستكشاف: لم يسبق أن زحف محرك البحث Google إلى عنوان URL المطلوب.
- إعادة التحميل: إعادة الزحف إلى صفحة معروفة.
وإذا كان موقعك الإلكتروني يتضمّن صفحات يتم تعديلها بوتيرة عالية ولا تتم إعادة الزحف إليها بشكل كافٍ، يُرجى التأكّد من تضمينها في ملف Sitemap. بالنسبة إلى الصفحات التي يتم تعديلها بوتيرة أقل، قد تحتاج إلى طلب إعادة الزحف إليها بشكل فردي. إذا أضفت مؤخرًا كمية كبيرة من المحتوى الجديد أو أرسلت ملف Sitemap، من المفترض أن ترى ارتفاعًا ملحوظًا في عدد عمليات الزحف الاستكشافي إلى موقعك الإلكتروني.
نوع برنامج Googlebot
نوع وكيل المستخدم المستعمل لتقديم طلب الزحف. يشمل محرك بحث Google عددًا من برامج وكلاء المستخدم، وتختلف أسباب زحفها وسلوكياتها.
قيم أنواع Googlebot المحتملة:
- الهاتف الذكي: Googlebot smartphone
- الكمبيوتر المكتبي: Googlebot desktop
- الصورة: Googlebot للصور إذا تم تحميل الصورة كمورد للصفحة، يتم احتساب نوع Googlebot على أنه تحميل مورد الصفحة، وليس على أنه صورة.
- الفيديو: Googlebot للفيديو. إذا تم تحميل الفيديو كمورد للصفحة، يتم احتساب نوع Googlebot على أنه تحميل مورد الصفحة، وليس على أنه فيديو.
- تحميل مورد الصفحة: استرجاع ثانوي للموارد التي تستخدمها صفحتك. عندما يزحف محرك البحث Google إلى الصفحة، يسترجع الموارد المهمة ذات الصلة، مثل الصور أو ملفات CSS، وذلك من أجل عرض الصفحة قبل محاولة فهرستها. إنه وكيل المستخدم الذي يقدّم طلبات الموارد هذه.
- AdsBot: أحد برامج الزحف AdsBot. إذا لاحظت ارتفاعًا في هذه الطلبات، من المرجّح أنك قد أنشأت مؤخرًا عددًا من الاستهدافات الجديدة للإعلانات الديناميكية على شبكة البحث على موقعك الإلكتروني. اطّلِع على القسم لماذا ازداد معدّل الزحف على موقعي الإلكتروني. يزحف AdsBot إلى عناوين URL كل أسبوعين تقريبًا.
- StoreBot: هو برنامج الزحف لتسوّق المنتجات.
- نوع وكيل آخر: زاحف Google آخر لم يتم تحديده هنا.
إذا كنت تلاحظ ارتفاعًا حادًا في معدّل الزحف، تحقَّق من نوع وكيل المستخدم. إذا كان الارتفاع الحاد في معدّل الزحف ناتجًا من زاحف AdsBot، اطّلِع على المقالة لماذا ارتفع معدّل الزحف على موقعي الإلكتروني.
تحديد المشاكل وحلّها
معدّل الزحف مرتفع جدًا
يستخدم Googlebot خوارزميات لمنعه من تحميل موقعك الإلكتروني عبئًا زائدًا أثناء الزحف. مع ذلك، إذا كنت تريد تخفيض معدّل الزحف لسبب ما، اطّلِع على كيفية إجراء ذلك هنا.
ما سبب الارتفاع الحادّ في معدّل الزحف إلى موقعي الإلكتروني؟
في حال أضفت كمية كبيرة من المعلومات الجديدة أو كان لديك بعض المعلومات المفيدة على موقعك الإلكتروني، قد يتم الزحف إليه بمعدّل مرتفع. مثلاً:
- لقد أزلت حظر الزحف عن قسم كبير من موقعك الإلكتروني.
- لقد أضفت قسمًا جديدًا وكبيرًا من موقعك الإلكتروني.
- لقد أضفت عددًا كبيرًا من الاستهدافات الجديدة للإعلانات الديناميكية على شبكة البحث من خلال إضافة خلاصات صفحات جديدة أو قواعد URL_Equals.
إذا كان معدّل الزحف إلى موقعك الإلكتروني عاليًا جدًا بحيث بدأ موقعك يواجه مشاكل في توفّره، إليك كيفية حمايته:
- حدِّد زاحف Google الذي يزحف إلى موقعك الإلكتروني بشكل زائد. اطّلِع على سجلات موقعك الإلكتروني أو استخدِم تقرير إحصاءات الزحف.
- الحلّ الفوري:
- إذا كنت تريد حلاً بسيطًا، استخدِم ملف robots.txt لحظر الزحف على الوكيل الذي يفرط في تحميل موقعك الإلكتروني (googlebot أو adsbot أو غير ذلك). وقد يستغرق هذا الإجراء يومًا واحدًا كي يدخل حيّز التنفيذ. ويجب عدم حظر المحتوى لمدة طويلة، لأنّ ذلك قد يؤدي إلى تأثيرات طويلة الأمد في عملية الزحف.
- إذا تمكّنت من اكتشاف التحميل المتزايد ومعالجته ديناميكيًا، يمكنك عرض رمزَي الحالة 503 أو 429 لبروتوكول HTTP عندما تقترب من بلوغ حدّ العرض المسموح به لمحتوى موقعك الإلكتروني. احرص على عدم عرض رمزَي الحالة 503 أو 429 لمدة تزيد عن يومَين أو ثلاثة أيام، وإلا فقد يشير ذلك إلى Google بتخفيض معدّل الزحف إلى موقعك الإلكترونية على المدى الطويل.
- بعد يومَين أو ثلاثة أيام، بعدما يطبّق محرّك بحث Google التغيير الذي أجريته على معدّل الزحف، يمكنك إزالة عمليات الحظر التي تمت باستخدام ملف robots.txt أو إيقاف عرض رموز الخطأ 503 أو 429.
- إذا كان الحمل زائدًا على موقعك الإلكتروني بسبب عمليات زحف AdsBot، من المرجح أنّ سبب المشكلة هو أنك أنشأت عددًا كبيرًا جدًا من الأهداف للإعلانات الديناميكية على شبكة البحث على موقعك الإلكتروني باستخدام
URL_Equalsأو خلاصات الصفحات. إذا لم تتوفر لديك سعة الخادم اللازمة للتعامل مع عمليات الزحف هذه، عليك إما الحدّ من استهدافات الإعلانات أو إضافة عناوين URL على دفعات أصغر أو زيادة سعة العرض. تجدر الإشارة إلى أنّ AdsBot سيزحف إلى صفحاتك كل أسبوعَين، لذا عليك إصلاح المشكلة لتجنّب تكرارها.
معدّل الزحف يبدو منخفضًا جدًا
لا يمكنك الطلب من محرّك بحث Google زيادة معدّل الزحف. يمكنك بدلاً من ذلك الاطّلاع على مزيد من المعلومات حول كيفية إدارة الزحف إلى المواقع الإلكترونية الكبيرة أو التي يتم تعديلها بشكلٍ متكرّر.
بالنسبة إلى المواقع الإلكترونية الصغيرة أو المتوسطة، إذا لم يزحف محرك البحث Google إلى جميع صفحات الموقع الإلكتروني، يمكنك تعديل ملفات Sitemap الخاصة بموقعك الإلكتروني والتأكّد من أنك لا تحظر أي صفحات.
لماذا انخفض معدّل الزحف إلى موقعي الإلكتروني؟
بشكل عام، يجب أن يكون معدل زحف Google التابع لك مستقرًا نسبيًا خلال فترة زمنية تبلغ أسبوعًا أو اثنين؛ أما في حالة رؤية انخفاض مفاجئ، فإليك بضعة أسباب محتملة لذلك الانخفاض:
- أضفت قاعدة جديدة (أو واسعة جدًا) لملف robots.txt. تأكد من حظر الموارد التي تحتاج إليها فقط. إذا كان محرّك بحث Google يحتاج إلى موارد معيّنة، مثل ملفات CSS أو JavaScript لفهم المحتوى، تأكّد من أنك لم تحظر زحف Googlebot إليها.
- إذا كان موقعك يستجيب ببطء للطلبات، سيقلّل برنامج Googlebot من طلباته لتجنّب تحميل عبء زائد على خادمك. تحقق من تقرير إحصاءات الزحف لمعرفة ما إذا كان موقعك يستجيب ببطء أكثر.
- في حال ارتفاع معدّل الخطأ على الخادم، سيخفف Googlebot من طلباته لتجنب تحميل الخادم عبئًا زائدًا.
- إذا كان الموقع الإلكتروني يحتوي على معلومات يتم تعديلها بوتيرة أقل، أو ليست ذات جودة عالية جدًا، قد لا نزحف إليه بشكل متكرّر. لهذا السبب، ننصحك بتقييم موقعك الإلكتروني بموضوعية والحصول على ملاحظات وآراء محايدة من أشخاص غير مرتبطين به، ثم تحديد الجوانب التي يجب تحسينها والتفكير في كيفية تحسين الأداء العام لموقعك الإلكتروني.
إجمالي عدد عمليات الزحف في التقرير أكبر بكثير من القيم الإجمالية في سجلّات الخادم لموقعك الإلكتروني
إذا كان إجمالي عدد عمليات الزحف الوارد في هذا التقرير أعلى بكثير من عدد طلبات زحف Google في سجلّات الخادم، قد يحدث ذلك عندما يتعذّر على Google الزحف إلى موقعك الإلكتروني نظرًا لأن ملف robots.txt غير متاح لفترة طويلة جدًا. وعند حدوث ذلك، يحتسب محرّك البحث Google عمليات الزحف التي كان من المفترض أن يجريها لو كان ملف robots.txt متاحًا، ولكنه لا يُجري هذه العمليات. لذلك، عليك التحقق من حالة جلب ملف robots.txt للتأكّد مما إذا كانت هذه هي المشكلة.
