تقرير إحصاءات الزحف

يعرض تقرير "إحصاءات الزحف" إحصاءات حول سجلّ زحف محرّك البحث Google إلى موقعك الإلكتروني. على سبيل المثال، عدد الطلبات التي تم تقديمها والوقت الذي تمت فيه وما كانت استجابة الخادم وأي مشاكل تمت مواجهتها في ما يخصّ مدى التوفّر. يمكنك استخدام هذا التقرير لمعرفة ما إذا كان محرك البحث Google يواجه مشاكل في العرض عند الزحف إلى موقعك الإلكتروني.

هذا التقرير موجّه إلى المستخدمين المتقدّمين. إذا كان لديك موقع إلكتروني يحتوي على أقل من ألف صفحة، لن تحتاج إلى استخدام هذا التقرير أو الاهتمام بشأن هذا المستوى من تفاصيل الزحف.

هذا التقرير متاح فقط للمواقع الإلكترونية على مستوى الجذر، أي أنّ الموقع الإلكتروني يجب أن يكون إما موقعًا إلكترونيًّا على النطاق (مثل example.com أو m.example.com) أو موقعًا يبدأ بعنوان URL على مستوى الجذر (مثل https://example.com أو http://example.com أو http://m.example.com).

فتح تقرير إحصاءات الزحف

 

يمكن الاطّلاع على تقرير إحصاءات الزحف في Search Console من خلال النقر على الرمز الإعدادات (إعدادات الموقع الإلكتروني) > إحصاءات الزحف.

البدء

يجب أن تفهم المعلومات التالية قبل استخدام هذا التقرير:

لمحة عن البيانات

  • جميع عناوين URL المعروضة والمحتسبة هي عناوين URL الفعلية التي يطلبها محرك البحث Google، ولا يتم تخصيص البيانات لعناوين URL الأساسية كما هي الحال في بعض التقارير الأخرى.
  • إذا كان عنوان URL يتضمّن إعادة توجيه، يتم احتساب كل طلب في سلسلة إعادة التوجيه كطلب منفصل. وبالتالي، إذا كانت الصفحة 1 تعيد التوجيه إلى الصفحة 2 التي بدورها تعيد التوجيه إلى الصفحة 3، وفي حال طلب محرّك البحث Google الزحف إلى الصفحة 1، ستظهر لك طلبات منفصلة للصفحة 1 (تعرض رمز 301/302) والصفحة 2 (تعرض رمز 301/302) والصفحة 3 (من المفترض أن تعرض رمز 200). ويُرجى العلم بأنه يتم عرض الصفحات المتاحة على النطاق الحالي فقط.
  • يتم احتساب عمليات الزحف التي تم النظر فيها بدون تنفيذها بسبب عدم توفّر ملف robots.txt ضمن إجمالي عدد عمليات الزحف، ولكن لا يتم إدراجها في أقسام تفاصيل عمليات الزحف. مزيد من المعلومات
  • الموارد والنطاق:
    • تقتصر جميع البيانات على النطاق المحدّد حاليًا. ولن يتم عرض الطلبات الواردة إلى نطاقات أخرى. ويتضمّن ذلك الطلبات إلى أي موارد للصفحة (مثل الصور) يتم استضافتها خارج هذا الموقع الإلكتروني. لذلك، إذا كانت صفحتك example.com/mypage تتضمّن صورة google.com/img.png، لن يظهر الطلب الوارد إلى google.com/img.png في تقرير إحصاءات الزحف للموقع الإلكتروني example.com.
    • ولن يتم كذلك عرض الطلبات الواردة إلى نطاق شقيق (en.example وde.example). لذا إذا كنت تستعرض تقرير إحصاءات الزحف للنطاق en.example، لن تظهر الطلبات الواردة إلى صورة على النطاق de.example.
    • ويُرجى العلم بانّه يمكن الاطّلاع على الطلبات الواردة بين النطاقات الفرعية ضمن بيانات النطاق الرئيسي. لذا، على سبيل المثال، إذا عرضت البيانات للموقع الإلكتروني example.com، يمكنك رؤية كل الطلبات الواردة إلى example.com وen.example وde.example.com وأي نطاقات فرعية أخرى ذات مستوى أدنى من example.com.
    • في المقابل، إذا كانت موارد موقعك الإلكتروني تُستخدم في صفحة على نطاق آخر، قد ترى طلبات زحف مرتبطة بصفحة المضيف، ولكنك لن ترى أي سياق يشير إلى أنّ المورد تم الزحف إليه لأنه يُستخدم في صفحة على نطاق آخر (أي أنك لن ترى أنه قد تم الزحف إلى الصورة example.com/imageX.png لأنها مضمّنة في الصفحة anotherexample.com/mypage).
    • تشمل بيانات الزحف كِلا البروتوكولين http وhttps، حتى في المواقع الإلكترونية التي تبدأ بعنوان URL. ويعني ذلك أنّ تقرير إحصاءات الزحف للموقع http://example.com يتضمّن الطلبات الواردة إلى كلٍّ من http://example.com وhttps://example.com، ولكن نماذج عناوين URL للمواقع الإلكترونية التي تبدأ بعنوان URL تقتصر على البروتوكول المحدّد للموقع الإلكتروني (http أو https).
مشكلة معروفة: يعرض تقرير إحصاءات الزحف حاليًا معظم طلبات الزحف، ولكن قد لا يتم احتساب بعض الطلبات لأسباب مختلفة. ونتوقع توسيع تغطيتنا بمرور الوقت لتغطية معظم الطلبات، إن لم يكن كلها. لذا، قد تلاحظ اختلافات طفيفة بين سجلات الطلبات لموقعك الإلكتروني والأرقام الواردة عنها هنا.

التنقّل في التقرير

انقر على أي إدخال في الجدول للحصول على عرض تفصيلي لهذا العنصر، بما في ذلك قائمة بأمثلة عن عناوين URL، وانقر على عنوان URL للحصول على تفاصيل طلب الزحف المحدد. على سبيل المثال، في الجدول الذي يعرض استجابات مجمّعة حسب النوع، انقر على الصف HTML لعرض معلومات الزحف المجمّعة لكل صفحات HTML التي تم الزحف إليها على موقعك الإلكتروني، بالإضافة إلى تفاصيل مثل وقت الزحف ورمز الاستجابة وحجم الاستجابة وغير ذلك للحصول على مثال عن عناوين URL هذه.

المضيفون والنطاقات الفرعية

إذا كان موقعك الإلكتروني على مستوى النطاق (example.com أو http://example.com أو https://m.example.com)، ويحتوي على نطاقين فرعيَّين أو أكثر (مثل fr.example.com وde.example.com)، يمكنك الاطّلاع على بيانات النطاق الرئيسي التي تتضمّن بيانات جميع النطاقات الفرعية، أو على البيانات الخاصة بنطاق فرعي واحد.

للاطّلاع على التقرير الخاص بنطاق فرعي محدّد، انقر على النطاق الفرعي المطلوب في قوائم المضيفين على الصفحة المقصودة للنطاق الرئيسي. ولايتم عرض سوى أهم 20 نطاقًا فرعيًا تلقّى زيارات في آخر 90 يومًا.

أمثلة على عناوين URL

يمكنك النقر على أي من إدخالات نوع البيانات المجمّعة (الاستجابة أو نوع الملف أو الغرض أو نوع Googlebot) للاطّلاع على قائمة بعناوين URL من ذلك النوع.

أمثلة عناوين URL ليست شاملة، ولكنها تشكّل مثالاً توضيحيًّا. وإذا لم ترَ أحد عناوين URL مدرَجًا، لا يعني ذلك أننا لم نطلبه. وقد يستند عدد الأمثلة المرجّحة إلى اليوم، لذا قد تجد أن بعض أنواع الطلبات تتضمّن أمثلة أكثر من الأنواع الأخرى. ومن المفترض أن تتوازن الأعداد مع مرور الوقت.

إجمالي طلبات الزحف

إجمالي عدد طلبات الزحف الصادرة لعناوين URL على موقعك الإلكتروني، سواء كانت ناجحة أم لا. يتضمن هذا العدد الطلبات المتعلّقة بالموارد التي استخدمتها الصفحة إذا كانت هذه الموارد على موقعك الإلكتروني. لا يتم احتساب الطلبات إلى الموارد المستضافة خارج موقعك الإلكتروني. ويتم احتساب الطلبات المكرّرة لعنوان URL نفسه بشكل فردي. في حال كان ملف robots.txt متوفّرًا بشكل غير كافٍ، يتم احتساب عمليات جلب محتملة.

تشمل الطلبات غير الناجحة التي يتم احتسابها ما يلي:

إجمالي حجم عمليات التنزيل:

إجمالي عدد وحدات البايت التي تم تنزيلها من موقعك الإلكتروني أثناء الزحف خلال الفترة الزمنية المحدّدة. إذا خزّن محرك بحث Google مؤقتًا موردًا لصفحة يتم استخدامه في صفحات متعددة، يتم طلب المورد في المرة الأولى فقط (عندما يتم تخزينه مؤقتًا).

متوسط وقت الاستجابة

متوسط وقت الاستجابة لجميع الموارد التي تم جلبها من موقعك الإلكتروني خلال الفترة الزمنية المحدّدة. يتم احتساب كل مورد مرتبط بصفحة كاستجابة منفصلة.

حالة المضيف

تصف حالة المضيف ما إذا كان محرك البحث Google قد واجه مشاكل في مدى التوفّر عند محاولة الزحف إلى موقعك الإلكتروني أم لا. يمكن أن تكون الحالة إحدى القيم التالية:

  • No significant availability issues icon
    لم يواجه محرك البحث Google أي مشاكل كبيرة تتعلّق بمدى توفّر الزحف إلى موقعك الإلكتروني خلال آخر 90 يومًا. ممتاز! لن تحتاج إلى اتخاذ أي إجراء آخر.
  • Some availability issues, but not recently
    واجه محرك البحث Google مشكلة كبيرة واحدة على الأقل في ما يتعلّق بمدى توفّر الزحف إلى موقعك الإلكتروني خلال آخر 90 يومًا، لكن حدث ذلك قبل أكثر من أسبوع. ربما كان الخطأ مؤقتًا أو ربما تم حلّ المشكلة. يجب التحقق من جدول الاستجابة لمعرفة المشاكل التي حصلت، وتحديد ما إذا كنت بحاجة إلى اتخاذ أي إجراء.
  • Recent availability issue
    واجه محرك البحث Google خلال الأسبوع الماضي مشكلة كبيرة واحدة على الأقل في ما يتعلّق بمدى توفّر الزحف إلى موقعك الإلكتروني. وبما أنّ هذا الخطأ قد حدث مؤخرًا، يجب أن تحاول معرفة ما إذا كانت المشكلة متكرّرة أم لا. تحقق من جدول الاستجابة لمعرفة المشاكل التي حصلت وتحديد ما إذا كنت بحاجة إلى اتخاذ أي إجراء.
البيانات التي يجب الانتباه لها

يجب عادةً أن تكون حالة المضيف باللون الأخضر. إذا كانت حالة مدى التوفّر تظهر باللون الأحمر، انقر عليها لعرض تفاصيل مدى التوفّر الخاصة بملف robots.txt والتحويل باستخدام نظام أسماء النطاقات (DNS) والاتصال بالمضيف.

تفاصيل حالة المضيف

يتم تقييم حالة مدى توفّر المضيف في الفئات التالية. وقد يؤدي حدوث خطأ كبير في أي فئة إلى انخفاض حالة مدى التوفّر. انقر على فئة في التقرير للحصول على مزيد من التفاصيل.

لكل فئة، سترى رسمًا بيانيًا لبيانات الزحف خلال الفترة الزمنية المحددة. يحتوي المخطط على خط أحمر منقّط. إذا كان المقياس أعلى من الخط المنقّط لهذه الفئة (على سبيل المثال، إذا تعذّرت مطابقة نظام أسماء النطاقات في أكثر من 5% من الطلبات في يوم معيّن)، سيتم اعتبار ذلك مشكلة لهذه الفئة، كما ستوضّح الحالة مدى حداثة المشكلة الأخيرة.

  • جلب ملف robots.txt
    يعرض الرسم البياني معدّل الفشل لطلبات robots.txt أثناء الزحف. يطلب محرك البحث Google هذا الملف بشكل متكرّر، وإذا لم يعرض الطلب ملفًّا صالحًا (سواء تمت تعبئته أم كان فارغًا) أو رمز استجابة 404 (أي ملف غير موجود)، سيُخفِض عندها محرك البحث Google معدّل الزحف إلى موقعك الإلكتروني أو يوقف الزحف إليه إلى أن يحصل على استجابة ملف robots.txt مقبولة. (مزيد من التفاصيل أدناه)
  • التحويل باستخدام نظام أسماء النطاقات (DNS)
    يبيّن الرسم البياني الأوقات التي لم يتعرّف فيها خادم نظام أسماء النطاقات على اسم المضيف أو لم يستجِب فيها أثناء الزحف. إذا ظهرت لك أخطاء، يُرجى مراجعة جهة التسجيل للتأكّد من إعداد موقعك الإلكتروني بشكل صحيح ومن اتصال الخادم بالإنترنت.
  • إمكانية اتصال الخادم
    يعرض الرسم البياني الأوقات التي لم يستجِب فيها الخادم أو لم يوفّر استجابة كاملة لعنوان URL أثناء الزحف. راجِع الأخطاء في الخادم للاطّلاع على كيفية إصلاح هذه الأخطاء.
المزيد من التفاصيل حول مدى توفّر ملف robots.txt

في ما يلي وصف أكثر تفصيلاً لآلية Google في التحقق من ملفات robots.txt (واعتماده عليها) عند الزحف إلى موقعك الإلكتروني.

ليس من الضروري أن تستخدم ملف robots.txt على موقعك الإلكتروني، لكن يجب أن يتم عرض استجابة ناجحة (كما هو موضّح أدناه) عند طلب هذا الملف، وإلا قد يتوقف محرك البحث Google عن الزحف إلى موقعك الإلكتروني.

  • استجابات robots.txt ناجحة
  • أي مما يلي يُعتبر استجابة ناجحة:
    • HTTP 200 وملف robots.txt (يمكن أن يكون الملف صالحًا أو غير صالح أو فارغًا). إذا كان الملف يحتوي على أخطاء في البنية، سيظل الطلب ناجحًا، على الرغم من إمكانية تجاهل Google لأي قواعد تتضمّن خطأ في البنية.
    • HTTP 403/404/410 (الملف غير موجود). ليس من الضروري أن تستخدم ملف robots.txt على موقعك الإلكتروني.
  • استجابات robots.txt غير ناجحة

في ما يلي آلية Google في طلب ملفات robots.txt واستخدامها عند الزحف إلى موقع إلكتروني:

  1. قبل زحف محرك البحث Google إلى موقعك الإلكتروني، يتحقق أولاً من وجود طلب حديث ناجح لملف robots.txt (منذ أقل من 24 ساعة).
  2. إذا كانت لدى Google استجابة ناجحة حديثة لملف robots.txt، سيبدأ الزحف، مع الالتزام بقواعد robots.txt التي تم استردادها.
  3. في حال لم تكن لدى Google استجابة ناجحة حديثة لملف robots.txt أو إذا كانت الاستجابة الأخيرة غير ناجحة، سيطلب محرك البحث Google ملف robots.txt الخاص بك:
    • أما إذا كانت الاستجابة ناجحة، فيمكن أن يبدأ الزحف.
    • إذا كانت الاستجابة غير ناجحة، سيتوقّف محرك البحث Google عن الزحف، ولكن سيستمر بطلب ملف robots.txt لمدة 30 يومًا تقريبًا. إذا لم يتمكن محرك البحث Google من الحصول على استجابة ناجحة لملف robots.txt بعد 30 يومًا:
      • إذا كان الوصول إلى معظم عناوين URL الأخرى على الموقع الإلكتروني ممكنًا، يستخدم محرك البحث Google أحدث قواعد robots.txt التي تم جلبها بنجاح وينفّذ الزحف بناءً على ذلك.
      • إذا تعذّر الوصول إلى الموقع الإلكتروني بشكل عام، سيتوقّف محرك البحث Google عن الزحف إلى موقعك الإلكتروني شيئًا فشيئًا.
يتم احتساب عمليات الزحف التي يتم التخلّي عنها بسبب عدم توفّر ملف robots.txt ضمن إجمالي عدد عمليات الزحف. وبما أنّ عمليات الزحف هذه لم يتم تنفيذها، لن ترى أي بيانات لها في تقارير التجميع (عمليات الزحف حسب الغرض أو عمليات الزحف حسب الردّ وما إلى ذلك).

الاستجابة لطلبات الزحف

يعرض هذا الجدول الاستجابات التي تلقّاها محرك البحث Google عند الزحف إلى موقعك الإلكتروني، مجمَّعةً حسب نوع الاستجابة، على شكل نسبة مئوية من جميع استجابات الزحف. تستند البيانات إلى إجمالي عدد الطلبات، وليس حسب عنوان URL، لذلك إذا طلب محرك البحث Google عنوان URL مرّتين وتلقّى خطأ في الخادم (500) في المرة الأولى، وحسنًا (200) في المرة الثانية، ستكون الاستجابة 50% خطأ في الخادم و50% حسنًا.

البيانات التي يجب الانتباه لها
يجب أن تكون معظم الاستجابات 200 أو استجابات "جيدة" أخرى، إلا إذا كنت تُعيد تنظيم الموقع الإلكتروني أو تنقله. يُرجى مراجعة القائمة أدناه لمعرفة كيفية معالجة رموز الاستجابة الأخرى.

 

في ما يلي بعض رموز الاستجابة الشائعة وكيفية معالجتها:

رموز الاستجابة الجيدة

هذه الصفحات جيدة ولا تتسبب في حدوث أي مشاكل.

  • حسنًا (200): في الظروف العادية، يجب أن تكون أغلبية الاستجابات 200.
  • تم النقل نهائيًا (301): تعرض صفحتك استجابة HTTP 301 (تم النقل نهائيًا)، وهذا على الأرجح ما أردته.
  • تم النقل مؤقتًا (302): تعرض صفحتك استجابة HTTP 302 (تم النقل مؤقتًا)، وهذا على الأرجح ما أردته. إذا تم نقل هذه الصفحة نهائيًا، عليك تغيير الاستجابة إلى 301.
  • تم النقل (غير ذلك): تتم الاستجابة من خلال رمز إعادة توجيه 300 آخر (ليس 301 أو 302).
  • لم يتم التعديل (304): لم يتم إجراء أي تغيير على الصفحة منذ آخر طلب زحف.

رموز الاستجابة التي قد تكون جيدة

قد تكون هذه الاستجابات جيدة، ولكن عليك التحقق منها لمعرفة ما إذا كان هذا ما أردته.

  • تم الحظر باستخدام ملف robots.txt: تكون هذه الاستجابة عادةً هي ما تريده. ومع ذلك، يمكنك التأكّد من أنك لا تحظر أي صفحات أو موارد تريد أن يزحف إليها محرك البحث Google. مزيد من المعلومات حول ملفات robots.txt
  • قد تحدث أخطاء لم يتم العثور على الصفحة (404) بسبب روابط معطّلة على موقعك الإلكتروني أو خارجه. من غير الممكن أو المجدي أو المفضّل إصلاح جميع أخطاء 404 على موقعك الإلكتروني، وغالبًا ما يكون خطأ 404 هو الاستجابة الصحيحة (على سبيل المثال، إذا تمت إزالة الصفحة بدون توفير بديل). تعرَّف على طريقة حلّ أخطاء 404 أو ما إذا كان ذلك ضروريًا.

رموز استجابة سيئة

عليك إصلاح الصفحات التي تعرض هذه الأخطاء لتحسين عملية الزحف.

  • ملف robots.txt غير متاح: إذا بقي ملف robots.txt غير متاح لمدة يوم، سيتوقّف محرك البحث Google عن الزحف لفترة من الوقت حتى يتلقّى استجابة مقبولة لطلب ملف robots.txt. ويختلف هذا الخطأ عن الخطأ المقبول "لم يتم العثور على الصفحة" (404) لملف robots.txt. الاطّلاع على مزيد من التفاصيل حول ملف robots.txt
  • غير مسموح به (401/407): عليك حظر الزحف إلى هذه الصفحات باستخدام ملف robots.txt أو تحديد ما إذا كان يجب إلغاء حظرها. وإذا كانت هذه الصفحات لا تحتوي على بيانات آمنة وتريد أن يتم الزحف إليها، يمكنك نقل المعلومات إلى صفحات غير آمنة أو السماح لبرنامج Googlebot بالدخول إليها بدون الحاجة إلى تسجيل الدخول (يُرجى العلم بأنّ ثمة احتمال أن يتم انتحال هوية Googlebot، وبالتالي فإنّ السماح لبرنامج Googlebot بالدخول إلى الصفحة سيزيل أمانها).
  • خطأ في الخادم (5XX): تؤدي هذه الأخطاء إلى ظهور تحذيرات بشأن مدى التوفّر، ويجب إصلاحها إذا أمكن. يُظهر الرسم البياني للصور المصغّرة الوقت التقريبي الذي حدثت فيه هذه الأخطاء. انقر للاطّلاع على المزيد من التفاصيل وعلى الأوقات الدقيقة. حدِّد ما إذا كانت هذه المشاكل مرحلية أو تمثّل أخطاء أكثر تعقيدًا في مدى توفّر موقعك الإلكتروني. إذا كان محرك البحث Google يجري عمليات زحف زائدة إلى موقعك الإلكتروني، يمكنك طلب معدّل زحف أقل. إذا كان ذلك مؤشرًا على مشكلة خطيرة في مدى التوفّر، اطّلِع على معلومات عن حالات ارتفاع معدّل الزحف بشكل كبير. راجِع الأخطاء في الخادم للاطّلاع على كيفية إصلاح هذه الأخطاء.
  • خطأ عميل آخر (4XX): خطأ 4XX (من جهة العميل) آخر لم يتم تحديده هنا. من الأفضل حلّ هذه المشاكل.
  • عدم استجابة نظام أسماء النطاقات: لم يستجِب خادم نظام أسماء النطاقات الخاص بك لطلبات عناوين URL على موقعك الإلكتروني.
  • خطأ في نظام أسماء النطاقات: خطأ آخر غير محدّد في نظام أسماء النطاقات.
  • خطأ في الجلب: تعذّر جلب الصفحة بسبب رقم منفذ غير صحيح أو عنوان IP غير صالح أو استجابة غير قابلة للتحليل.
  • تعذّر الوصول إلى الصفحة: أي خطأ آخر في استرداد الصفحة، حيث لا يصل الطلب إلى الخادم مطلقًا. وبسبب عدم وصول هذه الطلبات إلى الخادم مطلقًا، لن تظهر هذه الطلبات في سجلّاتك.
  • مهلة الصفحة: انتهت مهلة طلب الصفحة.
  • خطأ في إعادة التوجيه: خطأ في إعادة توجيه الطلب، على سبيل المثال، عدد كبير جدًا من عمليات إعادة التوجيه أو إعادة توجيه فارغة أو إعادة توجيه دائرية.
  • خطأ آخر: خطأ آخر لا يندرج ضمن أي من الفئات المذكورة أعلاه.

أنواع الملفات التي تم الزحف إليها

نوع الملف الذي يعرضه الطلب. النسبة المئوية لكل نوع هي النسبة المئوية للاستجابات من هذا النوع، وليس النسبة المئوية لوحدات البايت التي تم استردادها من هذا النوع.

القيم المتاحة:

  • HTML
  • صورة
  • فيديو: أحد تنسيقات الفيديو المتاحة
  • JavaScript
  • CSS
  • PDF
  • ملف XML آخر: ملف XML لا يشمل RSS أو KML أو أي تنسيقات أخرى تم إنشاؤها فوق XML.
  • JSON
  • مشاركة: خلاصة RSS أو Atom
  • صوت
  • بيانات المواقع الجغرافية: KML أو بيانات جغرافية أخرى.
  • نوع ملف آخر: نوع ملف آخر لم يتم تحديده هنا.
  • غير معروف (فشل): إذا تعذّر إجراء الطلب، هذا يعني أنّ نوع الملف غير معروف.
ما يُفترض التحقق منه
إذا كنت تواجه مشاكل في مدى التوفّر أو معدّلات استجابة بطيئة، تحقّق من هذا الجدول للتعرّف على أنواع الموارد التي يزحف إليها محرك البحث Google ومعرفة أسباب البطء في الزحف. هل يطلب محرك البحث Google العديد من الصور الصغيرة التي يجب حظرها؟ هل يطلب محرك البحث Google موارد تتم استضافتها على موقع إلكتروني آخر أقل استجابة؟ انقر على أنواع ملفات مختلفة للاطّلاع على رسم بياني حول متوسط وقت الاستجابة حسب التاريخ وعدد الطلبات حسب التاريخ، وذلك لمعرفة ما إذا كانت حالات الارتفاع في الاستجابات البطيئة من هذا النوع تتوافق مع حالات الارتفاع في البطء أو عدم التوفّر بشكل عام.

الغرض من الزحف

  • الاستكشاف: لم يسبق أن زحف محرك البحث Google إلى عنوان URL المطلوب.
  • إعادة التحميل: إعادة الزحف إلى صفحة معروفة.

وإذا كان موقعك الإلكتروني يتضمّن صفحات يتم تعديلها بوتيرة عالية ولا تتم إعادة الزحف إليها بشكل كافٍ، يُرجى التأكّد من تضمينها في ملف Sitemap. بالنسبة إلى الصفحات التي يتم تعديلها بوتيرة أقل، قد تحتاج إلى طلب إعادة الزحف إليها بشكل فردي. إذا أضفت مؤخرًا كمية كبيرة من المحتوى الجديد أو أرسلت ملف Sitemap، من المفترض أن ترى ارتفاعًا ملحوظًا في عدد عمليات الزحف الاستكشافي إلى موقعك الإلكتروني.

نوع برنامج Googlebot

نوع وكيل المستخدم المستعمل لتقديم طلب الزحف. يشمل محرك البحث Google عددًا من برامج وكلاء المستخدم، وتختلف أسباب زحفها وسلوكياتها. وتتوفّر الأنواع التالية:

  • الهاتف الذكي: Googlebot للهاتف الذكي
  • جهاز كمبيوتر سطح المكتب: Googlebot لجهاز كمبيوتر سطح المكتب
  • الصورة: Googlebot للصور إذا تم تحميل الصورة كمورد للصفحة، يتم احتساب نوع Googlebot على أنه تحميل مورد الصفحة، وليس على أنه صورة.
  • الفيديو: Googlebot للفيديو. إذا تم تحميل الفيديو كمصدر للصفحة، يتم احتساب نوع Googlebot على أنه تحميل مورد الصفحة، وليس على أنه فيديو.
  • تحميل مورد الصفحة: جلب ثانوي للموارد التي تستخدمها صفحتك. عندما يزحف محرك البحث Google إلى الصفحة، يجلب الموارد المهمة ذات الصلة، مثل الصور أو ملفات CSS، وذلك من أجل عرض الصفحة قبل محاولة فهرستها. إنه وكيل المستخدم الذي يقدّم طلبات الموارد هذه.
  • AdsBot: أحد برامج الزحف AdsBot. إذا لاحظت ارتفاعًا في هذه الطلبات، من المرجّح أنك قد أنشأت مؤخرًا عددًا من الاستهدافات الجديدة للإعلانات الديناميكية على شبكة البحث على موقعك الإلكتروني. اطّلِع على القسم لماذا ازداد معدّل الزحف على موقعي الإلكتروني. يزحف AdsBot إلى عناوين URL كل أسبوعين تقريبًا.
  • StoreBot: هو برنامج الزحف لتسوّق المنتجات.
  • نوع وكيل آخر: زاحف Google آخر لم يتم تحديده هنا.

يجب أن تأتي معظم طلبات الزحف من الزاحف الأساسي. إذا كنت تلاحظ ارتفاعًا حادًّا في معدّل الزحف، تحقّق من نوع وكيل المستخدم. إذا كانت الارتفاع الحاد في معدّل الزحف ناتجًا عن زاحف AdsBot، اطّلِع على لماذا ارتفع معدّل الزحف على موقعي الإلكتروني.

تحديد المشاكل وحلّها

معدّل الزحف مرتفع جدًا

يستخدم Googlebot خوارزميات لمنعه من تحميل موقعك الإلكتروني عبئًا زائدًا أثناء الزحف. مع ذلك، إذا كنت تريد تخفيض معدّل الزحف لسبب ما، اطّلِع على كيفية إجراء ذلك هنا.

بعض النصائح لتخفيض معدّل الزحف:

  • عدِّل ملف robots.txt لحظر الصفحات التي لا تريد أن يتم الزحف إليها.
  • يمكنك ضبط حدّ أقصى مفضّل لمعدّل الزحف في Search Console كحلّ قصير المدى. لا ننصحك باستخدام هذا الحلّ على المدى الطويل، لأنّه لا يتيح لك إخبارنا تحديدًا بالصفحات أو الموارد التي تريد أن يتم الزحف إليها مقارنة بتلك التي لا تريد أن يتم الزحف إليها.
  • تأكّد من عدم السماح بالزحف إلى الصفحات التي تحتوي على نتائج "غير محدودة"، مثل تقويم غير محدود أو صفحة بحث غير محدودة. ويمكنك حظر هذه الصفحات باستخدام ملف robots.txt أو علامات nofollow.
  • إذا لم تعُد عناوين URL موجودة أو تم نقلها، تأكّد من عرض رموز الاستجابة الصحيحة: استخدِم رمز 404 أو 410 لعناوين URL التي لم تعُد موجودة أو غير الصالحة، واستخدِم رمز 301 في عمليات إعادة التوجيه لعناوين URL التي تم استبدالها بشكل دائم بعناوين أخرى (أو 302 إذا كانت العناوين مؤقتة)، واستخدِم رمز 503 لفترة توقف العمل المخطط لها والمؤقّتة، بالإضافة إلى ذلك، تأكّد من أنّ خادمك يعرض الخطأ 500 في حال رصد مشاكل لا يستطيع معالجتها.
  • إذا كان الحمل زائدًا على موقعك الإلكتروني وكنت تحتاج إلى إجراء تخفيض طارئ في معدّل الزحف إليه، يمكنك الاطّلاع على القسم ما سبب الارتفاع الحادّ في معدّل الزحف إلى موقعي الإلكتروني؟ أدناه.

ما سبب الارتفاع الحادّ في معدّل الزحف إلى موقعي الإلكتروني؟

في حال أضفت كمية كبيرة من المعلومات الجديدة أو كان لديك بعض المعلومات المفيدة على موقعك الإلكتروني، قد يتم الزحف إليه بمعدّل مرتفع. مثلاً:

  • لقد أزلت حظر الزحف عن قسم كبير من موقعك الإلكتروني.
  • لقد أضفت قسمًا جديدًا وكبيرًا من موقعك الإلكتروني.
  • لقد أضفت عددًا كبيرًا من الاستهدافات الجديدة للإعلانات الديناميكية على شبكة البحث من خلال إضافة خلاصات صفحات جديدة أو قواعد URL_Equals.

إذا كان يتمّ الزحف إلى موقعك الإلكتروني بدرجة كبيرة بحيث بدأ موقعك يواجه مشاكل في توفّره، إليك كيفية حمايته:

  1. حدِّد زاحف Google الذي يزحف إلى موقعك الإلكتروني بشكل زائد. اطّلِع على سجلات موقعك الإلكتروني أو استخدِم تقرير إحصاءات الزحف.
  2. الحلّ الفوري:
    • إذا كنت تريد حلاً بسيطًا، استخدِم robots.txt لحظر الزحف على الوكيل الذي يفرط في تحميل موقعك الإلكتروني (googlebot أو adsbot أو غير ذلك). وقد يستغرق هذا الإجراء يومًا واحدًا كي يدخل حيّز التنفيذ.
    • إذا تمكّنت من اكتشاف التحميل المتزايد ومعالجته ديناميكيًا، يمكنك عرض رمزَي الحالة 5XX أو 429 لبروتوكول HTTP عندما تقترب من بلوغ حدّ العرض المسموح به لمحتوى موقعك الإلكتروني. احرص على عدم عرض رمزَي الحالة 5XX أو 429 لمدة تزيد عن يومين أو ثلاثة أيام، وإلا فقد يؤدّي ذلك إلى الطلب من Google الزحف إلى موقعك بمعدّل أقلّ على المدى الطويل.
  3. يمكنك تغيير معدّل الزحف باستخدام صفحة إعدادات "سرعة الزحف"، إذا كان الخيار متاحًا.
  4. بعد يومين أو ثلاثة أيام، بعدما يطبّق محرّك البحث Google التغيير الذي أجريته على معدّل الزحف، يمكنك إزالة عمليات الحظر بواسطة robots.txt أو إيقاف عرض رموز الخطأ الواردة في الخطوة 1.
  5. إذا كان الحمل زائدًا على موقعك الإلكتروني بسبب عمليات زحف AdsBot، من المرجح أنّ سبب المشكلة هو أنك أنشأت عددًا كبيرًا جدًا من الأهداف للإعلانات الديناميكية على شبكة البحث على موقعك الإلكتروني باستخدام URL_Equals أو خلاصات الصفحات. إذا لم تتوفر لديك سعة الخادم اللازمة للتعامل مع عمليات الزحف هذه، عليك إما الحدّ من استهدافات الإعلانات أو إضافة عناوين URL على دفعات أصغر أو زيادة سعة العرض. تجدر الإشارة إلى أنّ AdsBot سيزحف إلى صفحاتك كل أسبوعَين، لذا عليك إصلاح المشكلة لتجنّب تكرارها.
  6. في حال الحدّ من معدّل الزحف باستخدام صفحة إعدادات الزحف، سيعود معدّل الزحف إلى الإعدادات التلقائية بعد 90 يومًا.

معدّل الزحف منخفض جدًا

لا يمكن الطلب من محرك البحث Google زيادة معدّل الزحف (ما لم تكن قد خفضته بشكل صريح على موقعك الإلكتروني). يمكنك الاطّلاع على المزيد من المعلومات حول كيفية إدارة الزحف إلى المواقع الإلكترونية الكبيرة أو التي يتم تعديلها بشكلٍ متكرّر.

بالنسبة إلى المواقع الإلكترونية الصغيرة أو المتوسطة، إذا لم يزحف محرك البحث Google إلى جميع صفحات الموقع الإلكتروني، يمكنك تعديل ملفات Sitemap الخاصة بموقعك الإلكتروني والتأكّد من أنك لا تحظر أي صفحات.

لماذا انخفض معدّل الزحف إلى موقعي الإلكتروني؟

بشكل عام، يجب أن يكون معدل زحف Google التابع لك مستقرًا نسبيًا خلال فترة زمنية تبلغ أسبوعًا أو اثنين؛ أما في حالة رؤية انخفاض مفاجئ، فإليك بضعة أسباب محتملة لذلك الانخفاض:

  • أضفت قاعدة جديدة (أو واسعة جدًا) لملف robots.txt. تأكد من حظر الموارد التي تحتاج إليها فقط. إذا كان محرك البحث Google يحتاج إلى موارد معيّنة، مثل ملفات CSS أو JavaScript لفهم المحتوى، تأكد من أنك لا تحظرها من خلال Googlebot.
  • وجود رموز HTML غير صالحة أو محتوى غير مسموح به على صفحاتك: إذا تعذّر على Googlebot تحليل محتوى الصفحة، ربما يكون سبب ذلك أنها تستخدم نوع وسائط غير مسموح به أو أنها تحتوى على صور فقط، وبالتالي لن يتمكن Googlebot من الزحف إليها. استخدِم أداة فحص عنوان URL للاطّلاع على الشكل الذي تظهر به صفحتك لبرنامج Googlebot.
  • إذا كان موقعك يستجيب ببطء للطلبات، سيقلّل برنامج Googlebot من طلباته لتجنّب تحميل عبء زائد على خادمك. تحقق من تقرير إحصاءات الزحف لمعرفة ما إذا كان موقعك يستجيب ببطء أكثر.
  • في حال ارتفاع معدّل الخطأ على الخادم، سيخفف Googlebot من طلباته لتجنب تحميل الخادم عبئًا زائدًا.
  • تأكّد من عدم تخفيض الحدّ الأقصى المفضّل لمعدل الزحف.
  • إذا كان موقعك يحتوي على معلومات تتغير بوتيرة أقل، أو ليست ذات جودة عالية جدًا، فقد لا نزحف إليه في كثير من الأحيان. لهذا السبب، ننصحك بتقييم موقعك الإلكتروني بموضوعية والحصول على ملاحظات وآراء محايدة من أشخاص غير مرتبطين به، ثم تحديد الجوانب التي يجب تحسينها والتفكير في كيفية تحسين الأداء العام لموقعك الإلكتروني.

إجمالي عدد عمليات الزحف أكبر بكثير من الأرقام الإجمالية في سجلّات الزحف أو قسم تفاصيل الزحف

إذا كان إجمالي عدد عمليات الزحف يبدو أعلى بكثير من الإجماليات الواردة في أقسام تفاصيل طلبات الزحف (حسب الاستجابة، حسب النوع، وما إلى ذلك)، فقد يحدث ذلك عندما يتعذّر على Google الزحف إلى موقعك الإلكتروني نظرًا لأن ملف robots.txt غير متاح لفترة طويلة جدًا. وفي هذه الحالة، يحسب محرّك البحث Google عمليات الزحف التي كان من المفترض أن يجريها لو كان ملف robots.txt متاحًا، ولكنه لا يُجري هذه العمليات فعليًا. لذلك، عليك التحقق من حالة جلب ملف robots.txt للتأكّد مما إذا كانت هذه هي المشكلة.

هل كان ذلك مفيدًا؟
كيف يمكننا تحسينها؟