فعالية الزحف: كيفية رفع مستوى تحسين الزحف

ليس مضمونًا أن يزحف Googlebot إلى كل عنوان URL يمكنه الوصول إليه على موقعك. على العكس من ذلك ، تفتقد الغالبية العظمى من المواقع لجزء كبير من الصفحات.

في الواقع ، ليس لدى Google الموارد اللازمة للزحف إلى كل صفحة يعثر عليها. جميع عناوين URL التي اكتشفها Googlebot ، ولكن لم يتم الزحف إليها بعد ، إلى جانب عناوين URL التي ينوي إعادة الزحف إليها ، تحظى بالأولوية في قائمة انتظار الزحف.

هذا يعني أن Googlebot يزحف فقط إلى أولئك الذين تم تعيين أولوية عالية كافية لهم. ونظرًا لأن قائمة انتظار الزحف ديناميكية ، فإنها تتغير باستمرار أثناء معالجة Google لعناوين URL الجديدة. ولا تنضم جميع عناوين URL في الجزء الخلفي من قائمة الانتظار.

إذن ، كيف يمكنك التأكد من أن عناوين URL الخاصة بموقعك هي شخصيات مهمة وتقفز على الخط؟

يعد الزحف أمرًا مهمًا للغاية بالنسبة إلى تحسين محركات البحث

من أجل رؤية المحتوى ، يجب على Googlebot الزحف إليه أولاً.

لكن الفوائد أكثر دقة من ذلك لأنه كلما زادت سرعة الزحف إلى الصفحة عندما تكون:

• تم إنشاؤه ، كلما ظهر المحتوى الجديد على Google في وقت مبكر. هذا مهم بشكل خاص لاستراتيجيات المحتوى محدودة الوقت أو الأولى في السوق.
• تم تحديثه ، كلما بدأ المحتوى الذي تم تحديثه في التأثير على التصنيفات. هذا مهم بشكل خاص لكل من استراتيجيات إعادة نشر المحتوى وأساليب تحسين محركات البحث التقنية.

على هذا النحو ، يعد الزحف ضروريًا لجميع زياراتك العضوية. ومع ذلك ، يُقال في كثير من الأحيان إن تحسين الزحف مفيد فقط لمواقع الويب الكبيرة.

لكن الأمر لا يتعلق بحجم موقع الويب الخاص بك ، أو يتم تحديث محتوى التردد أو ما إذا كان لديك استثناءات "تم اكتشافها - غير مفهرسة حاليًا" في Google Search Console.

يعد تحسين الزحف مفيدًا لكل موقع ويب. يبدو أن المفهوم الخاطئ لقيمته يحفز من القياسات التي لا معنى لها ، وخاصة ميزانية الزحف.

ميزانية الزحف لا تهم

في كثير من الأحيان ، يتم تقييم الزحف بناءً على ميزانية الزحف. هذا هو عدد عناوين URL التي سيزحف إليها Googlebot في فترة زمنية معينة على موقع ويب معين.

تقول جوجل إنه يتحدد بعاملين:

• حد معدل الزحف (أو ما يمكن لبرنامج Googlebot الزحف إليه): السرعة التي يستطيع بها Googlebot جلب موارد موقع الويب دون التأثير على أداء الموقع. بشكل أساسي ، يؤدي الخادم المستجيب إلى معدل زحف أعلى.
• طلب الزحف (أو ما يريد Googlebot الزحف إليه): عدد عناوين URL التي يزورها Googlebot أثناء عملية زحف واحدة بناءً على الطلب على (إعادة) الفهرسة ، والذي يتأثر بشعبية محتوى الموقع وفساده.

بمجرد أن "ينفق" Googlebot ميزانية الزحف الخاصة به ، فإنه يتوقف عن الزحف إلى الموقع.

لا تقدم Google رقمًا لميزانية الزحف. أقرب ما يأتي هو عرض إجمالي طلبات الزحف في تقرير إحصائيات الزحف في Google Search Console.

لقد بذل الكثير من مُحسنات محركات البحث ، بمن فيهم أنا في الماضي ، جهودًا كبيرة لمحاولة استنتاج ميزانية الزحف.

الخطوات التي يتم تقديمها غالبًا هي شيء على غرار:

• حدد عدد الصفحات القابلة للزحف الموجودة لديك على موقعك ، ونوصي غالبًا بالنظر في عدد عناوين URL في خريطة موقع XML أو قم بتشغيل زاحف غير محدود.
• احسب متوسط ​​عمليات الزحف يوميًا عن طريق تصدير تقرير إحصائيات الزحف في Google Search Console أو بناءً على طلبات Googlebot في ملفات السجل.
• اقسم عدد الصفحات على متوسط ​​عمليات الزحف في اليوم. غالبًا ما يُقال ، إذا كانت النتيجة أعلى من 10 ، ركز على تحسين ميزانية الزحف.

ومع ذلك ، فإن هذه العملية إشكالية.

ليس فقط لأنه يفترض أن كل عنوان URL يتم الزحف إليه مرة واحدة ، بينما في الواقع يتم الزحف إلى بعضها عدة مرات ، والبعض الآخر لا يتم الزحف إليه على الإطلاق.

ليس فقط لأنه يفترض أن الزحف الواحد يساوي صفحة واحدة. عندما تكون في الواقع ، قد تتطلب صفحة واحدة العديد من عمليات الزحف إلى عناوين URL لجلب الموارد (JS ، CSS ، إلخ) المطلوبة لتحميلها.

ولكن الأهم من ذلك ، لأنه عندما يتم اختصاره إلى مقياس محسوب مثل متوسط ​​الزحف في اليوم ، فإن ميزانية الزحف ليست سوى مقياس للغرور.

أي تكتيك يهدف إلى "الزحف إلى تحسين الميزانية" (المعروف أيضًا باسم ، بهدف زيادة المبلغ الإجمالي للزحف باستمرار) هو مهمة خادعة.

لماذا يجب أن تهتم بزيادة العدد الإجمالي لعمليات الزحف إذا تم استخدامه على عناوين URL عديمة القيمة أو الصفحات التي لم يتم تغييرها منذ آخر عملية زحف؟ لن تساعد عمليات الزحف هذه في أداء تحسين محركات البحث.

بالإضافة إلى ذلك ، يعرف أي شخص سبق له الاطلاع على إحصائيات الزحف أنها تتقلب ، غالبًا بشكل كبير جدًا ، من يوم إلى آخر اعتمادًا على أي عدد من العوامل. قد ترتبط هذه التقلبات أو لا ترتبط بالفهرسة السريعة (إعادة) للصفحات ذات الصلة بـ SEO.

إن ارتفاع أو انخفاض عدد عناوين URL التي يتم الزحف إليها ليس جيدًا ولا سيئًا في جوهره.

فعالية الزحف هي SEO KPI

بالنسبة للصفحة (الصفحات) التي تريد فهرستها ، يجب ألا يكون التركيز على ما إذا كان قد تم الزحف إليها بل على مدى سرعة الزحف إليها بعد نشرها أو تغييرها بشكل ملحوظ.

بشكل أساسي ، الهدف هو تقليل الوقت بين إنشاء أو تحديث الصفحة ذات الصلة بـ SEO والزحف التالي لـ Googlebot. أسمي هذا الوقت تأخير فعالية الزحف.

الطريقة المثلى لقياس فعالية الزحف هي حساب الفرق بين إنشاء قاعدة البيانات أو تحديث التاريخ والوقت وزحف Googlebot التالي لعنوان URL من ملفات سجل الخادم.

إذا كان من الصعب الوصول إلى نقاط البيانات هذه ، فيمكنك أيضًا استخدام تاريخ lastmod لخريطة موقع XML وكوكيل للاستعلام عن عناوين URL في Google Search Console URL Inspection API لحالة الزحف الأخيرة (بحد أقصى 2000 استفسار في اليوم).

بالإضافة إلى ذلك ، باستخدام واجهة برمجة تطبيقات فحص عنوان URL ، يمكنك أيضًا تتبع متى تتغير حالة الفهرسة لحساب فعالية الفهرسة لعناوين URL المنشأة حديثًا ، والتي تمثل الفرق بين النشر والفهرسة الناجحة.

لأن الزحف دون أن يكون له تدفق على التأثير على حالة الفهرسة أو معالجة تحديث محتوى الصفحة هو مجرد مضيعة.

تعد فعالية الزحف مقياسًا قابلاً للتنفيذ لأنه كلما انخفض ، يمكن عرض محتوى أكثر أهمية لتحسين محركات البحث لجمهورك عبر Google.

يمكنك أيضًا استخدامه لتشخيص مشكلات تحسين محركات البحث. تعمق في أنماط عناوين URL لفهم مدى سرعة الزحف إلى المحتوى من أقسام مختلفة من موقعك وما إذا كان هذا هو ما يعيق الأداء العضوي.

إذا رأيت أن Googlebot يستغرق ساعات أو أيامًا أو أسابيع للزحف وبالتالي فهرسة المحتوى الذي تم إنشاؤه حديثًا أو الذي تم تحديثه مؤخرًا ، فما الذي يمكنك فعله حيال ذلك؟

7 خطوات لتحسين الزحف

يتعلق تحسين الزحف بتوجيه Googlebot للزحف إلى عناوين URL المهمة يصوم عند إعادة نشرها. اتبع الخطوات السبع أدناه.

1. ضمان استجابة خادم سريعة وصحية

يعد الخادم عالي الأداء أمرًا بالغ الأهمية. سيبطئ Googlebot أو يتوقف عن الزحف عندما:

• يؤثر الزحف على موقعك في الأداء. على سبيل المثال ، كلما زاد الزحف ، كان وقت استجابة الخادم أبطأ.
• يستجيب الخادم بعدد ملحوظ من الأخطاء أو انتهاء مهلات الاتصال.

على الجانب الآخر ، يمكن أن يؤدي تحسين سرعة تحميل الصفحة ، مما يتيح عرض المزيد من الصفحات ، إلى قيام Googlebot بالزحف إلى المزيد من عناوين URL في نفس الفترة الزمنية. هذه فائدة إضافية بالإضافة إلى سرعة الصفحة كونها تجربة المستخدم وعامل الترتيب.

إذا لم تكن قد فعلت ذلك بالفعل ، ففكر في دعم HTTP / 2 ، لأنه يتيح القدرة على طلب المزيد من عناوين URL بحمل مماثل على الخوادم.

ومع ذلك ، فإن العلاقة بين الأداء وحجم الزحف تصل إلى حد معين فقط . بمجرد تجاوز هذا الحد ، والذي يختلف من موقع لآخر ، فمن غير المرجح أن ترتبط أي مكاسب إضافية في أداء الخادم بزيادة طفيفة في الزحف.

كيفية التحقق من صحة الخادم

تقرير إحصائيات الزحف في Google Search Console:

• حالة المضيف: يظهر علامات التجزئة الخضراء.
• أخطاء 5xx: تشكل أقل من 1٪.
• مخطط وقت استجابة الخادم: يتجه أقل من 300 مللي ثانية.

2. تنظيف المحتوى منخفض القيمة

إذا كان هناك قدر كبير من محتوى الموقع قديمًا أو مكررًا أو بجودة منخفضة ، فإنه يتسبب في تنافس نشاط الزحف ، مما قد يؤدي إلى تأخير فهرسة المحتوى الجديد أو إعادة فهرسة المحتوى المحدث.

أضف إلى ذلك أن التنظيف المنتظم للمحتوى ذي القيمة المنخفضة يقلل أيضًا من تضخم الفهرس وتفكيك الكلمات الرئيسية ، وهو مفيد لتجربة المستخدم ، وهذا أمر لا يفكر فيه تحسين محركات البحث.

دمج المحتوى مع إعادة التوجيه 301 ، عندما يكون لديك صفحة أخرى يمكن اعتبارها بديلاً واضحًا ؛ إن فهم هذا سيكلفك مضاعفة الزحف للمعالجة ، لكنه تضحية جديرة بالاهتمام من أجل قيمة الارتباط.

إذا لم يكن هناك محتوى مكافئ ، فإن استخدام 301 لن يؤدي إلا إلى خطأ soft 404. أزل مثل هذا المحتوى باستخدام رمز الحالة 410 (الأفضل) أو 404 (أقرب ثانية) لإعطاء إشارة قوية بعدم الزحف إلى عنوان URL مرة أخرى.

كيفية التحقق من وجود محتوى منخفض القيمة

عدد عناوين URL في تقرير صفحات Google Search Console "التي تم الزحف إليها - غير المفهرسة حاليًا" الاستبعادات. إذا كان هذا مرتفعًا ، فراجع العينات المقدمة لأنماط المجلد أو مؤشرات المشكلات الأخرى.

3. مراجعة ضوابط الفهرسة

Rel = الروابط الأساسية تعد تلميحًا قويًا لتجنب مشكلات الفهرسة ، ولكن غالبًا ما يتم الاعتماد عليها بشكل مفرط وينتهي بها الأمر إلى التسبب في مشكلات الزحف حيث أن كل عنوان URL أساسي يكلف ما لا يقل عن عمليتي زحف ، أحدهما لنفسه والآخر لشريكه.

وبالمثل ، فإن توجيهات noindex robots مفيدة لتقليل تضخم الفهرس ، ولكن يمكن أن يؤثر العدد الكبير سلبًا على الزحف - لذا استخدمها عند الضرورة فقط.

في كلتا الحالتين ، اسأل نفسك:

• هل توجيهات الفهرسة هذه هي الطريقة المثلى للتعامل مع تحدي تحسين محركات البحث؟
• هل يمكن دمج بعض مسارات URL أو إزالتها أو حظرها في ملف robots.txt؟

إذا كنت تستخدمه ، فأعد النظر بجدية في AMP كحل تقني طويل المدى.

من خلال تحديث تجربة الصفحة الذي يركز على مؤشرات الويب الأساسية وإدراج صفحات غير AMP في جميع تجارب Google طالما أنك تفي بمتطلبات سرعة الموقع ، ألق نظرة فاحصة على ما إذا كانت AMP تستحق الزحف المزدوج.

كيفية التحقق من الاعتماد المفرط على ضوابط الفهرسة

عدد عناوين URL في تقرير تغطية Google Search Console المصنفة ضمن الاستبعادات دون سبب واضح:

• صفحة بديلة مع علامة أساسية مناسبة.
• تم استبعاده بواسطة علامة noindex.
• مكرر ، اختار Google نسخة أساسية مختلفة عن المستخدم.
• عنوان URL مكرر ، تم إرساله ولم يتم تحديده على أنه أساسي.

4. أخبر عناكب محرك البحث بما يجب الزحف إليه ومتى

يعد ملف Sitemap بتنسيق XML أداة أساسية لمساعدة Googlebot في تحديد أولويات عناوين URL للمواقع المهمة والتواصل عند تحديث هذه الصفحات.

للحصول على إرشادات فعالة للزاحف ، تأكد من:

• قم فقط بتضمين عناوين URL القابلة للفهرسة والقيمة لـ SEO - بشكل عام ، 200 رمز حالة ، صفحات محتوى أصلي متعارف عليها مع علامة "فهرس ، اتبع" الروبوتات التي تهتم بظهورها في SERPs.
• قم بتضمين علامات الطابع الزمني <lastmod> الدقيقة على عناوين URL الفردية وخريطة الموقع نفسها في أقرب وقت ممكن من الوقت الفعلي.

لا يتحقق محرك بحث Google من ملف Sitemap في كل مرة يتم فيها الزحف إلى أحد المواقع. لذلك عندما يتم تحديثه ، من الأفضل إرسال انتباه Google إليه. للقيام بذلك ، أرسل طلب GET في متصفحك أو سطر الأوامر إلى:

بالإضافة إلى ذلك ، حدد المسارات إلى خريطة الموقع في ملف robots.txt وأرسلها إلى Google Search Console باستخدام تقرير خرائط المواقع.

كقاعدة عامة ، سيزحف محرك بحث Google إلى عناوين URL في ملفات Sitemap أكثر من غيرها. ولكن حتى إذا كانت نسبة مئوية صغيرة من عناوين URL في ملف Sitemap الخاص بك منخفضة الجودة ، فقد يمنع ذلك Googlebot من استخدامه في اقتراحات الزحف.

تضيف خرائط مواقع XML والروابط عناوين URL إلى قائمة انتظار الزحف العادية. هناك أيضًا قائمة انتظار ذات أولوية الزحف ، حيث توجد طريقتان للدخول.

أولاً ، بالنسبة لأولئك الذين لديهم وظائف شاغرة أو مقاطع فيديو مباشرة ، يمكنك إرسال عناوين URL إلى واجهة برمجة تطبيقات الفهرسة من Google.

أو إذا كنت تريد جذب انتباه Microsoft Bing أو Yandex ، فيمكنك استخدام IndexNow API لأي عنوان URL. ومع ذلك ، في الاختبار الذي أجريته ، كان له تأثير محدود على الزحف إلى عناوين URL. لذلك إذا كنت تستخدم IndexNow ، فتأكد من مراقبة فعالية الزحف لـ Bingbot.

ثانيًا ، يمكنك طلب الفهرسة يدويًا بعد فحص عنوان URL في Search Console. على الرغم من ذلك ، ضع في اعتبارك أن هناك حصة يومية من 10 عناوين URL ولا يزال الزحف يستغرق بضع ساعات. من الأفضل أن ترى هذا على أنه تصحيح مؤقت أثناء الحفر لاكتشاف جذر مشكلة الزحف لديك.

كيفية التحقق من وجود إرشادات الزحف الأساسية لبرنامج Googlebot

في Google Search Console ، يعرض ملف Sitemap بتنسيق XML الحالة "نجاح" وقد تمت قراءته مؤخرًا.

5. أخبر عناكب محرك البحث بما لا يجب الزحف إليه

قد تكون بعض الصفحات مهمة للمستخدمين أو وظائف الموقع ، ولكنك لا تريدها أن تظهر في نتائج البحث. منع مسارات عناوين URL هذه من تشتيت انتباه برامج الزحف باستخدام ملف robots.txt غير مسموح به. يمكن أن يشمل ذلك:

• واجهات برمجة التطبيقات و CDNs . على سبيل المثال ، إذا كنت أحد عملاء Cloudflare ، فتأكد من عدم السماح بالمجلد / cdn-cgi / الذي تمت إضافته إلى موقعك.
• الصور أو البرامج النصية أو ملفات الأنماط غير المهمة ، إذا لم تتأثر الصفحات التي تم تحميلها بدون هذه الموارد بشكل كبير بالفقد.
• صفحة وظيفية ، مثل عربة تسوق.
• المسافات اللانهائية ، مثل تلك التي تم إنشاؤها بواسطة صفحات التقويم.
• صفحات المعلمات . خاصةً تلك الموجودة في التنقل متعدد الأوجه الذي يقوم بالتصفية (على سبيل المثال ،؟ price-range = 20-50) ، أو إعادة الترتيب (على سبيل المثال ،؟ sort =) أو البحث (على سبيل المثال ،؟ q =) حيث يتم احتساب كل مجموعة مفردة بواسطة برامج الزحف كصفحة منفصلة.

ضع في اعتبارك عدم حظر معلمة ترقيم الصفحات تمامًا. غالبًا ما يكون ترقيم الصفحات القابل للزحف حتى نقطة معينة ضروريًا لبرنامج Googlebot لاكتشاف المحتوى ومعالجة حقوق الارتباط الداخلية. (تحقق من ندوة Semrush عبر الويب حول ترقيم الصفحات لمعرفة المزيد من التفاصيل حول السبب.)

وعندما يتعلق الأمر بالتتبع ، بدلاً من استخدام علامات UTM المدعومة بالمعلمات (المعروف أيضًا باسم "؟") ، استخدم المراسي (المعروفة أيضًا باسم "#"). يقدم نفس مزايا إعداد التقارير في Google Analytics دون أن يكون قابلاً للزحف.

كيفية التحقق من عدم قيام Googlebot بالزحف إلى الإرشادات

راجع نموذج عناوين URL "مفهرسة ، لم يتم إرسالها في ملف Sitemap" في Google Search Console. بتجاهل الصفحات الأولى من ترقيم الصفحات ، ما المسارات الأخرى التي تجدها؟ هل يجب تضمينها في خريطة موقع XML ، أم منع الزحف إليها أم السماح بذلك؟

راجع أيضًا قائمة "المكتشفة - غير المفهرسة حاليًا" - التي تحظر في ملف robots.txt أي مسارات عناوين URL تقدم قيمة منخفضة أو معدومة لـ Google.

للانتقال بهذا إلى المستوى التالي ، راجع جميع عمليات الزحف إلى Googlebot على الهواتف الذكية في ملفات سجل الخادم بحثًا عن مسارات عديمة القيمة.

6. نظم الروابط ذات الصلة

تعد الروابط الخلفية للصفحة ذات قيمة للعديد من جوانب تحسين محركات البحث ، والزحف ليس استثناءً. ولكن قد يكون من الصعب الحصول على روابط خارجية لأنواع معينة من الصفحات. على سبيل المثال ، الصفحات العميقة مثل المنتجات أو الفئات في المستويات الأدنى في بنية الموقع أو حتى المقالات.

من ناحية أخرى ، الروابط الداخلية ذات الصلة هي:

• قابلة للتطوير من الناحية الفنية.
• إشارات قوية لبرنامج Googlebot لإعطاء الأولوية لصفحة ما للزحف.
• مؤثر بشكل خاص في الزحف إلى صفحة عميقة.

تعد فتات الخبز وكتل المحتوى ذات الصلة والمرشحات السريعة واستخدام العلامات المنسقة جيدًا جميعها ذات فائدة كبيرة لفعالية الزحف. نظرًا لأنها محتوى مهم لتحسين محركات البحث ، تأكد من عدم اعتماد مثل هذه الروابط الداخلية على جافا سكريبت ، بل استخدم رابط <a> قياسيًا وقابل للزحف.

مع الأخذ في الاعتبار أن هذه الروابط الداخلية يجب أن تضيف قيمة فعلية للمستخدم.

كيفية التحقق من الروابط ذات الصلة

قم بتشغيل زحف يدوي إلى موقعك بالكامل باستخدام أداة مثل عنكبوت SEO الخاص بـ ScreamingFrog ، وابحث عن:

• عناوين URL اليتيمة.
• تم حظر الروابط الداخلية بواسطة ملف robots.txt.
• روابط داخلية لأي رمز حالة غير 200.
• النسبة المئوية لعناوين URL غير القابلة للفهرسة المرتبطة داخليًا.

7. تدقيق مشاكل الزحف المتبقية

إذا اكتملت جميع التحسينات المذكورة أعلاه وظلت فعالية الزحف دون المستوى الأمثل ، فقم بإجراء تدقيق عميق.

ابدأ بمراجعة نماذج أي استثناءات متبقية في Google Search Console لتحديد مشكلات الزحف.

بمجرد معالجة هذه المشكلات ، تعمق أكثر باستخدام أداة الزحف اليدوية للزحف إلى جميع الصفحات في بنية الموقع مثل Googlebot. قم بمراجعة هذا في مقابل ملفات السجل التي تم تضييقها إلى عناوين IP الخاصة بـ Googlebot لفهم أي من هذه الصفحات يتم الزحف إليها ولا يتم الزحف إليها.

أخيرًا ، بدأ التشغيل في تحليل ملف السجل الذي تم تضييقه إلى Googlebot IP لمدة أربعة أسابيع على الأقل من البيانات ، ويفضل أكثر.

إذا لم تكن معتادًا على تنسيق ملفات السجل ، فاستفد من أداة تحليل السجلات. في النهاية ، هذا هو أفضل مصدر لفهم كيفية زحف Google إلى موقعك.

بمجرد اكتمال تدقيقك ولديك قائمة بمشكلات الزحف التي تم تحديدها ، رتب كل مشكلة حسب المستوى المتوقع للجهد والتأثير على الأداء.

ملاحظة : ذكر خبراء تحسين محركات البحث (SEO) أن النقرات من SERPs تزيد من الزحف إلى عنوان URL للصفحة المقصودة. ومع ذلك ، لم أتمكن بعد من تأكيد ذلك بالاختبار.

إعطاء الأولوية لفعالية الزحف على ميزانية الزحف

لا يتمثل هدف الزحف في الحصول على أكبر قدر من الزحف ولا الزحف إلى كل صفحة من موقع الويب بشكل متكرر ، بل هو إغراء الزحف إلى المحتوى ذي الصلة بـ SEO في أقرب وقت ممكن عند إنشاء الصفحة أو تحديثها.

بشكل عام ، الميزانيات لا تهم. هذا هو ما تستثمره في هذا الأهمية.

الآراء الواردة في هذا المقال هي آراء المؤلف الضيف وليست بالضرورة آراء محرك البحث. مؤلفو طاقم العمل مدرجون هنا.