كيفية تحسين كفاءة الزحف والفهرسة على مستوى المؤسسة

تلعب Enterprise SEO وفقًا لقواعد مختلفة.

لن تعمل الاستراتيجيات التي قد تعمل مع مواقع الويب الصغيرة أو المتخصصة دائمًا على نطاق واسع.

إذن ما الذي يمكن أن يحدث بالضبط عندما يصبح تحسين محركات البحث للشركات كبيرًا جدًا ؟

في هذه المقالة ، سأشارك ثلاثة أمثلة من الحياة الواقعية. بعد ذلك ، ستتعلم ترياقًا محتملًا لإدارة أكثر كفاءة لتحسين محركات البحث على نطاق واسع.

مواجهة معضلة الفهرسة

تميل المواقع الصغيرة إلى تنمية صفحة واحدة في كل مرة ، باستخدام الكلمات الرئيسية باعتبارها اللبنات الأساسية لإستراتيجية تحسين محركات البحث.

غالبًا ما تتبنى المواقع الكبيرة أساليب أكثر تطورًا ، وتعتمد بشدة على الأنظمة والقواعد والأتمتة.

من الأهمية بمكان مواءمة مُحسّنات محرّكات البحث مع أهداف العمل. يؤدي قياس نجاح مُحسنات محركات البحث استنادًا إلى تصنيفات الكلمات الرئيسية أو حركة المرور إلى عواقب سلبية بسبب الإفراط في الفهرسة.

لا توجد صيغة سحرية لتحديد العدد الأمثل لعناوين URL المفهرسة. جوجل لا تضع حدا أعلى.

ومع ذلك ، فإن نقطة البداية الجيدة هي النظر في الصحة العامة لمسار تحسين محركات البحث. إذا كان موقع ...

• يدفع عشرات أو مئات الملايين أو حتى المليارات من عناوين URL إلى Google
• ترتب فقط لبضعة ملايين من الكلمات الرئيسية
• يستقبل زيارات إلى بضعة آلاف من الصفحات
• تحويل جزء من هذه (إن وجد)

... فهذا مؤشر جيد على أنك بحاجة إلى تلبية بعض الاحتياجات الصحية الجادة لتحسين محركات البحث.

يجب أن يمنع إصلاح أي مشكلات تتعلق بنظافة الموقع الآن حدوث مشكلات أكبر في تحسين محركات البحث لاحقًا.

دعنا نلقي نظرة على ثلاثة أمثلة من واقع الحياة لتحسين محركات البحث (SEO) للمؤسسات توضح سبب أهمية ذلك.

الحالة 1: عواقب الإفراط في فهرسة المحتوى منخفض الجودة

تمتلك Google موارد محدودة للزحف على الويب ومعالجتها. إنهم يعطون الأولوية للمحتوى ذي القيمة للمستخدمين.

قد يزحف محرك بحث Google إلى الصفحات التي يعتبرها ضعيفة أو مكررة أو منخفضة الجودة ، ولكن لا يفهرسها.

إذا كانت بضع صفحات فقط ، فهذه ليست مشكلة. ولكن إذا كان منتشرًا على نطاق واسع ، فقد يتجاهل Google أنواع الصفحات بأكملها أو معظم محتوى الموقع.

في إحدى الحالات ، وجد أحد أسواق التجارة الإلكترونية أن عشرات الملايين من صفحات قوائمه قد تأثرت بالزحف والفهرسة الانتقائي.

بعد الزحف إلى الملايين من صفحات القوائم الرفيعة شبه المكررة وعدم فهرستها ، تراجعت Google في النهاية عن الزحف إلى موقع الويب تمامًا ، تاركة الكثيرين في طي النسيان "اكتشف - غير مفهرس حاليًا".

اعتمد هذا السوق بشكل كبير على محركات البحث لترويج قوائم جديدة للمستخدمين. لم يعد يتم اكتشاف المحتوى الجديد ، مما شكل تحديًا تجاريًا كبيرًا.

تم اتخاذ بعض الإجراءات الفورية ، مثل تحسين الارتباط الداخلي ونشر خرائط مواقع XML الديناميكية. في النهاية ، كانت هذه المحاولات غير مجدية.

الحل الحقيقي يتطلب التحكم في حجم وجودة المحتوى القابل للفهرسة.

الحالة 2: العواقب غير المتوقعة لوقف الزحف

عند توقف الزحف ، سيظل المحتوى غير المرغوب فيه في فهرس Google - حتى إذا تم تغييره أو إعادة توجيهه أو حذفه.

تستخدم العديد من مواقع الويب عمليات إعادة التوجيه بدلاً من أخطاء 404 للمحتوى الذي تمت إزالته للحفاظ على السلطة. يمكن أن يؤدي هذا التكتيك إلى ضغط حركة مرور إضافية من صفحات الأشباح لأشهر ، إن لم يكن لسنوات.

ومع ذلك ، يمكن أن يحدث هذا في بعض الأحيان بشكل خاطئ بشكل فظيع.

على سبيل المثال ، كشفت إحدى الأسواق العالمية المعروفة التي تبيع سلعًا مصنوعة يدويًا عن معلومات خاصة للبائعين (على سبيل المثال ، الاسم والعنوان والبريد الإلكتروني ورقم الهاتف) في الإصدارات المترجمة من صفحات القوائم الخاصة بهم. تمت فهرسة بعض هذه الصفحات وخزنها مؤقتًا بواسطة Google ، مما يعرض معلومات التعريف الشخصية (PII) في نتائج البحث ، مما يهدد أمان المستخدم وخصوصيته.

نظرًا لأن Google لم يعيد الزحف إلى هذه الصفحات ، فإن إزالتها أو تحديثها لن يؤدي إلى حذفها من الفهرس. حتى بعد أشهر من الحذف ، استمر وجود المحتوى المخزن مؤقتًا وبيانات PII للمستخدم في فهرس Google.

في مثل هذه الحالة ، كان من مسؤولية السوق إصلاح الأخطاء والعمل مباشرةً مع Google لإزالة المحتوى الحساس من البحث.

الحالة 3: مخاطر الإفراط في فهرسة صفحات نتائج البحث

يمكن أن تؤدي الفهرسة غير المنضبطة لأحجام كبيرة من الصفحات الرفيعة منخفضة الجودة إلى نتائج عكسية - ولكن ماذا عن فهرسة صفحات نتائج البحث؟

لا تؤيد Google فهرسة نتائج البحث الداخلية ، وينصح العديد من مُحسنات محركات البحث المخضرمين بشدة بعدم استخدام هذا الأسلوب. ومع ذلك ، فقد اعتمدت العديد من المواقع الكبيرة بشكل كبير على البحث الداخلي كمحرك رئيسي لتحسين محركات البحث ، وغالبًا ما تحقق عوائد كبيرة.

إذا كانت مقاييس تفاعل المستخدم وتجربة الصفحة وجودة المحتوى عالية بما يكفي ، يمكن لـ Google غض الطرف. في الواقع ، هناك أدلة كافية تشير إلى أن Google قد تفضل صفحة نتائج بحث داخلية عالية الجودة على صفحة قائمة رفيعة.

ومع ذلك ، يمكن أن تسوء هذه الاستراتيجية أيضًا.

رأيت ذات مرة أن موقعًا للمزادات المحلية يفقد جزءًا كبيرًا من تصنيفات صفحات البحث - وأكثر من ثلث حركة تحسين محركات البحث - بين عشية وضحاها.

تنطبق القاعدة 20/80 في أن جزءًا صغيرًا من حسابات المصطلحات الرئيسية لمعظم زيارات تحسين محركات البحث إلى نتائج البحث المفهرسة. ومع ذلك ، غالبًا ما يكون الذيل الطويل هو الذي يشكل نصيب الأسد من حجم عنوان URL ويفتخر ببعض من أعلى معدلات التحويل.

نتيجة لذلك ، من بين المواقع التي تستخدم هذا التكتيك ، فإن القليل منها يفرض قيودًا أو قواعد صارمة على فهرسة صفحات البحث.

هذا يطرح مشكلتين رئيسيتين:

• يمكن لأي استعلام بحث إنشاء صفحة صالحة ، مما يعني أنه يمكن إنشاء عدد لا نهائي من الصفحات تلقائيًا.
• كل منهم قابل للفهرسة في جوجل.

في حالة وجود سوق للإعلانات المبوبة يستثمر في صفحات البحث الخاصة به بإعلانات الجهات الخارجية ، فقد تم استغلال هذه الثغرة الأمنية بشكل جيد من خلال شكل من أشكال التحكيم في الإعلانات:

• تم إنشاء عدد هائل من عناوين URL للبحث للمصطلحات المشبوهة والبالغة وغير المشروعة تمامًا.
• في حين أن هذه الصفحات التي تم إنشاؤها تلقائيًا لم تعرض أي نتائج مخزون فعلية ، إلا أنها عرضت إعلانات جهات خارجية ، وتم تحسينها لترتيب استعلامات البحث المطلوبة من خلال نموذج الصفحة والبيانات الوصفية.
• تم إنشاء الروابط الخلفية لهذه الصفحات من منتديات منخفضة الجودة لاكتشافها والزحف إليها بواسطة برامج الروبوت.
• كان المستخدمون الذين وصلوا إلى هذه الصفحات من Google ينقرون على إعلانات الجهات الخارجية وينتقلون إلى المواقع منخفضة الجودة التي كانت الوجهة المقصودة.

بحلول الوقت الذي تم فيه اكتشاف المخطط ، كانت السمعة العامة للموقع قد تضررت. كما تعرضت للعديد من العقوبات وتعرضت لانخفاضات هائلة في أداء تحسين محركات البحث.

احتضان الفهرسة المدارة

كيف أمكن تجنب هذه القضايا؟

واحدة من أفضل الطرق لتزدهر مواقع المؤسسات الكبيرة في تحسين محركات البحث هي عن طريق تقليص حجمها من خلال الفهرسة المُدارة.

بالنسبة إلى موقع يضم عشرات أو مئات الملايين من الصفحات ، من الضروري تجاوز النهج الذي يركز على الكلمات الرئيسية إلى نهج مدفوع بالبيانات والقواعد والأتمتة.

الفهرسة المبنية على البيانات

تتمثل إحدى الميزات المهمة للمواقع الكبيرة في ثروة بيانات البحث الداخلي المتاحة لها.

بدلاً من الاعتماد على الأدوات الخارجية ، يمكنهم استخدام هذه البيانات لفهم طلبات البحث الإقليمية والموسمية والاتجاهات على مستوى دقيق.

يمكن أن توفر هذه البيانات ، عند تعيينها لمخزون المحتوى الحالي ، دليلًا قويًا للمحتوى المطلوب فهرسته ، وكذلك متى وأين يتم ذلك.

التكرار والدمج

عدد قليل من عناوين URL الموثوقة ذات التصنيف العالي هي أكثر قيمة بكثير من عدد كبير من الصفحات المنتشرة في أعلى 100.

من المفيد دمج الصفحات المتشابهة باستخدام القواعد الأساسية ، والاستفادة من القواعد والأتمتة للقيام بذلك. قد يتم دمج بعض الصفحات بناءً على درجات التشابه ، والبعض الآخر - يتم تجميعها معًا إذا تم تصنيفها بشكل جماعي لطلبات البحث المتشابهة.

المفتاح هنا هو التجريب. قم بتعديل المنطق ومراجعة الحدود بمرور الوقت.

تنظيف صفحات المحتوى الرقيقة والفارغة

عندما تتواجد بأحجام كبيرة ، يمكن أن تتسبب الصفحات الرفيعة والفارغة في إلحاق ضرر كبير بنظافة الموقع وأدائه.

إذا كان من الصعب جدًا تحسينها بمحتوى ذي قيمة أو دمجها ، فيجب عدم فهرستها أو حتى عدم السماح بها.

قلل المسافات اللانهائية باستخدام ملف robots.txt

بعد خمسة عشر عامًا من كتابة Google لأول مرة عن "المساحات اللانهائية" ، لا تزال مشكلة الفهرسة المفرطة للفلاتر والفرز ومجموعات أخرى من المعلمات تعصف بالعديد من مواقع التجارة الإلكترونية.

في الحالات القصوى ، يمكن أن تعطل برامج الزحف الخوادم أثناء محاولتها شق طريقها عبر هذه الروابط. لحسن الحظ ، يمكن معالجة هذا بسهولة من خلال ملف robots.txt.

التقديم من جانب العميل

قد يكون استخدام العرض من جانب العميل لمكونات معينة على الصفحة لا تريد فهرستها بواسطة محركات البحث أحد الخيارات. ضع في اعتبارك هذا بعناية.

والأفضل من ذلك ، يجب ألا يكون الوصول إلى هذه المكونات متاحًا للمستخدمين الذين قاموا بتسجيل الخروج.

ترتفع الرهانات بشكل كبير مع زيادة الحجم

بينما يُنظر إلى مُحسنات محركات البحث غالبًا على أنها مصدر "مجاني" للزيارات ، إلا أن هذا يعد مضللًا إلى حد ما. يكلف المال لاستضافة المحتوى وتقديمه.

قد تكون التكاليف ضئيلة لكل عنوان URL ، ولكن بمجرد أن يصل المقياس إلى مئات الملايين أو المليارات من الصفحات ، تبدأ البنسات في إضافة ما يصل إلى الأرقام الحقيقية.

على الرغم من صعوبة قياس عائد استثمار مُحسّنات محرّكات البحث ، إلا أن فلسًا واحدًا يتم توفيره هو فلس واحد ، ويجب أن يكون توفير التكاليف من خلال الزحف والفهرسة المدارة أحد العوامل عند التفكير في استراتيجيات الفهرسة للمواقع الكبيرة.

يمكن للنهج العملي في تحسين محركات البحث - من خلال الزحف والفهرسة المُدار جيدًا ، والمسترشد بالبيانات والقواعد والأتمتة - حماية مواقع الويب الكبيرة من الأخطاء المكلفة.