تتبع 20 عاما من البحث

هل أنت مسوق بحث جديد تتطلع إلى التعرف على تاريخ البحث؟

هل تريد البقاء على اطلاع بآخر أخبار التسويق عبر البحث؟

إذا كان الأمر كذلك ، فهناك شخص واحد فقط تحتاج إلى "متابعته" لمعرفة 90٪ من التغييرات المثيرة للاهتمام في الصناعة.

هذا الفرد لديه موقع على شبكة الإنترنت. تم نشر أول منشور له في المدونة في 2 ديسمبر 2003. رمز Google Analytics (GA) الخاص بالموقع قصير بشكل واضح: UA-67314-1.

قبل عدة أشهر ، بعد تفاعل قصير على Mastodon ، مُنحت حق الوصول إلى حساب GA الخاص به لمعرفة ما إذا كان بإمكاني سرد ​​قصة حول تاريخ البحث من خلال عمله بصفته أمين سجل التسويق عبر البحث.

بالنظر إلى أنماط النشر الخاصة به ( الشكل 1 ) ، من الواضح أن الحجم لا يمثل تحديًا. (حتى أنني راجعت هذا الرسم البياني عدة مرات للتأكد من صحته. رائع!)

على مدار العشرين عامًا الماضية ، نشر هذا الشخص ، في المتوسط ​​، ما يلي:

• 3.81 مرة في اليوم.
• 26.67 مرة في الأسبوع.
• 116.20 مرة في الشهر.
• 1437 مرة في السنة.

أنا متأكد من أنك خمنت ذلك الآن ، لكنني أتحدث عن Barry Schwartz وموقعه على الويب ، Search Engine Roundtable.

تتناول هذه المقالة النقاط الرئيسية والنتائج من تحليلي لبيانات Google Analytics التاريخية لموقع seroundtable.com.

(إذا كنت مهتمًا بكيفية تحليل البيانات والأدوات التي استخدمتها ، يمكنك التحقق من المنهجية أدناه.)

تغطية محرك البحث عبر السنين

نظرًا لأن لدينا بيانات من عام 2003 وملصق غزير الإنتاج ، فقد اعتقدنا أنه سيكون من المثير للاهتمام إلقاء نظرة على تغطية الموضوع التي ذكرت محركات مختلفة في عناوين المنشورات ( الشكل 2 ).

يروي هذا الرقم نفس القصة التي نعرفها جميعًا ، Google هو محرك البحث الأكثر تغطية في العقدين الماضيين.

ولكن من المثير للاهتمام أيضًا ملاحظة وفاة Yahoo وعودة ظهور Microsoft Bing. (بينما شهد Microsoft Bing زيادة في التغطية ، ليس من الواضح أن هذا يساعد من منظور الاستخدام ، كما ورد في مايو.)

النظر إلى منظور شخص واحد لتغطية "الاهتمام" من هذه المنتجات طريقة فريدة لفهم تاريخهم.

والجدير بالذكر أن معظم محركات البحث الأمريكية الرئيسية تلقت عددًا قليلاً من الإشارات على مدار الـ 13 عامًا الماضية ، باستثناء Microsoft Bing ، الذي اكتسب شهرة مفاجئة مؤخرًا بسبب تكامل Microsoft مع OpenAI.

بالنظر إلى متوسط ​​عدد الجلسات لكل منشور وتكرار النشر بمرور الوقت حسب مجموعة محرك البحث ( الشكل 2 ) ، من الواضح أن التغطية الإخبارية الشاملة تساهم بشكل كبير في أهمية Google لجمهور هذا الموقع.

أحد الأجزاء المهمة في محركات البحث هو مدى تكرار تحسين نتائجها. يمكننا إلقاء نظرة على تاريخ "تحديثات الخوارزمية" التي تمت تغطيتها جنبًا إلى جنب مع حجم البحث المدفوع كل شهر.

ستلاحظ كيف تزداد المنشورات بعد الارتفاع الأولي لحركة المرور مع إعلان التحديث. يرسم الرسم البياني أدناه قصة مثيرة للاهتمام حقًا عن:

• مدى تكرار التحديثات (على الأقل الرئيسية).
• علاقة شوارتز بتغطيته واتساقها.

تأثير تحديثات Google وشعبيتها في مجتمع البحث

قمنا بتسمية ما يقرب من 20 من تحديثات Google المسماة. الثمانية المبينة أدناه هم الثمانية الأوائل حسب الجلسات الإجمالية ( الشكل 4 ). أضفنا فئة "عقوبة" إلى هذا المخطط ، حيث كان هذا موضوعًا قويًا في وقت Penguin.

بينما لا يزال الموضوع قيد المناقشة ، تضاءلت شعبيته ، كما هو موضح أدناه. يوضح هذا التأثير الهائل لتحديثات Penguin على مجتمع البحث.

ومن المثير للاهتمام أن موقع seroundtable.com تلقى إجراءً يدويًا من Google من عام 2007 تقريبًا حتى مارس 2013.

كتب شوارتز عن ذلك في عام 2011 ، ويمكننا أن نرى التعليقات التوضيحية في حساب GA الخاص به والتي تشير إلى أنه تم رفعه في مارس والتحقق منه تم رفعه عبر طلب إعادة النظر في أبريل.

بلغ معدل نمو جلسات Google / العضوية (على أساس سنوي) للربع الأول من عام 2013 16٪ ، مقارنة بـ 25٪ في الربع الثاني ( الشكل 5 ).

نما نمو المستخدمين الجدد 22 نقطة مئوية. على الرغم من ذلك ، فإن التأثير مشكوك فيه بسبب الزيادات الخارجية في الاهتمام لصالح الربع الثاني.

قال شوارتز ، من منشوره عن العقوبة (وروابط الرعاية الخاصة به):

• "أنا عنيد وأنا واحد من مدونات تحسين محركات البحث القليلة التي قررت عدم التغيير عندما أطلقت Google العنان لعقوبتها."

بعد سنوات ، أعاد النظر. (العديد من التفاصيل مفقودة الآن في GA ، ولكن من المحتمل ألا يكون للعقوبة اليدوية تأثير كبير.)

وقع Seroundtable.com أيضًا ضحية لتحديث Panda 4.1 في عام 2014 ( الشكل 6 ).

كما أشار شوارتز في عام 2015 ، بدأ الأداء يتحسن بشكل متواضع مع Panda 4.2 في منتصف عام 2015 حتى مايو 2020 ، عندما كان هناك انخفاض مفاجئ آخر.

أعضاء فريق Google

حددنا 10 من موظفي Google المذكورين في عناوين الوظائف ( الشكل 7 ).

من بين 10 ، قمنا بتقييد القائمة لإظهار فقط أولئك الذين ينقلون المعلومات بانتظام إلى مجتمع تحسين محركات البحث.

هذه هي وجهة نظري المفضلة لأنها تُظهر بوضوح عصور مات كاتس ضد جون مولر.

بصفته مسؤول الاتصال العام لبحث Google ، لم يكن داني سوليفان واضحًا في المشاركات. من المهم ملاحظة أن أي ذكر له قبل أواخر عام 2017 يشير إلى دوره السابق قبل توليه هذا المنصب.

بصفته مؤسس Search Engine Watch ولاحقًا المحرر المؤسس لموقع Search Engine Land ، فإن سوليفان بلا شك جزء لا يتجزأ من تاريخ تحسين محركات البحث.

تغطية أداة تحسين محركات البحث (SEO)

لا يوجد نقص في الأدوات في صناعة تحسين محركات البحث. بمراجعة منشورات شوارتز ، يمكننا أن نرى أنه ذكر مجموعة واسعة من شركات الأدوات على مر السنين.

في حين أن المنشورات المخصصة لشركة معينة نادرة إلى حد ما ، فقد غطت شوارتز دراسات البيانات وإعلانات المنتجات.

أدناه ( الشكل 8 أ ) ، يمكننا أن نرى مدى تكرار التغطية في المنشورات منذ عام 2003. تختلف هذه البيانات عن البيانات الأخرى في هذه المقالة لأنها تراعي الإشارات في عنوان المقالة ومحتواها.

من الناحية التاريخية ، يمكننا أن نرى فائدة بائعي الأدوات من إنشاء مقاييس الترتيب المجمعة مثل Mozcast.

إشارات متكررة ومتنامية مع كل تقلب في الترتيب. من الواضح هنا أيضًا قوة البقاء التي يتمتع بها Moz.

أعلى المشاركات

يوضح الجدول التالي ( الشكل 9 ) أعلى مشاركة لكل عام من خلال مشاهدات الصفحة الفريدة.

هناك محتوى ذو جاذبية أوسع (خارج مجتمع مُحسّنات محرّكات البحث) ، ومحتوى يستهدف بشكل ضيق أكثر مسوقي محركات البحث.

أتساءل كيف يقرر هذا التوازن؟ لقد فوجئت قليلاً بهذه القائمة ، لكنها منطقية.

الشكل 9

تعليقات

لقد سمح موقع Seroundtable.com دائمًا بالتعليقات ، على حد علمي ، ويحب مجتمع تحسين محركات البحث (SEO) مشاركة الآراء حول خدع Google.

يُظهر هذا العرض ( الشكل 10 ) ، الذي اقترحه جون مولر ، المنشورات بمرور الوقت من خلال مشاهدات الصفحة الفريدة والتعليقات (حجم الفقاعة).

يصبح هذا مثيرًا للاهتمام إذا نظرنا إلى البيانات حسب فئة الموضوع.

على سبيل المثال ، دعنا نقارن المحتوى الموجود على "تحديثات Google" بمحتوى "الإعلانات المدفوعة" ( الشكل 11 أ و 11 ب ).

إنه أقل سخونة بكثير على الجانب المدفوع ، لكنه يُظهر المستوى المتزايد من الاهتمام والعاطفة والتفاعل للمنشورات التي تغطي التغييرات التي يمكن أن تمحو أشهر أو سنوات من الجهد.

الروابط

شوارتز لا يخجل من الارتباط بالآخرين.

كما ذكرنا سابقًا ، أضاف شوارتز على مضض سمة nofollow إلى روابط الرعاية بعد سنوات من تلقيه عقوبة متواضعة من Google في عام 2007.

ربط شوارتز من محتوى منشوره بما يقرب من 4000 نطاق فريد على مدار العشرين عامًا الماضية ( الشكل 12 ).

يوضح هذا الرسم البياني أهم 10 نطاقات مرتبطة من مجموعة البيانات ، ويوضح بوضوح القيمة التي قدمها Twitter إلى Schwartz لإبراز المعلومات للكتابة عنها على مدار السنوات العشر الماضية.

يزيل الرسم البياني التالي Twitter و Google ويفعل الشيء نفسه ( الشكل 13 ).

بدأنا في رؤية بعض المواقع التي قد لا تكون مُحسنات محركات البحث الحديثة على دراية بها ، ولكن قد يتذكرها الكثيرون بدرجات متفاوتة من الولع.

احصل على النشرة الإخبارية اليومية التي يعتمد عليها المسوقون.

جارى المعالجة .. انتظر من فضلك.

يشترك

انظر الشروط.

تصور البيانات لاتجاهات البحث بمرور الوقت

فيما يلي مخطط شريطي ممتع للسباق يعرض الفئات الأعلى على مدار العشرين عامًا الماضية ( الشكل 14 ). هذا بمثابة تذكير بتدفق الذعر داخل مجتمع تحسين محركات البحث أثناء تحديثات Google.

إلى حد ما ، هذا يجلب الراحة ، على الرغم من أن تحسين محركات البحث يتغير بسرعة ، فقد كان دائمًا على هذا النحو.

الشكل 14 ( انظر الرسوم المتحركة الكاملة هنا .)

شوارتز المشاركات مثل الروبوت

اعتقدت أنه يمكن استخدام شيء مثير للاهتمام هنا للإشارة إلى المكان الذي تم فيه إعطاء الأولوية ليوم معين للنشر ، ولكن لا.

النشر تمامًا كما يحدث ، ويحدث كثيرًا.

أذكر أن شوارتز هو روبوت يعتمد على التناسق غير العادي الذي أظهره في النشر على مدار سنوات عديدة.

لقد واجهت صعوبة في الالتزام بالمشروع نفسه لأكثر من ستة أشهر ، لذا فإن 20 عامًا هي أبعد من مذهلة ( الشكل 15 ).

لتحقيق التوازن ، هذا هو عدد الجلسات حسب اليوم من الأسبوع ( الشكل 16 ). أعتقد أنه لا يهم حقًا ، على الرغم من أن منتصف الأسبوع هو الفائز الواضح.

بالنظر إلى أنواع المنشورات المنشورة في السنوات العديدة الماضية ، لا يبدو أن هناك فرقًا كبيرًا بين أنواع المنشورات في أيام الأسبوع ( الشكل 17 ).

حيث نرى الاختلافات في يومي السبت والأحد ، وهما أيام عادة ما تتضمن أحداثًا زمنية ذات أهمية كبيرة.

سجل شوارتز تاريخيا نادرا ما نشر يومي السبت والأحد ، بنسبة 0.74٪ و 0.17٪ من جميع المنشورات ، على التوالي.

هذا منطقي بشكل حدسي لأنه سيكون أكثر عرضة للكسر من عطلة نهاية الأسبوع للعناصر التي من المهم حقًا تغطيتها.

فئات مهمة وعدد الكلمات

هذه هي الفئات الأعلى من تلك التي تمت مراجعتها بناءً على المنحدر ( الشكل 18 ). كمرجع ، يعد الميل مقياسًا يصف اتجاه الخط وانحداره.

قد يكون أحد أسباب أداء هذه الفئات جيدًا من منظور حركة المرور هو أن هذا النوع من المحتوى ينفصل عن الفقاعة العالمية لتحسين محركات البحث (SEO) وينتقل إلى عامة السكان المهتمين حول Google.

ذكر شوارتز في كثير من الأحيان أنه يهتم بنشر الأخبار أكثر من اهتمامه بالعمق الذي يتم تغطيته به.

يتم دعم ذلك من خلال البيانات عند النظر إلى العلاقة بين الجلسات وعدد الكلمات ( الشكل 19 ).

كيف يعكس قراء شوارتز صناعة تحسين محركات البحث والاهتمام بقطاعات مختلفة

الأقسام الفرعية لكبار المسئولين الاقتصاديين

هذا هو المكان الذي قد تسبب لي الفئات في المشاكل.

على مستوى عالٍ ، يوجد هنا الاهتمام النسبي في صناعة تحسين محركات البحث فيما يتعلق بمتابعي وقراء شوارتز للقطاعات الرئيسية الأربعة لتحسين محركات البحث ( الشكل 20 ).

كما أشار مولر ، يمكنك رؤية عقد الهاتف المحمول بشكل جيد.

AI و SEO

حسنًا ، أردت فقط عمل مخطط شبكي ، ولكن هذه طريقة عرض رائعة لإجمالي الجلسات حسب المشاركات من فئة "التعلم الآلي" ( الشكل 21 ).

يرجى ملاحظة أن هذا هو إجمالي الجلسات لأفضل مشاركة في كل فئة. يجب أن يتحكم هذا في الحداثة النسبية لبعض الفئات.

أجد أنه من الرائع أن يكون لمدخل معجم بيرت تأثير أكبر من التغييرات الحديثة في التعلم الآلي.

بطل SEO

لجميع المعلمين الموجودين على الصفحة ، إليك مستوى الاهتمام المقارن لأعضاء هذه الفئة استنادًا إلى جلسات المنشور الأفضل أداءً ( الشكل 22 ).

نلاحظ هنا أن "Meta" قد تتضخم بسبب المطابقات مع شركة Meta (Facebook).

فيما يلي أهم الفئات حسب التكتيك ( الشكل 23 ). نظرًا لأن هذا على مدى 20 عامًا ، فقد يؤدي عدد من هذه الأساليب إلى معاقبة موقع ويب.

يُظهر هذا جيدًا الماضي المتقلب لـ SEO وطبيعة العلاقات العامة لـ Google تدفع لاستدعاء التكتيكات التي تحاول التلاعب بنظامهم أو إلحاق الضرر بالآخرين.

مدفوع

لأصدقائي على الجانب المدفوع ، ها هم أعضاء مجموعة منشورات "الإعلانات المدفوعة". ( الشكل 24 ). من يتذكر المقدمة؟

المتصفحات

لقد كان هذا مفاجئًا بالنسبة لي استنادًا إلى مقدار تغطية Google على هذا الموقع ومدى عدم توازن حصة Google في السوق (62.85٪) ، لكن القبعات إلى شوارتز للتغطية المتساوية ( الشكل 25 ).

الأحداث

روجت بعض المنشورات السابقة في التاريخ لمؤتمرات محددة مثل SMX ، ولكن هذا كان خلال فترة قصيرة نسبيًا ، لذلك تمت إزالتها من مجموعة البيانات.

ومن المثير للاهتمام ، أن المحتوى السائد لـ COVID-19 ، والذي استمر لمدة عام أو نحو ذلك ، تمت مقارنته بالفئات الأخرى على مدار 20 عامًا ( الشكل 26 ).

أيضًا ، نحتاج بالتأكيد إلى المزيد من بيض عيد الفصح من Google. أخبرني شوارتز أنه اعتاد القيام بأحداث مدونة مباشرة لكنه توقف منذ أكثر من عقد.

لقد أزلت معظم (كل؟) العناوين من مجموعة البيانات التي لم تتضمن على الأقل ذكرًا لموضوع ذي صلة (على سبيل المثال ، حلقة مدونة الفيديو رقم 1234 Weekly Roundup هي مثال على واحد يمكن إزالته).

ذكر شوارتز أيضًا أنه توقف عن تغطية شعارات Google عندما بدأ ناشرون آخرون بتغطيتها.

"لقد فقدوا متعتهم."

كم هو رائع أن تفعل شيئًا مدفوعًا بالشغف وليس النقرات؟

تاريخ البحث في 32926 مشاركة والعدد في ازدياد

من المثير للاهتمام العودة وإعادة سرد كل ما تغير في الصناعة والتعرف على أيام "الغرب المتوحش" للبحث.

ولدينا باري شوارتز لنشكره على 20 عامًا من تغطية الصناعة دون فشل.

إذا كان يتضمن التسويق عبر البحث ، فنحن نعلم أن شوارتز قد شاهده أو غطاه على الأرجح.

هذا ليس بجديد.

أود أن أشكر جون مولر وباتريك ستوكس على توصياتهما وفحوصات سلامة المعلومات والبيانات المقدمة هنا. راجع داني سوليفان أيضًا لإجراء فحص صحة إضافي.

البيانات والمنهجية

لقد بدأت بالزحف إلى seroundtable.com في Screaming Frog ، وسحب محتوى التعريف المنشور بعناية مثل المؤلف وتاريخ النشر والفئة باستخدام الاستخراج المخصص. لقد سحبت أيضًا بيانات GA ، على الرغم من أن هذا كان من عام 2005 ، كنت أعرف أن هذا لن يكون كافيًا. تم إخراج بيانات HTML إلى ملف CSV لمزيد من المعالجة.

نظرًا لوجود العديد من المؤلفين على موقع seroundtable.com ، فقد قصرت بقية التحليل فقط على المشاركات التي كتبها شوارتز (كتب أكثر من 32000 منهم).

لفهم مقدار مساهمة شوارتز في الموقع بشكل أفضل ، إليك نظرة سريعة على أفضل 10 مؤلفين وكم عدد المقالات المنسوبة إليهم ( الشكل 27 ).

ثم أقوم بإعداد سحب API من GA API لسحب الصفحات المقصودة الشهرية والجلسات لجميع المستخدمين. بالإضافة إلى ذلك ، قمنا بسحب البيانات من مشاهدات الصفحة والروابط الخارجية.

بعد سحب جميع البيانات ، لاحظت أن seroundtable.com استخدم AMP ، مما يعني مجموعتين من عناوين URL للعديد من المقالات. بالنظر إلى الرخويات (على سبيل المثال ، / category / this-is-a-slug.html) ، لحسن الحظ ، كانت جميعها فريدة من نوعها.

كنت بحاجة إلى إزالة الفئات وصفحات المؤلف والصفحات الأخرى التي لا يمكن الاستدلال فيها على الموضوع من العنوان - حيث تم تحديد المكان الذي وجد فيه Screaming Frog أن المؤلفين قاموا بتنظيف هذا الأمر بسهولة.

من هناك ، قمت بتنظيف مسارات URL إلى ارتزاقات فريدة واستخدمتها كمطابقة بين بيانات عنوان URL التي تم الزحف إليها وبيانات GA.

من الجدير بالذكر أن بيانات seroundtable.com بدأت في GA في الربع الرابع من عام 2005. وكان أول منشور من الربع الرابع من عام 2003. كما أشار باتريك ستوكس ، في 14 نوفمبر 2005 ، كان الإطلاق الرسمي لـ GA ، وهذا يعني تشمل بياناتنا جميع البيانات من خلال ولادة وموت GA كما عرفناها جميعًا.

قبل ذلك ، استخدم الموقع Urchin Analytics ، والذي أصبح GA. من بين 27309 من الدود البزاقة الفريدة التي تم العثور عليها في الزحف ، لم يتم العثور على 0.2٪ فقط في بيانات GA. كان معظمهم بعد قطع البيانات في 30 يونيو 2023.

معالجة اللغة الطبيعية (NLP)

بعد التأكد من أن لدي بيانات صفحة نظيفة وبيانات تحليلات ، قمت بتشغيل عناوين الصفحات من خلال عملية تحولها إلى ngrams. ngram عبارة عن تجمعات ذات مصطلح n. على سبيل المثال ، يتألف "الضفدع الأخضر" من: "the" و "green" و "الضفدع" بحجم 1 جرام و "الأخضر" و "الضفدع الأخضر" بمقدار 2 جرام. إن تشغيل هذا على العناوين وحساب تكرار كل مستوى غرام يسمح للمفاهيم المهمة بالظهور.

بعد ذلك ، قمنا بتشغيل جميع ngrams المهمة من خلال نموذج لغة كبير (LLM) لمعرفة مدى نجاحه في اختيار الموضوعات المهمة ودمجها بشكل أكبر في الفئات ذات الصلة. هذا هو المكان الذي نرى فيه قيود LLM على الموضوعات المتخصصة. على الرغم من أن النماذج ساعدت في هذه العملية ، إلا أنه كان هناك قدر كبير من المراجعة اليدوية لنماذج ngrams المختلفة للمفاهيم التي يمكن أن تبني فئة.

علاوة على ذلك ، هناك العديد من الكيانات والمفاهيم مثل "Google" و "البحث العضوي" في مجموعة البيانات الموجودة في العديد من المنشورات ، بينما تستمر الموضوعات المهمة مؤقتًا مثل "الطائر الطنان" لعدد قليل من المشاركات وتخلط بين نماذج اللغة .

يمكنك مراجعة بيانات الفئات هنا ومراجعة تعيينات الفئات الرئيسية في الرسم البياني أدناه. قمنا بمطابقة الفئات بالعناوين باستخدام مطابقة مرتبة بطول الكلمة العكسي لضمان مطابقة عبارات أكثر تفصيلاً قبل عبارات أوسع (أقصر). تجدر الإشارة إلى أننا قسمنا كل موضوع إلى فئة واسعة وفئة فرعية أكثر تفصيلاً.

يحتوي الرسم البياني أدناه ( الشكل 28 ) على الفئات العامة ذات الجلسات أعلى من الشريحة المئوية الخامسة والعشرين. لاحظ أيضًا أن عملية التصنيف ذاتية للغاية . للتأكد من ذلك ، سيجد المشاهدون مواضيع قد يصنفونها بشكل مختلف.

تمت معالجة بيانات الروابط الخارجية وإشارات أداة تحسين محركات البحث (SEO) عبر عمليات زحف منفصلة تستهدف فقط أجزاء كل صفحة مخصصة للمحتوى الرئيسي.

تختلف بيانات أداة تحسين محركات البحث (SEO) عن البيانات المصنفة لأنها تأخذ في الاعتبار العنوان والمحتوى . تم تصنيف المشاركات على العنوان فقط.

يتوفر الجدول ، والتصنيف ، ومشاهدة الصفحة السابقة (سنويًا) وبيانات الجلسة في تتبع 20 عامًا من بيانات البحث.