20年間にわたる探索の追跡

あなたは検索の歴史について学びたいと考えている新人の検索マーケティング担当者ですか?

最新の検索マーケティング ニュースを常に知りたいですか?

もしそうなら、業界の興味深い変化の 90% を知るために「フォロー」する必要がある人は 1 人だけです。

この個人はウェブサイトを持っています。 彼の最初のブログ投稿は、2003 年 12 月 2 日に公開されました。このサイトの Google Analytics (GA) コードは、UA-67314-1 という明らかに短いものです。

数か月前、Mastodon 上で短いやり取りをした後、検索マーケティングの記録保持者としての彼の仕事を通じて検索の歴史について語ることができるかどうかを検討するために、私は彼の GA アカウントへのアクセスを許可されました。

彼の投稿パターン (図 1 ) を見ると、量がそれほど難しくないことは明らかです。 (このグラフが正しいことを確認するために、何度も再確認しました。すごい!)

過去 20 年間、この人は平均して次のような投稿を行ってきました。

• 1日あたり3.81回。
• 週に26.67回。
• 月116.20回。
• 年間1,437回。

もうお気づきかと思いますが、私が話しているのは Barry Schwartz と彼の Web サイト、Search Engine Roundtable のことです。

この記事では、seroundtable.com の過去の Google Analytics データの分析から得られた重要なポイントと発見について説明します。

(データをどのように分析したか、どのツールを使用したかに興味がある場合は、以下の方法論を確認してください。)

長年にわたる検索エンジンのカバー範囲

2003 年のデータと豊富なポスターがあったので、投稿のタイトルにさまざまなエンジンが記載されているトピックの報道を見てみるのは興味深いだろうと考えました (図 2 )。

この数字は、Google が過去 20 年間で最も多くカバーされた検索エンジンであるという、誰もが知っていることと同じ話を物語っています。

しかし、Yahoo の死と Microsoft Bing の復活に注目するのも興味深いです。 (5 月に報告されているように、Microsoft Bing の対象範囲は急増していますが、使用の観点からこれが役に立っているかどうかは明らかではありません。)

一人の視点で「面白さ」を取材する これらの製品の歴史を理解するユニークな方法です。

注目すべきことに、Microsoft と OpenAI の統合により最近急に有名になった Microsoft Bing を除いて、米国の主要な検索エンジンのほとんどは、過去 13 年間で最小限の言及しか受けていません。

検索エンジン コホートごとの投稿あたりの平均セッション数と投稿頻度の長期推移を見ると (図 2 )、広範なニュース報道がこのサイトの閲覧者にとっての Google の重要性に大きく貢献していることは明らかです。

検索エンジンの重要な部分の 1 つは、検索結果をどれくらいの頻度で改善するかです。 毎月の検索ボリュームとともに取り上げられる「アルゴリズムアップデート」の歴史を振り返ることができます。

更新通知による最初のトラフィックの急増の後、投稿がどのように増加しているかがわかります。 以下のグラフは、次の非常に興味深いストーリーを表しています。

• 更新の頻度 (少なくともメジャーなもの)。
• シュワルツ氏と彼の報道とのつながりと一貫性。

検索コミュニティにおける Google アップデートの影響と人気

約 20 の名前付き Google アップデートにラベルを付けました。 以下に示す 8 つは、セッション全体の上位 8 つです (図 4 )。 これはペンギンの時代に強いトピック領域であったため、このチャートに「ペナルティ」というカテゴリを追加しました。

このトピックは今でも議論されていますが、以下に示すように人気は衰えています。 これは、ペンギンのアップデートが検索コミュニティに与えた多大な影響を示しています。

興味深いことに、seroundtable.com はおよそ 2007 年から 2013 年 3 月まで Google から手動による措置をとられていました。

シュワルツ氏は 2011 年にこの件について書き、彼の GA アカウントには、3 月に解除され、4 月に再審査リクエストにより解除されたことが確認されたことを示す注釈が見られます。

2013 年第 1 四半期の Google/オーガニック セッションの伸び (前年比) は 16% で、第 2 四半期は 25% でした (図 5 )。

新規ユーザーの増加は 22% ポイント増加しました。 それにもかかわらず、第 2 四半期に有利なほど関心が異常に急増しているため、その影響は疑わしいです。

シュワルツ氏はペナルティ（およびスポンサーリンク）に関する自身の投稿で次のように述べている。

• 「私は頑固で、Google がペナルティを解除したときに変更しないことを決めた数少ない SEO ブログの 1 人です。」

数年後、彼は考え直した。 (GA では多くの詳細が失われていますが、手動ペナルティは劇的な影響を与えなかった可能性があります。)

Seroundtable.com も、2014 年の Panda 4.1 アップデートの被害に遭いました (図 6 )。

Schwartz 氏が 2015 年に示したように、2015 年半ばから Panda 4.2 でパフォーマンスが緩やかに改善し始め、2020 年 5 月に再び突然低下しました。

Google チームのメンバー

投稿のタイトルに記載されている Google 従業員 10 名を特定しました (図 7 )。

10 件のうち、定期的に SEO コミュニティに情報を発信しているもののみを表示するようにリストを制限しました。

これはマット・カッツ対ジョン・ミューラーの時代をはっきりと示しているので、私のお気に入りのビューです。

Google 検索の広報担当者である Danny Sullivan は、投稿ではそれほど目立っていません。 2017 年後半以前の彼についての言及は、この役職に就く前の彼の以前の役割に言及していることに注意することが重要です。

Search Engine Watch の創設者であり、後に Search Engine Land の創設編集者となったサリバンは、間違いなく SEO の歴史に欠かせない人物です。

SEOツールの範囲

SEO業界にはツールが不足していません。 Schwartz の投稿を確認すると、彼が長年にわたり幅広いツール企業について言及していることがわかります。

特定の企業に特化した投稿はかなり稀ですが、シュワルツ氏はデータ調査や製品発表についても取り上げています。

以下 (図 8a ) は、2003 年以降の投稿の報道頻度を示しています。このデータは、記事のタイトルと内容での言及を考慮しているため、この記事の他のデータとは異なります。

歴史的に、Mozcast のような集計されたランキング指標を作成することはツール ベンダーにとってメリットがあることがわかります。

ランキングが変動するたびに言及が頻繁に増加。 ここでも、Moz の持久力が明らかです。

人気の投稿

次の表 (図 9 ) は、各年のユニーク ページビュー別の上位投稿を示しています。

より広範な魅力を持つコンテンツ (SEO コミュニティの外) と、検索エンジン マーケティング担当者をより限定的にターゲットにしたコンテンツがあります。

このバランスはどうやって決めているのだろうか？ このリストには少し驚きましたが、理にかなっています。

図9

コメント

私の知る限り、Seroundtable.com では常にコメントが許可されており、SEO コミュニティは Google の悪ふざけについて意見を共有するのが大好きです。

John Mueller が提案したこのビュー (図 10 ) は、固有のページ ビューとコメント (バブル サイズ) ごとに投稿を時系列で表示します。

データをトピック カテゴリ別に見ると、これは興味深いことになります。

たとえば、「Google アップデート」のコンテンツと「有料広告」のコンテンツを比較してみましょう (図 11aおよび11b )。

有料の場合はそれほど過熱しませんが、数カ月または数年の努力を無駄にする可能性がある変更をカバーする投稿に対する関心、感情、交流のレベルが高まっていることを示しています。

リンク

シュワルツは他人とリンクすることを恥ずかしがりません。

前述したように、シュワルツ氏は 2007 年に Google からわずかなペナルティを受けた数年後、しぶしぶスポンサーリンクに nofollow 属性を追加しました。

Schwartz 氏は、過去 20 年間にわたって、自分の投稿コンテンツから約 4,000 の固有ドメインにリンクしてきました (図 12 )。

このグラフは、データセットからのリンクされたドメインの上位 10 件を示しており、過去 10 年間に Twitter が、書くべき情報を表面化するために Schwartz に提供してきた価値を明確に示しています。

次のグラフでは Twitter と Google を削除し、同じことを行っています (図 13 )。

新しい SEO 担当者は知らないかもしれないが、多くの人は程度の差はあれ、懐かしく覚えているかもしれないサイトがいくつか見られるようになりました。

マーケティング担当者が頼りにする毎日のニュースレター検索を入手します。

処理中…お待ちください。

購読する

規約を参照してください。

長期にわたる検索傾向のデータ視覚化

これは、過去 20 年間のトップ カテゴリを示す楽しいレーシング棒グラフです (図 14 )。 これは、Google のアップデート中に SEO コミュニティ内でパニックが殺到したことを思い出させます。

たとえ SEO が急速に変化しているとしても、それは常にそうだったので、これはある程度安心感をもたらします。

図 14 (アニメーション全体はここでご覧ください。)

シュワルツ氏はロボットのように投稿する

ここで何か興味深いことが、特定の日の投稿が優先される場所を示すために使用できるのではないかと考えましたが、そうではありませんでした。

起こったままに投稿する、それはよく起こります。

シュワルツは、長年にわたって投稿で示してきた並外れた一貫性に基づいたロボットであると述べました。

同じプロジェクトに半年以上コミットするのは困難だったので、20年というのは驚くべきことではありません(図15 )。

バランスを考慮して、曜日ごとのセッション数を示します (図 16 )。 週半ばが明らかに勝者ですが、それは実際には問題ではないと思います。

ここ数年の投稿の種類を見ると、平日の投稿の種類に大きな差はないようです（図17 ）。

違いが見られるのは土曜日と日曜日で、通常、これらの日は非常に重要な一時的な出来事が関係する日です。

シュワルツ氏はこれまで土曜日と日曜日に投稿することはほとんどなく、それぞれ全投稿の0.74％と0.17％だった。

これは直感的に理にかなっています。なぜなら、彼はカバーすべき本当に重要な項目のために週末を休む可能性が高いからです。

重要なカテゴリと単語数

これらは、傾きに基づいて検討されたカテゴリーのうちの上位カテゴリーです (図 18 )。 参考までに、傾きは線の方向と急勾配を表す尺度です。

トラフィックの観点からこれらのカテゴリが非常に優れたパフォーマンスを示している理由の 1 つは、このタイプのコンテンツが典型的な SEO 世界のバブルから抜け出し、Google 周辺の関心を持つ一般層に浸透しているためかもしれません。

シュワルツ氏は、ニュースをどの程度深く取り上げるかよりも、ニュースを世に広めることに関心があると度々述べている。

これは、セッションと単語数の関係を見るとデータによって裏付けられます (図 19 )。

Schwartz の読者層が SEO 業界とさまざまなセグメントへの関心をどのように反映しているか

SEO サブセクション

ここで、カテゴリが問題に陥る可能性があります。

概要として、SEO の 4 つの主要セグメントに対する Schwartz のフォロワーおよび読者に関する SEO 業界の相対的な関心を示します (図 20 )。

Mueller 氏が指摘したように、モバイルの 10 年がよくわかります。

AIとSEO

ツリーマップを作成したかっただけですが、これは「機械学習」カテゴリの投稿による合計セッションの素晴らしいビューです (図 21 )。

これは各カテゴリの最高の投稿の合計セッション数であることに注意してください。 これにより、一部のカテゴリの相対的な新しさが制御されるはずです。

BERT の辞書への入り口が、最近の機械学習の変更よりも大きな影響を与えたことは興味深いと思います。

SEOのヒーロー

ページの達人の皆さんのために、最もパフォーマンスの高かった投稿のセッションに基づく、このカテゴリのメンバーの関心レベルの比較を次に示します (図 22 )。

ここで注意していただきたいのは、「Meta」は、Meta (Facebook) という企業との一致により水増しされる可能性があるということです。

戦術別の上位カテゴリは次のとおりです(図23 )。 これは 20 年にわたるものであるため、これらの戦術の多くは実際に Web サイトにペナルティを課す可能性があります。

これは、SEO の波瀾万丈な過去と、自社のシステムを騙したり他者に害を与えようとする戦術を非難する Google の PR の性質をよく示しています。

有料

有料側の友人のために、「有料広告」グループの投稿のメンバーを以下に示します。 (図24 )。 序曲を覚えている人はいるだろうか？

ブラウザ

このWebサイトでGoogleがどれだけ取り上げられているか、またGoogleの市場シェア(62.85%)が偏っていることを考えると、これは私にとっては驚きでしたが、均等に取り上げているSchwartz氏には脱帽です(図25 )。

イベント

歴史上の一部の投稿では、SMX などの特定のカンファレンスを宣伝していましたが、これは比較的短期間であったため、データセットから削除されました。

興味深いことに、1 年ほど続いた主要な COVID-19 コンテンツが、20 年間にわたって他のカテゴリと比較されました (図 26 )。

また、Google からのイースターエッグも間違いなく必要です。 シュワルツさんは、以前はライブブログイベントを行っていたが、10年以上前にやめてしまったと語った。

関連するトピックについて少なくとも何らかの言及がなかったタイトルのほとんど (すべて?) をデータセットから削除しました (たとえば、vlog エピソード #1234 Weekly Roundup は削除されるものの例です)。

シュワルツ氏はまた、他の出版社がグーグルのロゴを取り上げ始めたとき、グーグルのロゴを取り上げるのをやめたと述べた。

「彼らは楽しみを失った。」

クリックではなく、情熱に動かされて何かをするのは、どれほどクールなことなのでしょうか?

32,926 件の投稿の検索履歴 (現在も増加中)

過去に戻って業界の変化をすべて語り、検索の「開拓時代」を知るのは興味深いことです。

そして、20 年間欠かさず業界を取材してきたバリー・シュワルツ氏に感謝したいと思います。

それが検索マーケティングに関係するものである場合、シュワルツ氏はおそらくそれを目にしたり、取り上げたりしている可能性が高いことを私たちは知っています。

それは新しいことではありません。

ここで提供される情報とデータに関する推奨事項と健全性チェックを行ってくれた John Mueller 氏と Patrick Stox 氏に感謝します。 ダニー・サリバン氏も追加の健全性チェックを行いました。

データと方法論

まず、Screaming Frog で seroundtable.com をクロールし、カスタム抽出を使用して作成者、投稿日、カテゴリなどの投稿メタ コンテンツを慎重に取得しました。 GA データも取得しましたが、これは 2005 年のものなので、これでは十分ではないことはわかっていました。 HTML データは、さらなる処理のために CSV に出力されました。

seroundtable.com には多数の投稿者が存在するため、残りの分析を Schwartz が書いた投稿のみに限定しました (彼はそのうち 32,000 件以上を執筆しました)。

Schwartz が Web サイトにどれだけ貢献したかをよりよく理解するために、上位 10 人の著者とその著者による記事の数を簡単に見てみましょう (図 27 )。

次に、GA API から API プルを設定して、すべてのユーザーの毎月のランディング ページとセッションをプルします。 さらに、ページビューと外部リンクのデータも取得しました。

すべてのデータを取得した後、seroundtable.com が AMP を使用していることに気付きました。これは、多くの記事に 2 セットの URL を意味します。 ナメクジ (例:/category/this-is-a-slug.html) を見ると、ありがたいことに、これらはすべてユニークなものでした。

カテゴリ、著者ページ、およびタイトルからトピックが推測できないその他のページを削除する必要がありました。Screaming Frog が見つけた場所に限定しましたが、著者はこれを簡単にクリーンアップしました。

そこから、一意のスラッグへの URL パスをクリーンアップし、それをクロールされた URL データと GA データの間の一致として使用しました。

seroundtable.com のデータは 2005 年の第 4 四半期に GA で開始されたことに注目してください。最初の投稿は 2003 年の第 4 四半期でした。Patrick Stox が指摘したように、2005 年 11 月 14 日が GA の正式な開始でした。私たちのデータには、誰もが知っているように、GA の誕生から消滅までのすべてのデータが含まれています。

これまで、このサイトでは Urchin Analytics が使用されていましたが、GA になりました。 クロールで見つかった 27,309 個の固有のナメクジのうち、GA データで見つからなかったのは 0.2% だけでした。 そのほとんどは、2023 年 6 月 30 日のデータカットオフ以降のものでした。

自然言語処理 (NLP)

クリーンなページ データと Analytics データがあることを確認した後、ページ タイトルを ngram に移行するプロセスを実行しました。 ngram は n 項のグループ化です。 たとえば、「緑のカエル」は、1 グラムとしての「その」、「緑」、「カエル」、および 2 グラムとしての「緑」、「緑のカエル」で構成されます。 これをタイトル上で実行し、各グラム レベルの頻度をカウントすると、重要な概念が浮かび上がることができます。

次に、すべての重要な ngram を大規模言語モデル (LLM) で実行して、重要なトピックをどれだけうまく抽出し、それらを関連するカテゴリにさらに結合できるかを確認しました。 ここで、ニッチなトピックに対する LLM の限界がわかります。 モデルはプロセスに役立ちましたが、カテゴリを構築できる概念についてさまざまな ngram を手動でレビューする作業がかなりの量になりました。

さらに、データセットには「Google」や「オーガニック検索」などの多くのエンティティや概念があり、多くの投稿に存在しますが、「ハチドリ」のような一時的に重要なトピックは少数の投稿にしか残っておらず、言語モデルを混乱させています。 。

ここでカテゴリ データを確認し、下のグラフで主要なカテゴリの指定を確認できます。 逆に単語の長さでソートされたマッチングを使用してカテゴリとタイトルを一致させ、より広範な (短い) フレーズの前に、より詳細なフレーズが一致するようにしました。 各トピックを広いカテゴリとより詳細なサブカテゴリに分類したことは注目に値します。

以下のグラフ (図 28 ) には、25 パーセンタイルを超えるセッションを含む広範なカテゴリが含まれています。 また、分類のプロセスは非常に主観的なものであることにも注意してください。 確かに、視聴者は別の分類をしたはずのトピックを見つけるでしょう。

外部リンク データと SEO ツールへの言及は、各ページのメイン コンテンツに当てられる部分のみを対象とした個別のクロールによって処理されました。

SEO ツールのデータは、タイトルとコンテンツを考慮するため、分類されたデータとは異なります。 投稿の分類はタイトルのみで行われました。

表、分類、および履歴 (年間) ページビューおよびセッション データは、「20 年間の検索データの追跡」で入手できます。