追踪 20 年的搜索

您是一位新的搜索營銷人員，希望了解搜索的歷史嗎？

您想了解最新的搜索營銷新聞嗎？

如果是這樣，那麼您只需要“關注”一個人就可以了解該行業 90% 的有趣變化。

此人有一個網站； 他的第一篇博客文章發表於 2003 年 12 月 2 日。該網站的 Google Analytics (GA) 代碼非常短：UA-67314-1。

幾個月前，在 Mastodon 進行了簡短的互動後，我被允許訪問他的 GA 帳戶，看看我是否可以通過他作為搜索營銷記錄保存者的工作來講述一個關於搜索歷史的故事。

看看他的發帖模式（圖 1 ），很明顯，數量並不是什麼挑戰。 （我什至多次檢查該圖以確保其正確。哇！）

在過去 20 年中，此人平均發布了：

• 每天3.81次。
• 每週 26.67 次。
• 每月116.20次。
• 每年 1,437 次。

我相信您現在已經猜到了，但我正在談論 Barry Schwartz 和他的網站“搜索引擎圓桌會議”。

本文介紹了我對 seroundtable.com 的歷史 Google Analytics 數據進行分析後得出的主要結論和發現。

（如果您對我如何分析數據以及使用哪些工具感興趣，可以查看下面的方法。）

多年來搜索引擎覆蓋率

由於我們擁有 2003 年的數據和多產的海報，我們認為查看帖子標題中提到各種引擎的主題覆蓋範圍會很有趣（圖 2 ）。

這個數字講述了我們都知道的同一個故事，谷歌是過去二十年覆蓋率最高的搜索引擎。

但值得注意的是雅虎的消亡和微軟 Bing 的複興。 （正如 5 月份報導的那樣，雖然 Microsoft Bing 的覆蓋率大幅上升，但從使用角度來看，這是否有幫助尚不清楚。）

從一個人的角度來報導“有趣” 了解這些產品是了解其歷史的獨特方式。

值得注意的是，在過去 13 年中，大多數美國主要搜索引擎的提及次數都很少，但 Microsoft Bing 除外，該引擎最近由於微軟與 OpenAI 的集成而突然聲名鵲起。

通過搜索引擎隊列查看每個帖子的平均會話數和隨時間推移的帖子頻率（圖 2 ），很明顯，廣泛的新聞報導極大地增強了 Google 對於該網站受眾的重要性。

搜索引擎的一個重要組成部分是它們改進結果的頻率。 我們可以回顧一下“算法更新”的歷史以及每個月推動的搜索量。

您會注意到，隨著更新公告的出現，帖子在最初的流量激增後是如何增加的。 下圖描繪了一個非常有趣的故事：

• 更新的頻率（至少是主要更新）。
• 施瓦茨與其報導的聯繫和一致性。

Google 更新在搜索社區中的影響和受歡迎程度

我們標記了大約 20 個命名的 Google 更新。 下面顯示的八個是總會話數排名前八的（圖 4 ）。 我們在此圖表中添加了“處罰”類別，因為這是企鵝時代的一個熱門話題領域。

雖然這個話題仍在討論中，但其受歡迎程度已經下降，如下所示。 由此可見企鵝更新對搜索界的巨大影響。

有趣的是，大約從 2007 年到 2013 年 3 月，seroundtable.com 受到了 Google 的手動操作。

Schwartz 在 2011 年寫了相關文章，我們可以在他的 GA 帳戶中看到註釋，指出該規則已於 3 月份被取消，並通過 4 月份的重新考慮請求得到驗證。

2013 年第一季度，他的 Google/Organic 會話增長率（同比）為 16%，而第二季度為 25%（圖 5 ）。

新用戶增長增長22個百分點。 儘管如此，由於第二季度的興趣異常激增，其影響仍值得懷疑。

施瓦茨在他關於處罰的帖子（以及他的讚助鏈接）中說：

• “我很固執，我是少數幾個在谷歌懲罰後決定不改變的 SEO 博客之一。”

多年後，他重新考慮。 （GA 中現在缺少許多細節，但手動懲罰可能不會產生重大影響。）

Seroundtable.com 也成為 2014 年 Panda 4.1 更新的受害者（圖 6 ）。

正如 Schwartz 在 2015 年指出的那樣，Panda 4.2 的性能從 2015 年中期開始略有改善，直到 2020 年 5 月，性能再次突然下降。

谷歌團隊成員

我們確定了帖子標題中提到的 10 名 Google 員工（圖 7 ）。

在這 10 個中，我們將列表限制為僅顯示那些定期向 SEO 社區傳達信息的人。

這是我最喜歡的觀點，因為它清楚地展示了馬特·卡茨與約翰·穆勒時代。

作為 Google 搜索的公共聯絡人，丹尼·沙利文 (Danny Sullivan) 在帖子中的發言並不那麼明顯。 值得注意的是，2017 年底之前提及他的任何內容都指的是他在擔任此職位之前的職務。

作為Search Engine Watch的創始人和後來的Search Engine Land的創始編輯，沙利文無疑是SEO歷史中不可或缺的一部分。

SEO工具覆蓋範圍

SEO行業並不缺乏工具。 回顧施瓦茨的帖子，我們可以看到他多年來提到了各種各樣的工具公司。

雖然專門針對特定公司的帖子相當罕見，但施瓦茨涵蓋了數據研究和產品公告。

下面（圖 8a ），我們可以看到自 2003 年以來帖子的報導頻率。該數據與本文中的其他數據不同，因為它考慮了文章標題和內容中的提及。

從歷史上看，我們可以看到創建 Mozcast 等聚合排名指標給工具供應商帶來的好處。

隨著每次排名波動，提及次數不斷增加。 從這裡也可以看出莫茲的持久力。

熱門帖子

下表（圖 9 ）按獨特綜合瀏覽量顯示了每年的熱門帖子。

有些內容具有更廣泛的吸引力（在 SEO 社區之外），而內容則更針對搜索引擎營銷人員。

我想知道他是如何決定這個平衡的？ 我對這個列表有點驚訝，但它是有道理的。

圖9

評論

據我所知，Seroundtable.com 一直允許發表評論，而且 SEO 社區也喜歡分享有關 Google 惡作劇的意見。

此視圖（圖 10 ）由 John Mueller 建議，通過獨特的頁面視圖和評論（氣泡大小）顯示一段時間內的帖子。

如果我們按主題類別查看數據，這會變得有趣。

例如，我們將“Google 更新”上的內容與“付費廣告”上的內容進行比較（圖 11a和11b ）。

付費方面的熱情要低得多，但它顯示了人們對涉及可能消除數月或數年努力的變化的帖子的興趣、情感和互動程度的提高。

鏈接

施瓦茨並不羞於與他人建立聯繫。

如前所述，施瓦茨在 2007 年受到 Google 的適度處罰後，幾年後才不情願地為贊助鏈接添加了 nofollow 屬性。

在過去 20 年裡，Schwartz 已將他的帖子內容鏈接到近 4,000 個獨特的域（圖 12 ）。

該圖顯示了數據集中排名前 10 的鏈接域，清楚地說明了 Twitter 在過去 10 年中為 Schwartz 提供的顯示信息所提供的價值。

下一張圖表刪除了 Twitter 和 Google，並執行相同的操作（圖 13 ）。

我們開始看到一些新的 SEO 可能不知道的網站，但許多人可能會以不同程度的喜愛程度記住這些網站。

獲取搜索營銷人員信賴的每日新聞通訊。

正在處理...請稍候。

訂閱

查看條款。

隨著時間的推移搜索趨勢的數據可視化

這是一個有趣的賽車條形圖，顯示了過去 20 年的頂級類別（圖 14 ）。 這提醒人們在 Google 更新期間 SEO 社區中出現了恐慌。

在某種程度上，這帶來了安慰，因為儘管 SEO 正在迅速變化，但它一直都是這樣。

圖 14 （請參閱此處的完整動畫。）

施瓦茨像機器人一樣發帖

我認為這裡有一些有趣的東西可以用來指出某一天優先發布的位置，但事實並非如此。

就這樣發帖，而且這種情況經常發生。

我提到施瓦茨是一個機器人，因為他多年來在發帖中表現出非凡的一致性。

我在六個多月的時間裡都很難致力於同一個項目，所以 20 年已經超出了驚人的範圍（圖 15 ）。

為了平衡起見，這裡是按週各天劃分的會話數（圖 16 ）。 我想這確實不重要，儘管周中是明顯的贏家。

從近幾年發布的帖子類型來看，平日的帖子類型似乎並沒有太大的差異（圖17 ）。

我們確實看到差異的地方是周六和周日，這些日子通常涉及非常重要的臨時事件。

施瓦茨歷來很少在周六和周日發帖，分別佔所有帖子的 0.74% 和 0.17%。

從直覺上看，這是有道理的，因為他更有可能在周末休息一下，去處理真正重要的事情。

重要類別和字數

這些是根據斜率審查的類別中排名靠前的類別（圖 18 ）。 作為參考，斜率是描述線的方向和陡度的度量。

從流量的角度來看，這些類別表現如此出色的原因之一可能是此類內容打破了典型的 SEO 世界泡沫，並進入了 Google 周圍的普通人群的興趣範圍。

施瓦茨經常表示，他更關心新聞的傳播，而不是報導的深度。

當查看會話和字數之間的關係時，數據支持了這一點（圖 19 ）。

Schwartz 的讀者群如何反映 SEO 行業以及對不同細分市場的興趣

SEO 小節

這就是類別可能會給我帶來麻煩的地方。

從較高層面來看，以下是 Schwartz 的追隨者和讀者對 SEO 行業對 SEO 四個主要部分的相對興趣（圖 20 ）。

正如穆勒所指出的，你可以很好地看到移動領域的十年。

人工智能和搜索引擎優化

好的，我只是想做一個樹形圖，但這是“機器學習”類別中的帖子的總會話的一個很酷的視圖（圖 21 ）。

請注意，這是每個類別中最佳帖子的總會話數。 這應該控制某些類別的相對新穎性。

我覺得很有趣的是，進入 BERT 詞典比最近的機器學習變化產生了更大的影響。

搜索引擎優化英雄

對於所有頁面專家來說，以下是基於表現最佳帖子的會話對該類別成員的相對興趣水平（圖 22 ）。

這裡需要注意的是，“Meta”可能會因與公司 Meta (Facebook) 的匹配而被誇大。

以下是按策略劃分的頂級類別（圖 23 ）。 由於時間跨度已超過 20 年，其中許多策略實際上可能會讓網站受到懲罰。

這確實很好地展示了 SEO 曲折的過去，以及 Google 公關推動的本質，以揭露試圖欺騙其係統或傷害他人的策略。

有薪酬的

對於付費方面的朋友，這裡是“付費廣告”帖子組的成員。 （圖24 ）。 誰還記得序曲？

瀏覽器

考慮到該網站上 Google 的覆蓋範圍以及 Google 的市場份額 (62.85%) 的不平衡程度，這讓我感到驚訝，但要向 Schwartz 的均勻覆蓋致敬（圖 25 ）。

活動

歷史上的一些早期帖子宣傳了 SMX 等特定會議，但時間相對較短，因此它們已從數據集中刪除。

有趣的是，將持續一年左右的主要 COVID-19 內容與 20 多年的其他類別進行了比較（圖 26 ）。

此外，我們肯定需要谷歌提供更多的複活節彩蛋。 施瓦茨告訴我，他曾經舉辦過現場博客活動，但十多年前就停止了。

我從數據集中刪除了大多數（全部？）標題，這些標題至少沒有提到相關主題（例如，vlog 劇集＃1234 Weekly Roundup 就是一個將被刪除的示例）。

施瓦茨還提到，當其他出版商開始覆蓋谷歌徽標時，他就不再覆蓋它們。

“他們失去了樂趣。”

靠激情而不是點擊來做某件事有多酷？

32,926 個帖子的搜索歷史記錄以及還在增加中

回顧並回顧行業中發生的所有變化並了解搜索的“狂野西部”時代是很有趣的。

我們要感謝巴里·施瓦茨 (Barry Schwartz) 20 年來對行業的報導，無一例外。

如果涉及搜索營銷，我們知道施瓦茨很可能已經看到或報導過它。

這並不新鮮。

我要感謝約翰·穆勒 (John Mueller) 和帕特里克·斯托克斯 (Patrick Stox) 對此處提供的信息和數據提出的建議和健全性檢查。 丹尼·沙利文還進行了額外的健全性檢查。

數據和方法

我首先在 Screaming Frog 中抓取 seroundtable.com，使用自定義提取小心地提取帖子元內容，例如作者、發布日期和類別。 我還提取了 GA 數據，儘管這是 2005 年的數據，我知道這還不夠。 HTML 數據被輸出到 CSV 中以供進一步處理。

由於 seroundtable.com 上有很多作者，因此我將其餘分析僅限於 Schwartz 撰寫的帖子（他撰寫了超過 32,000 篇帖子）。

為了更好地了解 Schwartz 為該網站做出了多少貢獻，我們快速瀏覽一下排名前 10 位的作者以及他們發表的文章數量（圖 27 ）。

然後，我從 GA API 設置 API 拉取，為所有用戶拉取每月的登陸頁面和會話。 此外，我們還提取了瀏覽量和外部鏈接的數據。

提取所有數據後，我注意到 seroundtable.com 使用 AMP，這意味著許多文章有兩組 URL。 看看 slug（例如，/category/this-is-a-slug.html），幸運的是，這些都是獨一無二的。

我需要消除類別、作者頁面和其他無法從標題推斷出主題的頁面——僅限於尖叫青蛙發現作者可以輕鬆清理的地方。

從那裡，我將 URL 路徑清理為唯一的 slugs，並將其用作已爬網 URL 數據和 GA 數據之間的匹配。

值得注意的是，seroundtable.com 的數據始於2005 年第四季度的GA。第一篇文章是從2003 年第四季度開始的。正如Patrick Stox 所指出的，2005 年11 月14 日是GA 的正式推出，這意味著正如我們所知，我們的數據涵蓋了 GA 從誕生到消亡的所有數據。

在此之前，該網站使用了 Urchin Analytics，後來成為 GA。 在爬行中發現的 27,309 個獨特的 slugs 中，只有 0.2% 在 GA 數據中未找到。 大多數是在 2023 年 6 月 30 日數據截止之後。

自然語言處理（NLP）

在確保擁有乾淨的頁面數據和分析數據後，我通過將頁面標題轉換為 ngram 的過程來運行頁面標題。 ngram 是 n 項分組。 例如，“the green frog”將由：“the”、“green”、“frog”作為 1-grams 組成，“the green”、“green frog”作為 2-grams 組成。 在標題上運行這個併計算每個克級別的頻率可以讓重要的概念浮現出來。

然後，我們通過大型語言模型 (LLM) 運行所有重要的 ngram，看看它能如何很好地挑選出重要主題，並進一步將它們組合到相關類別中。 這就是我們看到法學碩士在利基主題上的局限性的地方。 儘管模型在此過程中有所幫助，但仍需要大量手動檢查各種 ngram 來查找可以構建類別的概念。

此外，數據集中有許多實體和概念，如“谷歌”和“有機搜索”，它們出現在許多帖子中，而像“蜂鳥”這樣的臨時重要主題只出現在少數帖子中，並且混淆了語言模型。

您可以在此處查看類別數據並查看下圖中的主要類別名稱。 我們使用反向字長排序匹配將類別與標題進行匹配，以確保更詳細的短語在更廣泛（更短）的短語之前匹配。 值得注意的是，我們將每個主題分為一個廣泛的類別和一個更詳細的子類別。

下圖（圖 28 ）包含會話數高於 25% 的大類。 另請注意，分類過程非常主觀。 可以肯定的是，觀眾會發現他們會以不同方式分類的主題。

外部鏈接數據和 SEO 工具提及是通過單獨的抓取來處理的，該抓取僅針對每個頁面中專門用於主要內容的部分。

SEO 工具數據與分類數據不同，因為它考慮標題和內容。 帖子的分類僅根據標題進行。

表格、分類以及歷史（每年）頁面瀏覽量和會話數據可在跟踪 20 年搜索數據中找到。