什麼是抓取預算 [以及如何優化它]？

抓取預算是您可能聽說過營銷人員談論的那些 SEO 術語之一。

但是，您知道它的含義和含義嗎？

不用擔心，我們不是來測試你的。 相反，我們在這裡幫助您了解抓取預算、為什麼它很重要以及如何檢查和優化它。

畢竟，你必須先學會爬行，然後才能走路，對吧？

什麼是抓取預算？

抓取預算是谷歌在特定時間範圍內可以在網站上抓取的頁面數。

你看，每次你在你的網站上發布一個頁面，你都需要等待谷歌對其進行索引和排名，而要做到這一點，它的機器人需要先抓取它。

這個過程可能會發生得更快或更慢，具體取決於您的網站有多大、主題有多受歡迎、您的頁面有多少流量等。

但是爬行實際上是如何工作的呢？

讓我們來了解一下。

爬蟲如何工作？

十多年前，谷歌意識到他們的資源有限，只能找到有限比例的不斷在線發布的永無止境的在線內容。

然後，在 2017 年，Google 發布了他們的官方“抓取預算對 Googlebot 意味著什麼”文章，其中解釋了他們對抓取的定義以及其他相關細節。

以下是基本事實：

• 抓取是有效的，除非您的網站有超過幾千個 URL
• 快速響應頁面增加爬取限制
• 您可以通過 Google Search Console 降低網站抓取速度
• 熱門網址往往被更頻繁地抓取
• 大量低價值 URL（重複內容、軟錯誤頁面等）會對索引編制和抓取產生負面影響
• 爬行不是直接的排名因素

基本上，為了確保您網站的最大可抓取性，您需要有快速的加載時間，避免重複和低質量的內容，並使您的網頁受歡迎。

但是，需要注意的是，大多數網站所有者不需要太在意抓取預算。 應該注意的是擁有數千頁的大型網站，例如電子商務商店、數字出版物和流行博客。

為什麼抓取預算很重要？

抓取預算對您的 SEO 工作非常重要，尤其是當您擁有數千頁並且每天不斷發布大量新文章時。 機器人會想要抓取您的新內容，但它們也會同時重新訪問您網站的其餘部分。

如果他們遇到讓他們感到困惑的多個挫折和/或問題，他們將陷入在舊頁面上浪費抓取預算的困境，而不是將其投資於您希望他們索引的新內容。 這可能會造成延遲並暫時（甚至永久）使您的 URL 在 SERP 中不可用。

例如，您正在發布對盡快獲得可見性很重要的新聞或信息。

您不想等待一個星期讓您的帖子被索引，對嗎？

畢竟，如果您的頁面未編入索引，您將無法對 SERP 進行排名。 假設您正在撰寫關於今天發生的世界事件，但您的頁面在五天內被抓取。 到那時，實現您的初始目標為時已晚，因為事件不再那麼相關和新鮮了。 更不用說，許多其他網站都會寫到它，並及時被索引。

抓取機器人需要長達一周的時間來索引您的頁面並不少見，但老實說，它應該花費更少的時間。

此外，與此同時，您還將繼續發布需要抓取、編入索引並及時提供給目標受眾的新頁面。 這就是索引瓶頸的秘訣。

總而言之，如果您經常達到爬網預算的限制，您可能會冒一些頁面在裂縫之間滑倒而無法進入 SERP 的風險。 因此，這些內容不會從自然流量中受益，並且與您的其他內容相比，其知名度要低得多。

如果您想知道如何檢查您的抓取預算 - 這很容易。 只需轉到 Google Search Console 並檢查 Crawl → Crawl Stats。

抓取預算優化

重要的是要記住，抓取預算取決於三個主要因素：網站規模、網站健康狀況和網站受歡迎程度。

這意味著您無需擔心抓取預算浪費，如果：

• 您的網站規模適中，意味著不到幾千頁。
• 您的網站沒有狀態代碼錯誤，並且具有適當的規範化。
• 您的網站很受歡迎，這意味著您已經開發了社交媒體追隨者，以及其他渠道來分享您的內容並產生流量。

涵蓋這些標準意味著 Googlebot 應該能夠有效地抓取您的網站。

如果您缺少這三個因素中的任何一個，您可能會遇到不同級別的抓取問題並失去某些頁面的自然搜索可見性。

以下是一些需要遵循的抓取預算最佳實踐：

提高您的網站速度

如上所述，網站速度和頁面加載時間可能會影響抓取限制。 一個健康、快速的網站意味著 Googlebot 能夠在更短的時間內抓取更多的網頁。

另一方面，較慢的加載頁面會降低抓取速度，並且在大型網站中，這可能會導致整體索引問題。

簡而言之，確保優化您的網站速度。 這不僅會使機器人更容易，而且會改善用戶體驗。

應用內部鏈接

最好的情況是讓反向鏈接指向您網站上的每個頁面。 這不僅是一種很好的 SEO 做法，可以吸引訪問者訪問您的網站並向搜索引擎展示您的內容很重要，而且還吸引了 Googlebot。

簡而言之，反向鏈接是 SEO 的金童。

但這是交易。

除了反向鏈接，谷歌也喜歡內部鏈接。 它有助於它發現您的所有頁面並更好地了解它們之間的關係。 雖然反向鏈接可能很難獲得，但您可以完全控制內部鏈接，並且可以根據需要添加任意數量（只是不要過度）。

應用此優化技術將確保您的更多頁面被抓取。

使用平面 Web 架構

在 Google 眼中，人氣非常重要。 這就是為什麼使用扁平化網站架構是有益的。 扁平架構允許鏈接權限在您的所有頁面上具有相同的比例。

它將幫助機器人更容易地跟踪您網站上的鏈接是如何連接的，此外還可以讓您更好地對相關頁面進行分組並獲得主題權威。

實際上，這意味著用戶和搜索引擎都可以在四次點擊內訪問您網站上的任何給定頁面。

避免孤立頁面和重複內容

孤立頁面是不包含單個外部鏈接或內部鏈接的頁面。 這使得這些類型的頁面與您的其他內容隔離開來，而且從邏輯上講，它們也更難被 Googlebot 發現。

通過為您擁有的每篇文章和頁面添加至少一個內部鏈接，您可以輕鬆避免孤立頁面。

管理重複內容

重複的內容會導致許多問題。 擁有多個具有相似參數的 URL 會使爬網機器人感到困惑。 這會浪費 Googlebot 的時間，因為它必須確定哪個頁面是主頁面，哪個頁面是重複版本，這會導致抓取過程變慢。

對於像電子商務平台這樣的網站，通常會有多個相似的 URL，由於多個相似的產品具有微小的差異，例如大小和顏色，請務必使用規範標籤，這將引導 Googlebot 到您想要優先處理的頁面。

禁止抓取某些頁面

每個網站都有登錄、聯繫表格、購物車等頁面。 這些不需要爬網，除此之外，它們不能被爬網。 然而，谷歌會嘗試，所以讓機器人知道他們應該跳過它們並節省資源是個好主意。

要執行此操作，請使用您的 robots.txt 文件來禁止抓取您想要的網頁。

更新舊內容並編寫新內容

我們有沒有提到谷歌喜歡新鮮的內容？ 確實如此。

Google 甚至可能會停止抓取您的頁面，因為最近幾次抓取時沒有任何新內容。

想像一下，Googlebot 每兩天訪問一次您的網站，並且每次找到要索引的新內容時。 然後，突然間，出於某種原因，您停止更新您的網站。 但是，Googlebot 會繼續以相同的頻率訪問它。 過了一會兒，機器人注意到沒有新的內容可以索引，最終降低了訪問頻率。

在相反的情況下，您開始更頻繁地提供新鮮內容，Googlebot 可以開始更頻繁地訪問您的網站。

資源

通常，在確定哪些頁面需要更新時，請注意相關性——一篇文章可能已有兩年之久，但仍然有適用的信息（不過，您仍然應該更新它）。 或者它可能是一個月前已經失去新鮮感的材料。

減少錯誤頁面

這個很容易理解。

Googlebot 在嘗試抓取包含 5xx 錯誤代碼（服務器錯誤）、4xx 錯誤代碼（無法找到錯誤）、3xx 錯誤代碼（重定向）等的頁面時會浪費時間，因此會降低您的抓取速度限制。

資源

基本上，導致代碼不同於 200 的每個頁面都是浪費時間和爬取資源。 實際上，沒有必要將 Google 的注意力引向您已刪除或重定向的頁面。 相反，優先修復您的實時 URL。

簡而言之，抓取預算優化

讓我們回顧一下優化 Google 抓取預算的步驟：

1. 加速您的網站
2. 在所有頁面上放置內部鏈接
3. 應用扁平化網站架構
4. 避免孤立頁面和重複內容
5. 防止在某些頁面上爬行
6. 更新舊內容，寫新內容
7. 減少錯誤頁面

獎金提示

您可以通過執行日誌文件分析來檢查您的網站被抓取的頻率。 這樣，您可以確定某些頁面是否比其他頁面更頻繁地被抓取。

此外，日誌文件分析可以幫助您了解網站的特定區域是否存在問題。

此外，日誌文件分析可以幫助您了解網站的特定區域是否存在問題。

底線

抓取預算對於您網站的整體搜索引擎可見性至關重要。 如果 Googlebot 無法抓取您的網頁並將其編入索引，那麼您實際上就不存在於在線狀態。

確保應用我們在文章中討論的所有抓取預算優化技術，您將獲得回報。

谷歌將能夠更快地找到您的內容並將其編入索引，最終，您的網站將領先於失敗或忽視實施優化的競爭對手。

1:0給你！ 好工作！