理解和解決“已發現 - 目前未編入索引”

已發表: 2023-02-07

如果您在 Google Search Console 中看到“已發現 - 當前未編入索引” ,則表示 Google 知道該 URL,但尚未對其進行抓取和索引。

這並不一定意味著該頁面永遠不會被處理。 正如他們的文檔所說,他們稍後可能會在您不需要任何額外努力的情況下返回它。

但其他因素可能會阻止 Google 抓取該頁面並將其編入索引,包括:

  • 服務器問題和現場技術問題限製或阻止谷歌的抓取能力。
  • 與頁面本身相關的問題,例如質量。

您還可以使用 Google Search Console Inspection API 將 URL 排隊,以獲得它們的coverageState狀態(以及其他有用的數據點)。

通過 Google Search Console 請求索引

這是一個顯而易見的解決方案,對於大多數情況,它將解決問題。

有時,Google 抓取新 URL 的速度很慢——這種情況時有發生。 但其他時候,根本問題是罪魁禍首。

當您請求索引時,可能會發生以下兩種情況之一:

  • URL 變為“已抓取 - 當前未編入索引”
  • 臨時索引

兩者都是潛在問題的症狀。

第二種情況發生是因為請求索引有時會給您的 URL 一個臨時的“新鮮度提升”,這可以使 URL 超過必要的質量閾值,進而導致臨時索引。


獲取搜索營銷人員所依賴的每日時事通訊。

處理中……請稍候。

見條款。


頁面質量問題

這就是詞彙會讓人困惑的地方。 有人問我,“如果尚未抓取,Google 如何確定頁面質量?”

這是一個很好的問題,答案是不能。

Google 正在根據域中的其他網頁對網頁的質量做出假設。 他們的分類同樣基於 URL 模式和網站架構。

因此,將這些頁面從“意識”轉移到爬網隊列可以根據他們在類似頁面上發現的質量不足而降低優先級。

與針對相同用戶意圖和關鍵字的其他內容片段相比,具有相似 URL 模式的頁面或位於網站架構相似區域的頁面可能具有低價值主張。

可能的原因包括:

  • 主要內容深度。
  • 推介會。
  • 支持內容的級別。
  • 所提供內容和觀點的獨特性。
  • 或者更多的操縱性問題(即內容質量低下並且自動生成、旋轉或直接複製已經建立的內容)。

努力提高站點集群和特定頁面中的內容質量可以對重新點燃 Google 以更大的目的抓取您的內容的興趣產生積極影響。

您還可以對網站上您認為質量不高的其他頁面不編制索引,以提高網站上優質頁面與劣質頁面的比例。

抓取預算和效率

抓取預算是 SEO 中經常被誤解的機制。

大多數網站不需要擔心這一點。 事實上,Google 的 Gary Illyes 公開表示可能 90% 的網站不需要考慮抓取預算。 它通常被認為是企業網站的問題。

另一方面,抓取效率會影響各種規模的網站。 如果被忽視,它可能會導致 Google 抓取和處理網站的方式出現問題。

舉例來說,如果您的網站:

  • 使用參數複製 URL。
  • 使用和不使用尾部斜杠解析。
  • 在 HTTP 和 HTTPS 上可用。
  • 提供來自多個子域的內容(例如,https://website.com 和 https://www.website.com)。

…那麼您可能會遇到重複問題,這些問題會影響 Google 基於更廣泛的站點假設對爬網優先級的假設。

您可能會用不必要的 URL 和請求來消耗 Google 的抓取預算。 鑑於 Googlebot 會分段抓取網站,這可能會導致 Google 的資源無法擴展到足以按您希望的速度發現所有新發布的 URL。

您希望定期抓取您的網站,並確保:

  • 頁面解析為單個子域(根據需要)。
  • 頁面解析為單個 HTTP 協議。
  • 帶有參數的 URL 被規範化到根(根據需要)。
  • 內部鏈接不要不必要地使用重定向。

如果您的網站使用電子商務產品過濾器等參數,您可以通過在 robots.txt 文件中禁止這些 URI 路徑來限制對它們的抓取。

您的服務器對於 Google 如何分配預算來抓取您的網站也很重要。

如果您的服務器過載並且響應速度太慢,則可能會出現抓取問題。 在這種情況下,Googlebot 將無法訪問該頁面,從而導致您的某些內容無法被抓取。

因此,谷歌將嘗試稍後返回以索引該網站,但這無疑會導致整個過程的延遲。

內部鏈接

當您擁有一個網站時,擁有從一個頁面到另一個頁面的內部鏈接非常重要。

谷歌通常不太關注沒有任何或足夠內部鏈接的 URL,甚至可能將它們從其索引中排除。

您可以通過 Screaming Frog 和 Sitebulb 等爬蟲檢查頁面的內部鏈接數量。

在優化您的網站時,擁有一個有組織和邏輯的網站結構以及內部鏈接是最好的方法。

但是,如果您對此有困難,確保所有內部頁面都已連接的一種方法是使用 HTML 站點地圖“侵入”爬網深度。

這些是為用戶而不是機器設計的。 雖然它們現在可能被視為文物,但它們仍然有用。

此外,如果您的網站有很多 URL,明智的做法是將它們分成多個頁面。 您不希望它們都從一個頁面鏈接起來。

內部鏈接也需要為內部鏈接使用 <a> 標籤,而不是依賴於諸如onClick()之類的 JavaScript 函數。

如果您使用的是 Jamstack 或 JavaScript 框架,請研究它或任何相關庫如何處理內部鏈接。 這些必須顯示為 <a> 標記。


本文中表達的觀點是客座作者的觀點,不一定是 Search Engine Land。 此處列出了工作人員作者。