您可以使用的 SEO 新聞:介紹 GPTBot,OpenAI 的網絡爬蟲
已發表: 2023-08-14如果說大多數 ChatGPT 用戶想要一件事,那就是最新且更準確的人工智能或 AI 內容。 OpenAI 一直在努力實現這一目標。 就在最近,這家科技巨頭髮布了有關其自己的網絡爬蟲的文檔。
OpenAI 計劃使用這個名為 GPTBot 的爬蟲來幫助“人工智能模型變得更加準確,並提高其總體能力和安全性。”
這是出於對個人隱私、繞過付費內容和有害文本生成的擔憂。 為了解決此問題,OpenAI 確保對 GPTBot 進行過濾,以避免抓取這些類型的內容。 (儘管他們沒有透露這是如何運作的。)
GPTBot 可以使用此用戶代理和 robots.txt 文件中的字符串訪問您的網站內容:
用戶代理令牌: GPTBot
完整的用戶代理字符串: Mozilla/5.0 AppleWebKit/537.36 (KHTML,如Gecko;兼容; GPTBot/1.0; +https://openai.com/gptbot)
但是,如果您不希望 GPTBot 窺探您的內容,您也可以在 robots.txt 文件中輸入以下命令:
用戶代理: GPTBot
禁止: /
您還可以自定義 GPTBot 訪問您網站的方式。 您可以這樣做:
用戶代理: GPTBot
允許: /directory-1/
禁止: /directory-2/
使用此命令將使 GPTBot 僅訪問您網站的特定部分。
所有對網站的調用都將從 OpenAI單獨文檔中列出的 IP 地址進行。 我們相信,隨著 GPTBot 在互聯網上抓取更多網站,這些 IP 地址的數量將會增加。 如果您有興趣,以下是撰寫本文時列出的 IP 地址:
- 20.15.240.64/28
- 20.15.240.80/28
- 20.15.240.96/28
- 20.15.240.176/28
- 20.15.241.0/28
- 20.15.242.128/28
- 20.15.242.144/28
- 20.15.242.192/28
- 40.83.2.64/28
那麼,允許訪問 GPTBot 有哪些好處呢? 除了更好、更安全的 AI 模型( GPT-5 已經在開發中)之外,讓您的內容成為 OpenAI 的訓練場確實沒有任何好處。 但如果您正在利用人工智能內容並希望它更加準確和強大,這應該是個好消息。
隨著谷歌最近採取行動,使用公開數據進行人工智能訓練,OpenAI 不會袖手旁觀,眼睜睜地看著自己的競爭優勢被蠶食。
當然,不能保證這些科技公司能夠逃脫對道德和負責任地使用在線內容的審查。 但我們很高興看到人工智能將走多遠,以及搜索引擎優化 (SEO) 將如何從這些進步中受益。
請在此處閱讀完整的 GPTBot 文檔。
您可以使用更多 SEO 新聞
谷歌宣布新的、更簡單、更方便的排名框架:如果你厭倦了不斷而複雜的算法更新,它不會很快停止。 但這一次,谷歌承諾提供更好的搜索排名更新,但不會對其算法進行重大修改。 谷歌的研究人員最近發布了一篇論文,詳細介紹了一種名為 TW-BERT 的新加權框架。 該框架使得查找查詢相關文檔和查詢擴展變得更加容易。 根據他們的發現,TW-BERT 將基於統計的檢索方法的效率與更加面向上下文的深度學習模型相結合。 這一突破使得谷歌能夠為搜索查詢帶來更相關的結果。 此外,該框架易於部署,這意味著谷歌可以輕鬆地將其放入其係統中。 這將如何影響搜索排名還有待觀察。 事實上,我們還不知道谷歌是否計劃繼續使用它。 以下是《搜索引擎雜誌》的完整故事。 欲了解完整的研究論文,請點擊此處。
可帶寵物?用這個新的英鎊屬性回答這個問題:Twitter 用戶 Claudia Tomina分享了 Google 商家資料中的一個新的簡潔功能。 此屬性稱為“寵物”,可讓您顯示您的寵物政策。 Tomina 的屏幕截圖顯示,您只能表明是否允許狗進入您的機構內外。 如果您對貓、雞和其他非人類伴侶有單獨的政策,則必須留意英鎊的另一次更新。 Tomina 還分享了一旦您分享該信息,您的寵物政策將如何顯示。 在過去的幾周里,我們報導了一些有用的英鎊更新。 (此處、此處和此處)我們推測這與幫助人們區分真實企業和虛假企業有關。 從搜索引擎圓桌會議了解更多信息。
以下是如何阻止 Google 對 AI 聊天機器人內容進行索引:您是否擔心 Google 會因為您的 AI 聊天機器人而對您排名較低?您並不孤單,Google 搜索倡導者約翰·穆勒 (John Mueller)發布了有關此問題的公益廣告。 他分享瞭如何阻止 Google 對 AI 聊天機器人生成的內容進行索引:(1) 使用機器人 iframe,(2) 使用機器人 JavaScript 文件或資源,或 (3) 使用數據 nosnippet。 有人指出,谷歌的網絡爬蟲 Googlebot 不應該獲取這些數據。 穆勒回答說:“有些網站以奇怪的方式製作頁面……正如你可以想像的,結果可能有點……對每個人來說都很尷尬。”有關此故事的更多信息,請閱讀搜索引擎雜誌上的這篇文章。
你不應該刪除較舊的內容 – Google :最近Gizmodo 披露了 CNET 為提高搜索排名而進行的大規模內容修剪,SEO 世界正熱鬧起來。據 Gizmodo 稱,“該公司在 7 月下半月之前刪除了小批量文章,但隨後速度加快了。”CNET在一份內部備忘錄中聲稱這是一項旨在提高其域名權威的定期戰略舉措。 谷歌搜索聯絡員也在推特上談到了這一點:“你是否因為認為谷歌不喜歡“舊”內容而從你的網站上刪除內容?這都不是事啊!” 基本上,您不應該僅僅因為舊內容的年齡而刪除它們。 相反,您應該查看內容的質量。 還有幫助嗎? 它仍然為您的讀者提供價值嗎? 當然,一些舊內容可能不再有用,但有些卻有用。 因此,Google 的排名算法不會將您的內容的年齡視為其價值的指標。 因此,最好評估您的內容,看看它們是否仍然相關並符合 Google 的EEAT 指南和其他最佳實踐。 閱讀這篇搜索引擎土地文章以獲取更多信息。
您現在可以使用 Moz 衡量品牌權威:您是否曾經好奇過您的品牌在在線領域的實力如何?Moz 幫助您了解他們的新指標“品牌權威”。 Brand Authority 於 2023 年 8 月 7 日推出 Beta 測試,“可以幫助您將視野擴展到SEO 之外”,這意味著您現在可以量化其他營銷活動(例如PR)如何影響您的品牌,而不僅僅是搜索排名。 Moz 營銷科學家皮特·邁耶斯 (Pete Meyers) 博士表示,“有了品牌權威,我們終於可以了解它們的重要性,並將這種力量發揮作用。”這對於網絡所有者來說是一個有用的指標嗎? 我們拭目以待。 閱讀Search Engine Land的完整故事。
編者註:“您可以使用的 SEO 新聞”是每週一早上僅在SEOblog.com上發布的每周博客文章,匯集了來自世界各地的所有頂級 SEO 新聞。我們的目標是通過我們全面的SEO 機構目錄,使SEOblog.com成為每個尋找 SEO 新聞、教育和聘請 SEO 專家的一站式商店。