您可以使用的 SEO 新闻：介绍 GPTBot，OpenAI 的网络爬虫

如果说大多数 ChatGPT 用户想要一件事，那就是最新且更准确的人工智能或 AI 内容。 OpenAI 一直在努力实现这一目标。 就在最近，这家科技巨头发布了有关其自己的网络爬虫的文档。

OpenAI 计划使用这个名为 GPTBot 的爬虫来帮助“人工智能模型变得更加准确，并提高其总体能力和安全性。”

这是出于对个人隐私、绕过付费内容和有害文本生成的担忧。 为了解决此问题，OpenAI 确保对 GPTBot 进行过滤，以避免抓取这些类型的内容。 （尽管他们没有透露这是如何运作的。）

GPTBot 可以使用此用户代理和 robots.txt 文件中的字符串访问您的网站内容：

用户代理令牌： GPTBot

完整的用户代理字符串： Mozilla/5.0 AppleWebKit/537.36 （KHTML，如Gecko；兼容； GPTBot/1.0； +https://openai.com/gptbot）

但是，如果您不希望 GPTBot 窥探您的内容，您也可以在 robots.txt 文件中输入以下命令：

用户代理： GPTBot

禁止： /

您还可以自定义 GPTBot 访问您网站的方式。 您可以这样做：

用户代理： GPTBot

允许： /directory-1/

禁止： /directory-2/

使用此命令将使 GPTBot 仅访问您网站的特定部分。

所有对网站的调用都将从 OpenAI单独文档中列出的 IP 地址进行。 我们相信，随着 GPTBot 在互联网上抓取更多网站，这些 IP 地址的数量将会增加。 如果您有兴趣，以下是撰写本文时列出的 IP 地址：

• 20.15.240.64/28
• 20.15.240.80/28
• 20.15.240.96/28
• 20.15.240.176/28
• 20.15.241.0/28
• 20.15.242.128/28
• 20.15.242.144/28
• 20.15.242.192/28
• 40.83.2.64/28

那么，允许访问 GPTBot 有哪些好处呢？ 除了更好、更安全的 AI 模型（ GPT-5 已经在开发中）之外，让您的内容成为 OpenAI 的训练场确实没有任何好处。 但如果您正在利用人工智能内容并希望它更加准确和强大，这应该是个好消息。

随着谷歌最近采取行动，使用公开数据进行人工智能训练，OpenAI 不会袖手旁观，眼睁睁地看着自己的竞争优势被蚕食。

当然，不能保证这些科技公司能够逃脱对道德和负责任地使用在线内容的审查。 但我们很高兴看到人工智能将走多远，以及搜索引擎优化 (SEO) 将如何从这些进步中受益。

请在此处阅读完整的 GPTBot 文档。

您可以使用更多 SEO 新闻

谷歌宣布新的、更简单、更方便的排名框架：如果你厌倦了不断而复杂的算法更新，它不会很快停止。 但这一次，谷歌承诺提供更好的搜索排名更新，但不会对其算法进行重大修改。 谷歌的研究人员最近发布了一篇论文，详细介绍了一种名为 TW-BERT 的新加权框架。 该框架使得查找查询相关文档和查询扩展变得更加容易。 根据他们的发现，TW-BERT 将基于统计的检索方法的效率与更加面向上下文的深度学习模型相结合。 这一突破使得谷歌能够为搜索查询带来更相关的结果。 此外，该框架易于部署，这意味着谷歌可以轻松地将其放入其系统中。 这将如何影响搜索排名还有待观察。 事实上，我们还不知道谷歌是否计划继续使用它。 以下是《搜索引擎杂志》的完整​​故事。 欲了解完整的研究论文，请点击此处。

可带宠物？用这个新的英镑属性回答这个问题：Twitter 用户 Claudia Tomina分享了 Google 商家资料中的一个新的简洁功能。 此属性称为“宠物”，可让您显示您的宠物政策。 Tomina 的屏幕截图显示，您只能表明是否允许狗进入您的机构内外。 如果您对猫、鸡和其他非人类伴侣有单独的政策，则必须留意英镑的另一次更新。 Tomina 还分享了一旦您分享该信息，您的宠物政策将如何显示。 在过去的几周里，我们报道了一些有用的英镑更新。 （此处、此处和此处）我们推测这与帮助人们区分真实企业和虚假企业有关。 从搜索引擎圆桌会议了解更多信息。

以下是如何阻止 Google 对 AI 聊天机器人内容进行索引：您是否担心 Google 会因为您的 AI 聊天机器人而对您排名较低？您并不孤单，Google 搜索倡导者 John Mueller发布了有关此问题的公益广告。 他分享了如何阻止 Google 对 AI 聊天机器人生成的内容进行索引：(1) 使用机器人 iframe，(2) 使用机器人 JavaScript 文件或资源，或 (3) 使用数据 nosnippet。 有人指出，谷歌的网络爬虫 Googlebot 不应该获取这些数据。 穆勒回答说：“有些网站以奇怪的方式制作页面……正如你可以想象的，结果可能有点……对每个人来说都很尴尬。”有关此故事的更多信息，请阅读搜索引擎杂志上的这篇文章。

你不应该删除较旧的内容 – Google ：最近Gizmodo 披露了 CNET 为提高搜索排名而进行的大规模内容修剪，SEO 世界正热闹起来。据 Gizmodo 称，“该公司在 7 月下半月之前删除了小批量文章，但随后速度加快了。”CNET在一份内部备忘录中声称这是一项旨在提高其域名权威的定期战略举措。 谷歌搜索联络员也在推特上谈到了这一点：“你是否因为认为谷歌不喜欢“旧”内容而从你的网站上删除内容？这都不是事啊！” 基本上，您不应该仅仅因为旧内容的年龄而删除它们。 相反，您应该查看内容的质量。 还有帮助吗？ 它仍然为您的读者提供价值吗？ 当然，一些旧内容可能不再有用，但有些却有用。 因此，Google 的排名算法不会将您的内容的年龄视为其价值的指标。 因此，最好评估您的内容，看看它们是否仍然相关并符合 Google 的EEAT 指南和其他最佳实践。 阅读这篇搜索引擎土地文章以获取更多信息。

您现在可以使用 Moz 衡量品牌权威：您是否曾经好奇过您的品牌在在线领域的实力如何？Moz 帮助您了解他们的新指标“品牌权威”。 Brand Authority 于 2023 年 8 月 7 日推出 Beta 测试，“可以帮助您将视野扩展到 SEO 之外”，这意味着您现在可以量化其他营销活动（例如 PR）如何影响您的品牌，而不仅仅是搜索排名。 Moz 营销科学家皮特·迈耶斯 (Pete Meyers) 博士表示，“有了品牌权威，我们终于可以了解它们的重要性，并将这种力量发挥作用。”这对于网络所有者来说是一个有用的指标吗？ 我们拭目以待。 阅读Search Engine Land的完整故事。

编者注：“您可以使用的 SEO 新闻”是每周一早上仅在SEOblog.com上发布的每周博客文章，汇集了来自世界各地的所有顶级 SEO 新闻。我们的目标是通过我们全面的SEO 机构目录，使SEOblog.com成为每个寻找 SEO 新闻、教育和聘请 SEO 专家的一站式商店。