使える SEO ニュース: OpenAI の Web クローラー、GPTBot の紹介

公開: 2023-08-14

ほとんどの ChatGPT ユーザーが望んでいることが 1 つあるとすれば、それは最新でより正確な人工知能または AI コンテンツでしょう。 OpenAI はこれを実現するために懸命に取り組んできました。 つい最近、テクノロジー大手は自社の Web クローラーに関するドキュメントをリリースしました。

GPTBot と呼ばれる OpenAI は、このクローラを使用して「AI モデルの精度を高め、一般的な機能と安全性を向上させる」ことを計画しています。

これは、個人のプライバシー、有料コンテンツや有害なテキストの生成を回避することへの懸念の中でのことです。 この問題に対処するために、OpenAI は、GPTBot がこれらの種類のコンテンツのクロールを回避するようにフィルター処理されることを保証します。 (ただし、これがどのように機能するかは明らかにされていません。)

GPTBot は、次のユーザー エージェントと robots.txt ファイルの文字列を使用して Web サイトのコンテンツにアクセスできます。

ユーザーエージェントトークン: GPTBot

完全なユーザー エージェント文字列: Mozilla/5.0 AppleWebKit/537.36 (KHTML、 Geckoなど、互換性あり、 GPTBot/1.0、 +https://openai.com/gptbot)

ただし、GPTBot にコンテンツを盗み取られたくない場合は、robots.txt ファイルに次のコマンドを入力することもできます。

ユーザーエージェント: GPTBot

許可しない: /

GPTBot が Web サイトにアクセスする方法をカスタマイズすることもできます。 その方法は次のとおりです。

ユーザーエージェント: GPTBot

許可: /ディレクトリ-1/

禁止: /directory-2/

このコマンドを使用すると、GPTBot が Web サイトの特定の部分にのみアクセスできるようになります。

Web サイトへの呼び出しはすべて、別のドキュメントに記載されている OpenAI の IP アドレスから行われます。 GPTBot がインターネット上でより多くの Web サイトをクロールするにつれて、これらの IP アドレスの数は増加すると考えられます。 興味があれば、この記事の執筆時点でリストされている IP アドレスを以下に示します。

  • 20.15.240.64/28
  • 20.15.240.80/28
  • 20.15.240.96/28
  • 20.15.240.176/28
  • 20.15.241.0/28
  • 20.15.242.128/28
  • 20.15.242.144/28
  • 20.15.242.192/28
  • 40.83.2.64/28

では、GPTBot へのアクセスを許可するとどのようなメリットがあるのでしょうか? より優れた、より安全な AI モデル ( GPT-5 はすでに開発中です) を除けば、コンテンツを OpenAI の訓練場にするメリットはまったくありません。 ただし、AI コンテンツを活用していて、より正確で堅牢なものを望んでいる場合には、これは朗報となるはずです。

AIトレーニングに公的にアクセス可能なデータを使用するというGoogleの最近の動きを受けて、OpenAIはその競争上の優位性が侵食されるのを黙って見ているわけにはいかないだろう。

もちろん、これらのテクノロジー企業がオンライン コンテンツの倫理と責任ある使用に関する監視を逃れられるという保証はありません。 しかし、私たちは AI がどこまで進歩し、検索エンジン最適化 (SEO) がこれらの進歩からどのような恩恵を受けるかを見ることに興奮しています。

ここで GPTBot の完全なドキュメントをお読みください。

利用できるその他の SEO ニュース

Google が、より簡単で便利な新しいランキング フレームワークを発表: 継続的で複雑なアルゴリズムの更新にうんざりしている場合でも、すぐには終わりません。 しかし今回、Googleはアルゴリズムを大幅に見直すことなく、検索ランキングの更新を改善すると約束している。 Google の研究者は最近、TW-BERT と呼ばれる新しい重み付けフレームワークについて詳しく説明した論文を発表しました。 このフレームワークにより、クエリ関連ドキュメントの検索とクエリ拡張が容易になります。 彼らの発見に基づいて、TW-BERT は統計ベースの検索手法の効率性と、よりコンテキスト指向の深層学習モデルを組み合わせています。 この画期的な進歩により、Google は検索クエリに対してより関連性の高い結果を提供できるようになります。 また、このフレームワークは導入が簡単なので、Google は手間をかけずにシステムにフレームワークを組み込むことができます。 これが検索ランキングにどのような影響を与えるかはまだわかりません。 実際、Google が今後これを使用する予定があるかどうかはまだわかりません。 Search Engine Journalからの全文は次のとおりです。 研究論文全体については、ここをクリックしてください。

ペット可？この新しい GBP 属性でその質問に答えましょう: Twitter ユーザーの Claudia Tomina が、 Google ビジネス プロフィール内の新しい優れた機能を共有しました。 「ペット」と呼ばれるこの属性を使用すると、ペット ポリシーを表示できます。 トミナさんのスクリーンショットでは、施設の内外で犬を許可するかどうかのみを指定できることが示されています。 猫、鶏、その他人間以外の同伴者に対して個別のポリシーを設定している場合は、別の GBP アップデートに注意する必要があります。 トミナさんは、情報を共有するとペットのポリシーがどのように表示されるかについても説明しました。 過去数週間にわたって、いくつかの役立つ GBP アップデートについて取り上げてきました。 (ここ、ここ、ここ) これは人々が本物のビジネスと偽のビジネスを区別できるようにすることに関係していると私たちは推測しています。 詳細については、検索エンジン ラウンドテーブルをご覧ください。

Google が AI チャットボット コンテンツのインデックスを作成するのをブロックする方法は次のとおりです: AI チャットボットのせいで Google があなたを低く評価するのではないかと心配ですか?あなたは一人ではありません。Google 検索擁護者の John Mueller 氏がこの件についてPSA を投稿しました。 彼は、AI チャットボットによって生成されたコンテンツのインデックス作成を Google がブロックする方法を共有しています。(1) ロボット化された iframe を使用する、(2) ロボット化された JavaScript ファイルまたはリソースを使用する、または (3) データノスニペットを使用する。 Google の Web クローラーである Googlebot はこのデータを取得するべきではないと誰かが指摘しました。 ミューラー氏は、「一部のサイトは奇妙な方法でページを作成しています…ご想像のとおり、結果は誰にとっても少し…気まずいものになる可能性があります。」と答えました。この話の詳細については、 Search Engine Journalのこの記事をお読みください。

古いコンテンツは削除すべきではありません – Google :検索ランキングを向上させるために CNET が大規模なコンテンツを削除したことを最近Gizmodo が明らかにしたことで、SEO の世界が話題になっています。米Gizmodoによれば、「同社は7月後半までに少量の記事を削除したが、その後ペースが上がった」という。CNET は内部メモの中で、これはドメイン権限を向上させるための定期的な戦略的取り組みであると主張しています。 Google Search Liaisonもこれについてツイートした：「Googleが「古い」コンテンツを好まないと何らかの理由でサイトからコンテンツを削除しているのですか？そんなことないよ！」 基本的に、古いコンテンツを古いからといって単純に削除すべきではありません。 代わりに、コンテンツの品質に注目する必要があります。 まだ役に立ちますか? それでも読者に価値を提供できますか? 確かに、古いコンテンツの中にはもう役に立たないものもありますが、有益なものもあります。 したがって、Google のランキング アルゴリズムは、コンテンツの価値を示す指標としてコンテンツの古さを考慮しません。 したがって、コンテンツが依然として関連性があり、Google のEEAT ガイドラインやその他のベスト プラクティスに準拠しているかどうかを確認するために、コンテンツを評価することが最善です。 詳細については、このSearch Engine Land の記事をお読みください。

Moz を使用してブランドの権威を測定できるようになりました: オンライン領域でのブランドの強さについて興味を持ったことはありますか?Moz は、Brand Authority と呼ばれる新しい指標を確認するのに役立ちます。 昨年 2023 年 8 月 7 日にベータテストのために開始された Brand Authority は、「SEO を超えてビジョンを広げるのに役立ちます」。つまり、検索ランキングだけでなく、PR などの他のキャンペーンがブランドにどのような影響を与えるかを定量化できるようになりました。 Moz のマーケティング サイエンティストであるピート マイヤーズ博士は、「ブランド オーソリティーを使用することで、ブランド オーソリティがどれほど重要かを最終的に理解し、その力を活用できるようになります。」と述べています。これはウェブ所有者にとって有益な指標となるでしょうか? 様子を見てみましょう。 Search Engine Landから全文をお読みください。

編集者注: 「SEO News You Can Use」は、毎週月曜日の朝にSEOblog.comにのみ投稿される毎週のブログ投稿で、世界中のトップ SEO ニュースをすべてまとめています。 私たちの目標は、SEOblog.com を、SEO ニュースや教育を探しているすべての人、また SEO 専門家を雇うための包括的なSEO 代理店ディレクトリを利用できるワンストップ ショップにすることです。