Actualités SEO que vous pouvez utiliser : Présentation de GPTBot, le robot d'exploration Web d'OpenAI

Publié: 2023-08-14

S'il y a une chose que la plupart des utilisateurs de ChatGPT veulent, ce serait un contenu d'intelligence artificielle ou d'IA à jour et plus précis. Eh bien, OpenAI a travaillé dur pour que cela se produise. Tout récemment, le géant de la technologie a publié une documentation sur son propre robot d'exploration Web.

Appelé GPTBot, OpenAI prévoit d'utiliser ce crawler pour aider"les modèles d'IA à devenir plus précis et à améliorer leurs capacités générales et leur sécurité".

Ceci au milieu des préoccupations concernant la confidentialité personnelle, le contournement du contenu payant et la génération de texte nuisible. Pour résoudre ce problème, OpenAI assure que GPTBot est filtré pour éviter d'explorer ces types de contenu. (Bien qu'ils n'aient pas divulgué comment cela fonctionne.)

GPTBot peut accéder au contenu de votre site Web avec cet agent utilisateur et cette chaîne dans votre fichier robots.txt :

Jeton d'agent utilisateur : GPTBot

Chaîne complète de l'agent utilisateur : Mozilla/5.0 AppleWebKit/537.36 (KHTML, comme Gecko ; compatible ; GPTBot/1.0 ; +https://openai.com/gptbot)

Cependant, si vous ne voulez pas que GPTBot puisse espionner votre contenu, vous pouvez également saisir cette commande dans votre fichier robots.txt :

Agent utilisateur : GPTBot

Interdire : /

Vous pouvez également personnaliser la façon dont GPTBot peut accéder à votre site Web. Voici comment procéder :

Agent utilisateur : GPTBot

Autoriser : /répertoire-1/

Interdire : /répertoire-2/

L'utilisation de cette commande permettra à GPTBot d'accéder uniquement à des parties spécifiques de votre site Web.

Tous les appels vers des sites Web seront effectués à partir des adresses IP OpenAI répertoriées dans sa documentation séparée . Nous pensons que le nombre de ces adresses IP augmentera à mesure que GPTBot explorera davantage de sites Web sur Internet. Si vous êtes intéressé, voici les adresses IP répertoriées au moment de la rédaction :

  • 20.15.240.64/28
  • 20.15.240.80/28
  • 20.15.240.96/28
  • 20.15.240.176/28
  • 20.15.241.0/28
  • 20.15.242.128/28
  • 20.15.242.144/28
  • 20.15.242.192/28
  • 40.83.2.64/28

Alors, quels sont les avantages d'autoriser l'accès à GPTBot ? Mis à part des modèles d'IA meilleurs et plus sûrs – GPT-5 est déjà en préparation – il n'y a vraiment aucun avantage à laisser votre contenu être le terrain d'entraînement d'OpenAI. Mais cela devrait être une bonne nouvelle si vous exploitez le contenu de l'IA et souhaitez qu'il soit plus précis et plus robuste.

Avec les récentes mesures prises par Google pour utiliser des données accessibles au public pour la formation à l'IA, OpenAI ne restera pas les bras croisés et ne verra pas son avantage concurrentiel se faire ronger.

Bien sûr, rien ne garantit que ces entreprises technologiques échapperont à l'examen minutieux de l'éthique et de l'utilisation responsable du contenu en ligne. Mais nous sommes ravis de voir jusqu'où l'IA ira et comment l'optimisation des moteurs de recherche (SEO) bénéficiera de ces avancées.

Lisez la documentation complète de GPTBot ici.

Plus de nouvelles SEO que vous pouvez utiliser

Google annonce un nouveau cadre de classement plus simple et plus pratique : si vous en avez assez des mises à jour constantes et complexes des algorithmes , cela ne s'arrêtera pas de si tôt.Mais cette fois, Google promet de meilleures mises à jour du classement de recherche sans remanier de manière significative ses algorithmes. Les chercheurs de Google ont récemment publié un article détaillant un nouveau cadre de pondération appelé TW-BERT. Ce cadre facilite la recherche de documents pertinents pour les requêtes et l'expansion des requêtes. Sur la base de leurs découvertes, TW-BERT combine l'efficacité des méthodes de récupération basées sur les statistiques avec les modèles d'apprentissage en profondeur plus contextuels. Cette percée permet à Google d'apporter des résultats plus pertinents aux requêtes de recherche. De plus, le framework est facile à déployer, ce qui signifie que Google pourrait le déposer dans son système sans tracas. Il reste à voir comment cela affecte les classements de recherche. En fait, nous ne savons pas encore si Google prévoit de l'utiliser à l'avenir. Voici l'histoire complète du Search Engine Journal . Pour l'intégralité du document de recherche, cliquez ici .

Animaux acceptés?Répondez à cette question avec ce nouvel attribut GBP : Claudia Tomina, utilisatrice de Twitter, a partagé une nouvelle fonctionnalité intéressante dans les profils d'entreprise Google. Appelé "Animaux de compagnie", cet attribut vous permet d'afficher votre politique relative aux animaux de compagnie. La capture d'écran de Tomina montre que vous ne pouvez indiquer que si les chiens sont autorisés à l'intérieur et à l'extérieur de votre établissement. Si vous avez des politiques distinctes pour les chats, les poulets et autres compagnons non humains, vous devrez faire attention à une autre mise à jour GBP. Tomina a également expliqué comment votre politique relative aux animaux de compagnie sera affichée une fois que vous aurez partagé ces informations. Nous avons couvert plusieurs mises à jour GBP utiles au cours des dernières semaines. ( Ici , ici et ici ) Nous supposons que cela a à voir avec le fait d'aider les gens à distinguer les vraies entreprises des fausses. En savoir plus sur la table ronde sur les moteurs de recherche .

Voici comment vous pouvez empêcher Google d'indexer le contenu du chatbot IA : Craignez-vous que Google vous classe plus bas à cause de votre chatbot IA ?Vous n'êtes pas seul, et l'avocat de la recherche Google, John Mueller, a publié un message d'intérêt public à ce sujet. Il explique comment vous pouvez empêcher Google d'indexer le contenu généré par votre chatbot IA : (1) utilisez un iframe robotisé, (2) utilisez un fichier ou une ressource JavaScript robotisé ou (3) utilisez un data-nosnippet. Quelqu'un a fait remarquer que Googlebot, le robot d'exploration de Google, n'est pas censé obtenir ces données. Mueller a répondu que "Certains sites créent des pages de manière étrange... Comme vous pouvez l'imaginer, les résultats peuvent être un peu... gênants pour tout le monde."Pour en savoir plus sur cette histoire, lisez cet article du Search Engine Journal .

Vous ne devriez pas supprimer le contenu plus ancien - Google : Le monde du référencement est en effervescence avec la récente révélation de Gizmodo sur l'élagage massif du contenu de CNET pour améliorer son classement de recherche.Selon Gizmodo,"la société a supprimé de petits lots d'articles avant la seconde moitié de juillet, mais le rythme a ensuite augmenté".Dans une note interne , CNET affirme qu'il s'agit d'une initiative stratégique périodique visant à améliorer son autorité de domaine. Google Search Liaison a également tweeté à ce sujet :« Supprimez-vous du contenu de votre site parce que vous pensez d'une manière ou d'une autre que Google n'aime pas le « vieux » contenu ?Ce n'est pas une chose ! Fondamentalement, vous ne devriez pas simplement supprimer l'ancien contenu simplement à cause de son âge. Au lieu de cela, vous devriez regarder la qualité du contenu. Est-ce toujours utile ? Offre-t-il toujours de la valeur à vos lecteurs ? Bien sûr, certains anciens contenus peuvent ne plus être bénéfiques, mais certains le sont. Par conséquent, les algorithmes de classement de Google ne considéreront pas l'âge de votre contenu comme un indicateur de sa valeur. Il est donc préférable d'évaluer votre contenu pour voir s'il est toujours pertinent et conforme aux directives EEAT de Google et à d'autres bonnes pratiques. Lisez cet article de Search Engine Land pour plus d'informations.

Vous pouvez maintenant mesurer l'autorité de la marque avec Moz : Avez-vous déjà été curieux de savoir à quel point votre marque est forte dans l'espace en ligne ?Moz vous aide à jeter un coup d'œil à leur nouvelle métrique appelée Brand Authority. Lancé pour les tests bêta le 7 août 2023, Brand Authority "peut vous aider à élargir votre vision au-delà du référencement", ce qui signifie que vous pouvez désormais quantifier l'impact de vos autres campagnes, telles que les relations publiques, sur votre marque plus que les simples classements de recherche. Selon le Dr Pete Meyers, scientifique en marketing chez Moz,"Avec Brand Authority, nous pouvons enfin comprendre à quel point ils comptent et mettre ce pouvoir à l'œuvre."Sera-ce une mesure utile pour les propriétaires de sites ? Nous allons attendre et voir. Lire l'histoire complète de Search Engine Land .

Note de l'éditeur : "SEO News You Can Use" est un article de blog hebdomadaire publié tous les lundis matin uniquement surSEOblog.com, rassemblant toutes les principales actualités SEO du monde entier.Notre objectif est de fairede SEOblog.comun guichet unique pour tous ceux qui recherchent des informations sur le référencement, une formation et l'embauche d'un expert en référencement grâce à notrerépertoire complet d'agences de référencement.