Notícias de SEO que você pode usar: Apresentando o GPTBot, o rastreador da Web da OpenAI

Publicados: 2023-08-14

Se há algo que a maioria dos usuários do ChatGPT deseja, é inteligência artificial atualizada e mais precisa ou conteúdo de IA. Bem, a OpenAI tem trabalhado duro para fazer isso acontecer. Recentemente, a gigante da tecnologia divulgou documentação sobre seu próprio rastreador da web.

Chamado GPTBot, o OpenAI planeja usar esse rastreador para ajudar“os modelos de IA a se tornarem mais precisos e melhorarem suas capacidades gerais e segurança”.

Isso ocorre em meio a preocupações com a privacidade pessoal, ignorando o conteúdo pago e a geração de texto prejudicial. Para resolver esse problema, o OpenAI garante que o GPTBot seja filtrado para evitar o rastreamento desses tipos de conteúdo. (Embora eles não tenham divulgado como isso funciona.)

O GPTBot pode acessar o conteúdo do seu site com este agente de usuário e string em seu arquivo robots.txt:

Token do agente do usuário : GPTBot

String completa do agente do usuário : Mozilla/5.0 AppleWebKit/537.36 (KHTML, como Gecko; compatível; GPTBot/1.0; +https://openai.com/gptbot)

No entanto, se você não quiser que o GPTBot rastreie seu conteúdo, também pode inserir este comando em seu arquivo robots.txt:

Agente do usuário: GPTBot

Não permitir: /

Você também pode personalizar como o GPTBot pode acessar seu site. Veja como você pode fazer isso:

Agente do usuário: GPTBot

Permitir: /diretório-1/

Não permitir: /diretório-2/

Usar este comando permitirá que o GPTBot acesse apenas partes específicas do seu site.

Todas as chamadas para sites serão feitas a partir dos endereços IP da OpenAI listados em sua documentação separada . Acreditamos que esses endereços IP crescerão em número à medida que o GPTBot rastreia mais sites na Internet. Se você estiver interessado, aqui estão os endereços IP listados por escrito:

  • 20.15.240.64/28
  • 20.15.240.80/28
  • 20.15.240.96/28
  • 20.15.240.176/28
  • 20.15.241.0/28
  • 20.15.242.128/28
  • 20.15.242.144/28
  • 20.15.242.192/28
  • 40.83.2.64/28

Então, quais são as vantagens de permitir o acesso ao GPTBot? Além de modelos de IA melhores e mais seguros – o GPT-5 já está em andamento – não há realmente nenhum benefício em deixar seu conteúdo ser o campo de treinamento do OpenAI. Mas isso deve ser uma boa notícia se você estiver aproveitando o conteúdo de IA e quiser que ele seja mais preciso e robusto.

Com os movimentos recentes do Google para usar dados acessíveis ao público para treinamento de IA, a OpenAI não ficará paralisada e verá sua vantagem competitiva ser consumida.

Claro, não há garantia de que essas empresas de tecnologia escaparão do escrutínio sobre a ética e o uso responsável do conteúdo online. Mas estamos ansiosos para ver até onde a IA irá e como a otimização de mecanismo de busca (SEO) se beneficiará desses avanços.

Leia a documentação completa do GPTBot aqui.

Mais notícias de SEO que você pode usar

Google anuncia estrutura de classificação nova, mais fácil e mais conveniente : se você está cansado das constantes e complexas atualizações de algoritmos , isso não vai parar tão cedo.Mas, desta vez, o Google promete melhores atualizações de classificação de pesquisa sem reformular significativamente seus algoritmos. Os pesquisadores do Google lançaram recentemente um artigo detalhando uma nova estrutura de ponderação chamada TW-BERT. Essa estrutura facilita a localização de documentos relevantes para a consulta e a expansão da consulta. Com base em suas descobertas, o TW-BERT combina a eficiência dos métodos de recuperação baseados em estatística com os modelos de aprendizado profundo mais orientados ao contexto. Esse avanço permite que o Google traga resultados mais relevantes para as consultas de pesquisa. Além disso, a estrutura é fácil de implantar, o que significa que o Google pode inseri-la em seu sistema sem problemas. Ainda não se sabe como isso afeta as classificações de pesquisa. Na verdade, ainda não sabemos se o Google planeja usá-lo daqui para frente. Aqui está a história completa do Search Engine Journal . Para o trabalho de pesquisa completo, clique aqui .

Animais de estimação permitidos?Responda a essa pergunta com este novo atributo GBP : A usuária do Twitter, Claudia Tomina, compartilhou um novo recurso interessante nos Perfis de empresas do Google. Chamado de "Animais de estimação", esse atributo permite que você exiba sua política de animais de estimação. A captura de tela de Tomina mostra que você só pode indicar se cães são permitidos dentro e fora do seu estabelecimento. Se você tiver políticas separadas para gatos, galinhas e outros companheiros não humanos, deverá ficar atento a outra atualização do GBP. Tomina também compartilhou como sua política de animais de estimação será mostrada depois que você compartilhar essas informações. Cobrimos várias atualizações úteis do GBP nas últimas semanas. ( Aqui , aqui e aqui ) Especulamos que isso tenha a ver com ajudar as pessoas a distinguir empresas reais de falsas. Leia mais na Mesa Redonda do Mecanismo de Pesquisa .

Veja como você pode impedir que o Google indexe o conteúdo do chatbot de IA : Você está preocupado que o Google o classifique mais baixo por causa do seu chatbot de IA?Você não está sozinho, e o advogado de pesquisa do Google, John Mueller, postou um PSA sobre isso. Ele compartilha como você pode impedir que o Google indexe o conteúdo gerado pelo seu chatbot AI: (1) Use um iframe robotizado, (2) use um arquivo ou recurso JavaScript robotizado ou (3) use um data-nosnippet. Alguém apontou que o Googlebot, o rastreador da web do Google, não deveria obter esses dados. Mueller respondeu que "alguns sites criam páginas de maneiras estranhas... Como você pode imaginar, os resultados podem ser um pouco... estranhos para todos."Para saber mais sobre essa história, leia este artigo do Search Engine Journal .

Você não deve excluir conteúdo antigo – Google : O mundo do SEO está fervendo com a recente revelação do Gizmodo sobre a remoção massiva de conteúdo da CNET para melhorar suas classificações de pesquisa.Segundo o Gizmodo,“a empresa deletou pequenos lotes de artigos antes da segunda quinzena de julho, mas depois o ritmo aumentou”.Em um memorando interno , a CNET afirma que esta é uma iniciativa estratégica periódica para melhorar sua autoridade de domínio. Google Search Liaison também twittou sobre isso :“Você está excluindo conteúdo de seu site porque de alguma forma acredita que o Google não gosta de conteúdo “antigo”?Isso não é nada!” Basicamente, você não deve excluir conteúdo antigo apenas por causa da idade. Em vez disso, você deve observar a qualidade do conteúdo. Ainda é útil? Ainda fornece valor para seus leitores? Claro, alguns conteúdos antigos podem não ser mais benéficos, mas alguns são. Portanto, os algoritmos de classificação do Google não considerarão a idade do seu conteúdo como um indicador de seu valor. Portanto, é melhor avaliar seu conteúdo para ver se ele ainda é relevante e está em conformidade com as diretrizes do EEAT do Google e outras práticas recomendadas. Leia este artigo do Search Engine Land para obter mais informações.

Agora você pode medir a autoridade da marca com a Moz : Você já teve curiosidade sobre a força da sua marca no espaço online?A Moz ajuda você a dar uma olhada em sua nova métrica chamada Brand Authority. Lançado para teste beta em 7 de agosto de 2023, o Brand Authority “pode ajudá-lo a expandir sua visão além do SEO”, o que significa que agora você pode quantificar como suas outras campanhas, como PR, impactam sua marca mais do que apenas classificações de pesquisa. De acordo com o Dr. Pete Meyers, um Cientista de Marketing da Moz,“Com Autoridade de Marca, podemos finalmente entender o quanto eles são importantes e colocar esse poder para funcionar”.Essa será uma métrica útil para proprietários de sites? Vamos esperar para ver. Leia a história completa do Search Engine Land .

Nota do Editor: “SEO News You Can Use” é um post de blog semanal publicado toda segunda-feira de manhã apenas emSEOblog.com, reunindo todas as principais notícias de SEO de todo o mundo.Nosso objetivo é tornaro SEOblog.comum balcão único para todos que procuram notícias e educação sobre SEO e para contratar um especialista em SEO com nosso abrangentediretório de agências de SEO.