ChatGPT falha: 13 erros e erros comuns que você precisa saber

Escrevi sobre maneiras de usar o ChatGPT para tarefas relacionadas a SEO e marketing de conteúdo, como pesquisa de palavras-chave, criação de tags de título e SEO local.

Eu uso pelo menos uma vez por dia para uma variedade de tarefas. Quanto mais você usar a plataforma, mais valioso será para você entender suas limitações.

O fundador da OpenAI (a empresa que construiu o ChatGPT) chamou a ferramenta de “incrivelmente limitada” e um “produto horrível” e alertou os usuários sobre o quanto eles confiam nela:

O ChatGPT é incrivelmente limitado, mas bom o suficiente em algumas coisas para criar uma impressão enganosa de grandeza.

é um erro confiar nele para qualquer coisa importante agora. é uma prévia do progresso; temos muito trabalho a fazer em robustez e veracidade.

— Sam Altman (@sama) 11 de dezembro de 2022

Várias publicações publicaram conteúdo com erros sobre tópicos significativos do YMYL (“Seu dinheiro ou sua vida”), como finanças pessoais e saúde.

Este artigo discute os erros técnicos mais comuns e os erros frequentes ao usar o ChatGPT e como resolvê-los.

Erros comuns do ChatGPT

Se você usa o ChatGPT há “muito” tempo (ou seja, desde o final de 2022), provavelmente já viu o prompt abaixo em algum momento.

Obviamente, um novo produto de software em um campo de tecnologia emergente massivamente popular terá problemas.

Se você está tornando o ChatGPT parte integrante do seu fluxo de trabalho diário, é útil conhecer os problemas comuns que você pode encontrar.

O ChatGPT também tem problemas familiares a qualquer site, como erros 404 não encontrados, erros internos do servidor 5xx, erros 403 de acesso negado e erros Cloudflare como erros 1020 e 524.

Muitas vezes, isso pode ser corrigido limpando seu cache, usando (ou desativando) uma VPN ou garantindo que você esteja digitando o endereço da Web corretamente.

E também há vários erros mais específicos da plataforma:

1. Problemas de API

Freqüentemente, os usuários podem atingir limites específicos de caracteres, limites de token ou limites de funcionalidade com a API ChatGPT.

2. Limites de caracteres

Existem limites para quantos caracteres você pode inserir no ChatGPT e quantos caracteres as respostas do ChatGPT podem ter.

Eles variam dependendo da sua versão (por exemplo, GPT-3.5 tem um limite de entrada de 2.048 e GPT-4 é de 4.096) e na interface da Web versus API.

3. Tempo limite de conexão em respostas longas

Se o ChatGPT estiver processando uma resposta longa e complexa, às vezes o tempo limite será esgotado.

Você pode ver isso ao solicitar que a plataforma execute funções como escrever código ou analisar e responder a entradas longas.

4. Respostas incompletas

Não é um erro em si, mas frequentemente, se você pedir ao ChatGPT para escrever um código ou um texto longo, ele simplesmente para no meio do caminho.

Você pode digitar continue e ele terminará nos próximos prompts nessas instâncias.

5. Mensagens limitadas

O ChatGPT, no momento em que escrevo, limita o número de mensagens que você pode usar por período de tempo, mesmo para contas pagas.

Da mesma forma, há limitação de taxa específica para diferentes versões de GPT, ferramentas OpenAI e tipos de conta.

6. Problemas de login

Dependendo do nível de acesso necessário ou duração da sessão. O ChatGPT pode desconectar você ou você pode não ter acesso a determinados recursos com determinados status de conta.

A maioria desses problemas pode ser resolvida por:

• Retrabalhando seus prompts para caber nos limites de caracteres.
• Certificando-se de que você está conectado e pode acessar a funcionalidade que está tentando usar com o nível da sua conta.
• Pedindo ao ChatGPT para gerar respostas novamente.
• Iniciando um novo bate-papo.

Erros comuns do ChatGPT

O ChatGPT comete muitos erros, incluindo:

• Obtendo fatos verificáveis ​​errado.
• Detalhando um processo que "supostamente" usou para gerar uma resposta que é impossível dadas as limitações da plataforma.
• Gerando código quebrado.
• Formatação quebrada ou instruções ignoradas na saída.
• E mais.

Outros usuários detalharam instâncias da plataforma mentindo para resolver um CAPTCHA e problemas com problemas matemáticos simples relacionados a idade e distância.

Parte disso melhorou com o GPT-4, mas não tudo. Aqui está um prompt e uma saída usando a versão mais recente do ChatGPT:

Embora seja divertido fazer prompts de “te peguei” e pegar o ChatGPT dizendo coisas incorretas ou bobas, é mais benéfico estar ciente das áreas em que o ChatGPT pode estar errado – as “categorias de erros”, se preferir.

Entender isso fará de você um engenheiro de prompts e um editor de saída melhores. Vamos percorrer as categorias mais comuns de erros que conheço.

7. Confiante, mas errado

A questão da “alucinação” é um problema significativo para o ChatGPT e outras soluções generativas de IA.

O ChatGPT responderá a todos os tipos de perguntas para as quais não sabe a resposta de uma forma convincente. Isso não torna a resposta certa.

A captura de tela de exemplo acima mostra que ele não usa nenhuma linguagem de qualificação ou hedge. Você obtém uma resposta decisiva sem equívocos.

8. Não entender a contagem de palavras e caracteres

O ChatGPT é péssimo em estimar e entender a contagem de caracteres de maneira precisa.

Se você estiver fazendo um trabalho relacionado a SEO e conteúdo, esse é um importante fator limitante. Você pode estar procurando escrever tags de título, meta descrições ou conteúdo em que seja necessário atender a uma contagem de palavras:

Isso é realmente muito próximo. Já tive casos em que a ferramenta estava muito mais distante.

9. Erros de raciocínio

Procurei por “quebra-cabeças lógicos” e peguei a primeira lista de “quebra-cabeças lógicos fáceis” que encontrei.

O ChatGPT acertou os três primeiros quebra-cabeças e errou o quarto:

10. Erros de codificação

Atualmente, existem vários exemplos da vida real de pessoas que usam o ChatGPT para criar sites, aplicativos e extensões de navegador ou solucionar problemas de codificação.

Dito isso, o ChatGPT também pode gerar código que não funciona. Encontrei os seguintes problemas ao usar o ChatGPT para ajudar no código:

• O código simplesmente não funciona corretamente. (Ações que não estão sendo executadas quando os usuários usam uma ferramenta).
• Cálculos construídos pelo código do ChatGPT incorretos.
• Usando a API errada. (Muitas vezes, é porque não está ciente da API que você deseja usar porque a API saiu ou foi atualizada após o período de dados de treinamento do GPT, que terminou no final de 2021. Apesar disso, o ChatGPT não permite que você saiba. )
• Ignorar ou “esquecer” instruções e requisitos ou restrições do projeto.

Novamente, é imperativo que você sempre verifique o código que está implantando com cuidado e teste a saída de qualquer coisa com a qual o ChatGPT ajude.

Alguns usuários também relataram que GPT-4 ou até mesmo o modo legado (em vez do novo padrão, Turbo) leva a melhores resultados para tarefas de codificação.

11. Informações desatualizadas

Os dados de treinamento do ChatGPT podem ser atualizados em algum momento e vários plug-ins e ferramentas começaram a integrar rastreamento da web e dados em tempo real.

Ainda assim, a versão da web do ChatGPT atualmente não pode rastrear a web e não está ciente das informações anteriores ao final de 2021.

Isso é importante, principalmente quando associado à questão “confiante, mas errado”.

12. Memória curta

Há um limite para quantos caracteres dentro de um bate-papo o ChatGPT irá “lembrar”, portanto, cometerá erros com frequência devido à perda do contexto de suas solicitações iniciais ou de suas respostas iniciais.

13. Erros de formatação

Assim como na codificação, se você pedir ao ChatGPT para executar funções como criar uma tabela ou formatar o texto de uma determinada maneira, às vezes ele cometerá erros ou ignorará instruções específicas.

Evitando e corrigindo os erros do ChatGPT

Então, como você pode tirar o máximo proveito do ChatGPT enquanto lida com os problemas e limitações da plataforma?

Concentrar-se nessas áreas-chave pode ajudá-lo a evitar muitas das possíveis desvantagens de usar o ChatGPT em suas tarefas diárias:

Esteja ciente das limitações

Manter-se atualizado com as limitações específicas do produto, como (ou seja, limites de caracteres para prompts e respostas, a data dos dados de treinamento para GPT, etc.) ajudará você a criar prompts que gerem boas respostas e resultados de controle de qualidade melhores.

O OpenAI faz um bom trabalho ao atualizar essas informações com novos lançamentos. Alguns itens aqui são coisas que eles disseram explicitamente que estão abordando.

Revise e edite as saídas com cuidado

Isso deve ser bastante óbvio, mas você deve editar cuidadosamente qualquer texto e código de controle de qualidade antes de publicá-lo ou implantá-lo.

Devido à confiança convincente que o ChatGPT pode ter, recomendo fortemente que um especialista em domínio revise o conteúdo e o código antes de implantá-lo.

É relativamente fácil ser enganado por algum conteúdo e afirmações do ChatGPT, especialmente se um tópico não for sua área de especialização.

Mas se você tiver experiência profunda em um tópico, é mais fácil detectar declarações enganosas ou imprecisas.

Ferramentas e processos de camada sobre a API

A OpenAI lançou plugins e disponibilizou uma API específica do ChatGPT.

Você pode lidar com algumas das limitações da plataforma usando diferentes ferramentas criadas por outras pessoas ou criando algumas você mesmo.

Agora que você conhece as possíveis armadilhas do ChatGPT, pode estabelecer barreiras para usar a ferramenta – aproveitando seus benefícios e evitando muitos dos negativos.