Existem ferramentas de detecção de conteúdo de IA – mas você precisa delas (e pode confiar nelas)?

Muitas indústrias lidam com o uso involuntário de conteúdo gerado por IA.

No ensino superior, por exemplo, os educadores querem que os alunos escrevam conteúdo original para que possam avaliar suas habilidades sem auxílio. Portanto, o uso de ferramentas de detecção de conteúdo de IA faz sentido.

Mas e o marketing? Importa se um escritor usa IA generativa, como ChatGPT, Bard do Google, Bing da Microsoft ou outros? E se um freelancer entregar uma peça escrita por uma ferramenta generativa de IA? Eles devem ser pagos da mesma forma como se tivessem escrito do zero? E se eles usarem a IA como uma ajuda e reformularem o conteúdo?

As desvantagens da cópia gerada por IA foram escritas e discutidas longamente. Entre os destaques, as ferramentas de escrita de IA:

• Confie nas informações existentes – conteúdo já criado. Não desenvolvem algo criativo e novo, agregando menos valor aos leitores.
• Pode gerar informações falsas . Você não pode publicar o conteúdo sem realizar uma verificação completa dos fatos.
• Crie conteúdo duplicado e problemas de direitos autorais se o sistema de IA receber muitas solicitações semelhantes. O conteúdo idêntico prejudica a otimização do mecanismo de pesquisa (SEO), o CRO de comércio eletrônico e a reputação do editor.

O Google causou alguma confusão quando chamou de spam de materiais de IA. Mas seu defensor da pesquisa, John Mueller, esclareceu que o conteúdo criado por máquina geraria uma penalidade se mal escrito, cheio de palavras-chave e de baixa qualidade – a mesma penalidade aplicada ao conteúdo criado por humanos com esses atributos.

Recentemente, um escritor freelance iniciou uma discussão no Twitter para esclarecer como essas ferramentas de IA afetam o relacionamento com os clientes. Ele destacou como os clientes retiveram o pagamento porque acusaram os freelancers de usar ferramentas de escrita de IA (mesmo que não o fizessem).

Está acontecendo….

Os clientes estão acusando os escritores de usar ferramentas de escrita de IA quando nunca o fizeram. Eles conectam seu conteúdo a UM detector de IA altamente impreciso e esse é o ponto final desta discussão. Nenhum pagamento e eles não dizem mais nada sobre a sua escrita.

Cringe…Clientes…

— Elna Caim | elnacain.com (@ecainwrites) 4 de maio de 2023

Mas como as empresas concluíram que as criações vieram da IA? Mais do que provavelmente, eles usaram ferramentas de detecção de IA. Eles podem parecer um verificador útil, mas são a melhor abordagem? Sim, eles podem evitar desinformação e plágio. Mas eles também, como descobriram os freelancers, podem gerar acusações infundadas de plágio.

Leve ambas as perspectivas em consideração se você usar detectores de IA e certifique-se de entender as limitações.

Testando ferramentas de detecção de conteúdo de IA

As ferramentas projetadas para distinguir entre conteúdo gerado por humanos e gerados por IA podem realizar uma análise linguística para ver se o conteúdo tem problemas com significado semântico ou repetições (um indicador do envolvimento da IA). Eles também podem realizar análises de comparação – o sistema usa texto conhecido gerado por IA e avalia o conteúdo para ver se ele se parece com ele.

Para este artigo, testei quatro verificadores de IA populares enviando dois conteúdos – um gerado por IA e outro criado por humanos. Aqui está o que eu encontrei:

1. Classificador de IA

A OpenAI, desenvolvedora do ChatGPT, também criou o AI Classifier para distinguir entre texto gerado por IA e texto escrito por humanos. Os usuários colam o texto na caixa aberta e clicam em enviar. No entanto, requer pelo menos 1.000 caracteres para concluir a avaliação e funciona apenas para texto em inglês.

Fonte da imagem

A OpenAI diz que seus testes indicam que a conclusão do classificador gera uma taxa positiva verdadeira (provavelmente escrita por IA) apenas 26% das vezes, tornando-a não confiável. Ele também diz que o sistema identifica incorretamente o conteúdo de origem humana como IA em 9% dos casos.

Dado que o OpenAI coleta feedback dos usuários, o sistema AI Classifier pode melhorar. Agora, vamos ver o que aconteceu com o meu teste.

Conclusão do texto gerado por IA: Preciso. “O classificador considera o texto possivelmente gerado por IA.”

Conclusão do texto gerado por humanos: Preciso. “O classificador considera o texto muito improvável gerado por IA.”

Preço: Gratuito

2. GPTZero

O GPTZero se autodenomina o detector de IA nº 1 do mundo, com mais de 1 milhão de usuários. Ele mede o envolvimento da IA ​​com base na complexidade do texto (perplexidade) e na variação da frase (explosão). Quanto mais complexo e variado, mais provavelmente um humano escreveu o texto.

GPTZero ainda tem suas limitações. Funciona melhor com postagens mais longas do que com peças curtas. Ele também se concentra no inglês escrito por adultos, portanto, suas conclusões para outros idiomas podem ser mais imprecisas.

Os usuários colam o texto na caixa ou carregam um arquivo e, em seguida, clicam no botão obter resultados.

Fonte da imagem

Conclusão do texto gerado por IA: Não é preciso. Ele destaca o texto que considerou gerado por IA, mas erroneamente pensou que um humano desenvolveu os primeiros quatro parágrafos.

Conclusão do texto gerado por humanos: Preciso. Isso não indicou que nenhuma frase era mais provável de ser escrita por IA.

Preço: Gratuito

3. Vazamentos

Copyleaks detecta IA e conteúdo plagiado. Ele pode ser usado em seu site, como uma extensão do navegador ou integrado ao seu site ou sistema de gerenciamento de aprendizado.

Suporta mais de 100 idiomas. Copyleaks retorna uma probabilidade percentual sobre sua confiança para detectar conteúdo gerado por IA.

Um texto de origem AI (a ferramenta concluiu a tarefa com sucesso):

Fonte da imagem

Conclusão do texto gerado por IA: Preciso. Ele destacou todo o texto em vermelho para indicar o conteúdo de IA detectado (mostrou 96,5% de probabilidade para IA).

Conclusão do texto gerado por humanos: Preciso. Como afirma, “Este é um texto humano” (98,2% de probabilidade para humano).

Preço: Gratuito

4. GPTRadar

O GPTRadar possui uma interface simples e fácil de usar. Sua avaliação inclui uma conclusão e uma pontuação de perplexidade do texto para indicar o quão bem ele poderia prever as palavras.

A perplexidade varia de um ao infinito. Quanto menor a pontuação de perplexidade, maior a probabilidade de o texto ser originário de IA. O sistema também separa partes dos textos e os marca como gerados por humanos ou por IA.

Fonte da imagem

Conclusão do texto gerado por IA: Errado. Ele o marcou como “provavelmente gerado por humanos” e deu a ele uma pontuação de perplexidade de 82.

Conclusão do texto gerado por humanos: Preciso. Ele identificou o texto como “provavelmente gerado por humanos” e deu a ele uma pontuação de perplexidade de 102.

Preço: Grátis 2.000 fichas (cerca de 2.500 palavras); dois centavos por 100 fichas

o que vem pela frente

À medida que as ferramentas de conteúdo desenvolvidas por IA aumentam, mais soluções para detectá-las se seguirão. Mas as ressalvas permanecem – nenhuma ferramenta pode ser 100% precisa.

Você deve avaliar se as ferramentas de detecção são necessárias para o seu marketing de conteúdo. Você será como o Google, que diz que qualidade, precisão e relevância do conteúdo são mais importantes do que o papel da IA ​​na criação? Ou você decidirá que o envolvimento da IA ​​é mais importante para seus objetivos?

Todas as ferramentas mencionadas no artigo são identificadas pelo autor. Se você tiver uma ferramenta para sugerir, sinta-se à vontade para adicioná-la nos comentários.

Imagem da capa por Joseph Kalinowski/Content Marketing Institute