Detecção de texto AI: eles podem detectar o ChatGPT?

O ChatGPT é capaz de realizar uma ampla gama de tarefas, mas uma que faz muito bem é escrever artigos. E embora haja muitos benefícios óbvios nisso, também apresenta uma série de desafios.

Na minha opinião, o maior obstáculo que o conteúdo escrito gerado por IA representa para a indústria editorial é a disseminação de desinformação e a detecção de texto AI.

O ChatGPT, ou qualquer outra ferramenta de IA, pode gerar artigos que podem conter erros factuais ou simplesmente incorretos.

Imagine alguém que não tem experiência em medicina iniciando um blog médico e usando o ChatGPT para escrever conteúdo para seus artigos.

Seu conteúdo pode conter erros que só podem ser identificados por profissionais médicos. E se o conteúdo do blog começar a se espalhar pelas mídias sociais, ou até mesmo aparecer na Pesquisa, isso pode causar danos às pessoas que o leem e seguem conselhos médicos errôneos.

Outro desafio potencial que o ChatGPT representa é como os alunos podem aproveitá-lo em seu trabalho escrito.

Se alguém pode escrever uma redação apenas executando um prompt (e sem ter que fazer nenhum trabalho real), isso diminui muito a qualidade da educação – pois aprender sobre um assunto e expressar suas próprias ideias é a chave para a redação.

Mesmo antes da introdução do ChatGPT, muitos editores já geravam conteúdo usando IA. E embora alguns o divulguem honestamente, outros podem não.

O BankRate começou a publicar artigos escritos via IA, eles até divulgam no site. Encontrei mais de 160 artigos. O primeiro artigo que consegui encontrar datava de abril de 2022. Seria interessante ver como esses artigos se classificam.
descoberta original por pic.twitter.com/BY9JlUZBiz

Além disso, o Google mudou recentemente sua redação em relação ao conteúdo gerado por IA, para que não seja necessariamente contra as diretrizes da empresa.

É por isso que decidi experimentar as ferramentas existentes para entender onde está a indústria de tecnologia quando se trata de detecção de texto AI conteúdo gerado pelo ChatGPT, ou IA em geral.

Executei os seguintes prompts no ChatGPT para gerar conteúdo escrito e, em seguida, executei essas respostas por meio de diferentes ferramentas de detecção.

• “O que é SEO local? Por que é importante? Melhores práticas de SEO local.”
• “Escreva um ensaio sobre a invasão do Egito por Napoleão Bonaparte.”
• “Quais são as principais diferenças entre o iPhone e o Samsung Galaxy?”

Aqui está o desempenho de cada ferramenta.

1. Writer.com

Para a resposta do primeiro prompt, Writer.com falha, identificando o conteúdo do ChatGPT como 94% gerado por humanos.

Para o segundo prompt, funcionou e detectou-o como conteúdo escrito por IA.

Para o terceiro prompt, falhou novamente.

No entanto, quando testei um texto real escrito por humanos, o Writer.com o identificou como 100% gerado por humanos com muita precisão.

2. Vazamentos

vazamentos fez um ótimo trabalho ao detectar todos os três prompts como escritos por IA.

3. Contentatscale.ai

Contentatscale.ai fez um ótimo trabalho ao detectar todos os três prompts como escritos por IA, embora o primeiro prompt tenha dado uma pontuação humana de 21%.

4. Originalidade.ai

Originalidade.ai fez um ótimo trabalho em todos os três prompts, detectando-os com precisão detecção de texto AI.

Além disso, quando verifiquei com texto real escrito por humanos, ele o identificou como 100% gerado por humanos, o que é essencial.

Você notará que o Originality.ai não detecta nenhum problema de plágio. Isso pode mudar no futuro.

Com o tempo, as pessoas usarão os mesmos prompts para gerar conteúdo escrito por IA, provavelmente resultando em várias respostas muito semelhantes. Quando esses artigos forem publicados, eles serão detectados por ferramentas de plágio.

5. GPTZero

Este não comercial ferramenta foi construído por Edward Tian, e projetado especificamente para detecção de texto AI E fez exatamente isso para todos os três prompts, reconhecendo-os como gerados por IA.

Ao contrário de outras ferramentas, oferece uma análise mais detalhada dos problemas detectados, como análises frase por frase.

Classificador de texto AI da OpenAI

E, finalmente, vamos ver como o OpenAi usa detecção de texto AI, para suas próprias respostas geradas.

Para o 1º e 3º prompts, detectou que há uma IA envolvida, classificando-a como “possivelmente gerada por IA”.

Mas, surpreendentemente, falhou no segundo prompt e classificou-o como “improvável gerado por IA”. Eu joguei com diferentes prompts e descobri que, no momento, ao verificar a detecção de texto AI, poucas das ferramentas acima conseguiram detecção de texto AI com maior precisão do que a própria ferramenta do OpenAi.

No momento desta verificação, eles o haviam liberado um dia antes. Acho que no futuro eles vão ajustá-lo e funcionará muito melhor e melhorar a detecção de texto AI.