Texto impecável. Mas quem responde por ele?

Por que textos bem escritos e soluções bem documentadas não dispensam o julgamento humano?
No dia 4 de setembro, a Revista Oeste publicou uma reportagem sobre um relatório de inteligência da Polícia Federal (PF) usado por um ministro do Supremo Tribunal Federal (STF). 

O autor da matéria, Mateus Conte, disse que o documento foi submetido a quatro modelos de linguagem, com o mesmo prompt e o mesmo comando. Afirmou que o ChatGPT e o Claude estimaram em 75% e 73% a chance do texto ter recebido a ajuda de IA.

O Gemini identificou apenas 5%, enquanto o Grok 15%.

Setenta pontos percentuais separam a estimativa mais alta da mais baixa, sobre o mesmo documento, com a mesma pergunta.

Haveria IA ou não naquele documento?

O conteúdo do relatório da PF, no entanto, interessa menos do que o método usado para testá-lo.

Quem elaborou o comando utilizado pelo autor da matéria foi o professor Marcelo Sabbatini, da UFPE que pesquisa há anos o impacto da IA generativa na produção de texto acadêmico. Ele publicou o método em março de 2025 e o motivo pelo qual o criou é quase o oposto do que a notícia sugere.

O professor Sabbatini desconfia dos detectores estatísticos de IA e suas ferramentas parecidas, justamente pela falta de transparência deles e pelos resultados falsos positivos que eles produzem.

A proposta original dele era outra: apresentar uma lista de critérios que identificassem a repetição de estruturas textuais, o uso exagerado de adjetivos, o emprego de exemplos genéricos, o uso de metáforas batidas, dentre outros.

O objetivo do prompt criado pelo professor Sabbatini é permitir que um leitor humano avalie o texto com atenção, identificando as "deficiências na produção textual", sem depender de um placar final.

Ele enfatizou que o prompt submetido à uma IA deve identificar um número de probabilidade no final.

Foram esses números que ganharam destaque na manchete da Revista Oeste.

Ao publicar o método, o próprio professor Sabbatini já havia avisado: "em hipótese nenhuma assuma que é um veredito inquestionável e objetivo".

A ferramenta que foi pensada para desconfiar de números acabou, na prática, virando números...

O que os números da reportagem realmente mostram é que quatro sistemas diferentes puderam ler o mesmo texto de formas muito diferentes, cada ferramenta encontrou seu limite ao fazer a avaliação sobre a origem do documento.

Existe outro fenômeno relacionado a esse debate: o workslop. O termo foi apresentado em setembro de 2025 pela Harvard Business Review, a partir de uma pesquisa conduzida por pesquisadores do BetterUp Labs e do Stanford Social Media Lab.

O termo descreve o conteúdo gerado por IA que se apresenta como trabalho pronto, mas não tem substância suficiente para levar uma tarefa adiante.

Em uma pesquisa com 1.150 funcionários americanos, 40% relataram ter recebido esse tipo de material no mês anterior. A pesquisa estimou que 15,4% do que chega à mesa de trabalho se enquadra nessa categoria. Cada ocorrência consumiria, em média, quase duas horas de retrabalho, o equivalente a US$ 186 por funcionário ao mês.

Workslop, porém, significa algo mais específico do que simplesmente “IA fazendo trabalho ruim”.

É aquele tipo de trabalho que se disfarça bem o bastante para passar despercebido, até alguém perder tempo desfazendo o estrago que ele deixou pelo caminho.

Aqui na coluna já registramos o caso concreto que aconteceu na Austrália, em julho de 2025. A empresa de consultoria Deloitte entregou ao governo um relatório de 237 páginas sobre um sistema de penalidades do seguro-desemprego. Um pesquisador da Universidade de Sydney encontrou cerca de vinte erros no documento, entre eles referências a estudos que não existem e uma citação atribuída a um juiz federal que ele nunca fez. A empresa devolveu a parcela final de um contrato de quase meio milhão de dólares australianos e a nova versão do relatório passou a declarar o uso de um sistema de IA generativa na sua elaboração.

O caso Deloitte mostrou o que acontece quando uma entrega produzida com auxílio de IA parece pronta, mas erros importantes passam despercebidos até alguém conferir as referências com cuidado.

O episódio do relatório da PF mostra um problema diferente: a suspeita sobre o uso de IA surgiu sem que um erro factual no documento tivesse sido identificado, a partir de características de linguagem avaliadas pelos diferentes modelos.

Os dois episódios deixam uma lição importante: uma aparência de consistência não basta para estabelecer confiança, seja o documento produzido por um humano, por uma ferramenta de IA ou pela combinação dos dois.

Para quem trabalha com tecnologia no dia a dia, a questão também aparece. Uma solução pode parecer correta, estar bem documentada e seguir todos os padrões da equipe. Ainda assim, pode não considerar uma particularidade daquele sistema, uma dependência que ninguém percebeu ou uma limitação que só aparecerá quando a solução for colocada em uso.

A regularidade de um texto ou de um código também não é, por si só, sinal de uso de IA. Pode ser simplesmente resultado da aplicação rigorosa de um padrão que a equipe utiliza há anos.

Imagine uma reforma em uma casa antiga. O engenheiro entrega um projeto para mudar a instalação elétrica. O documento está impecável, bem formatado, sem erros de português, segue as normas técnicas e parece perfeito. Mas falta uma informação importante: ele não explica como a nova instalação vai se integrar à estrutura antiga da casa. Ele ignora o "legado": tudo aquilo que já existe e que precisa continuar funcionando junto com a nova solução.

A diferença aparece quando precisamos avaliar a decisão tomada: seus pressupostos, suas limitações, sua adequação ao contexto e, principalmente, quem está disposto a responder pelo resultado.

A tríade que dá nome a esta coluna cabe bem aqui.

Aprender a tratar a IA como uma ferramenta que pode errar e precisa de conferência. Ela não é uma autoridade.

Desaprender a ideia de que um texto bem-formatado, ou um relatório com carimbo oficial, garante rigor por definição, seja ele produzido por um humano ou por um algoritmo.

Reaprender que a confiança não está na assinatura, mas na capacidade de explicar, validar e assumir a responsabilidade pelo resultado.

Quer conferir?

Seguem as fontes...

- Mateus Conte, "Os indícios de uso de IA no relatório da PF usado por Moraes", Revista Oeste, 4 set. 2026.

- Marcelo Sabbatini, "Identifique características de texto gerado por IA", newsletter IAEdPraxis, 25 mar. 2025.

- Kate Niederhoffer et al., "AI-Generated 'Workslop' Is Destroying Productivity", Harvard Business Review, 22 set. 2025.

- Associated Press, "Deloitte to partially refund Australian government for report with apparent AI-generated errors", out. 2025.