Aqui está um pensamento desconfortável para todas as instituições acadêmicas que atualmente usam detectores de IA para policiar os envios de estudantes e pesquisadores: as ferramentas não funcionam de forma tão confiável quanto as instituições supõem.
Um papel apresentado no Simpósio IEEE 2026 sobre Segurança e Privacidade desta semana, realizado por pesquisadores da Universidade da Flórida, conclui que os detectores de texto gerados por IA disponíveis comercialmente são “pouco adequados para implantação em contextos acadêmicos ou de alto risco”.
Essa é uma maneira educada de dizer que as universidades estão tomando decisões de mudança de carreira com base em resultados de ferramentas que são essencialmente não confiáveis.
O que a pesquisa realmente descobriu?
Patrick Traynor, Ph.D., professor e presidente interino do Departamento de Computação, Ciência da Informação e Engenharia da UF, liderou uma equipe que testou os cinco detectores de texto de IA mais populares disponíveis comercialmente.
Usando cerca de 6.000 artigos de pesquisa submetidos a conferências de segurança de alto nível antes mesmo da chegada do ChatGPT, eles fizeram os LLMs criarem clones desses mesmos artigos e, em seguida, executaram ambos os conjuntos através dos detectores de IA.
Os resultados mostraram taxas de falsos positivos variando de 0,05% a 68,6% e, ainda mais surpreendente, taxas de falsos negativos entre 0,3% e 99,6%. Esse número superior está próximo de 100%, o que significa que o detector de pior desempenho perdeu praticamente todo o texto gerado pela IA.
Embora dois dos cinco detectores tenham funcionado bem inicialmente, eles se tornaram praticamente inúteis depois que os pesquisadores pediram ao LLM para reescrever seus resultados usando um vocabulário mais complexo (o artigo chama isso de ataque de complexidade lexical).
Por que isso importa além da integridade acadêmica?
Traynor disse claramente: “Nós realmente não podemos usá-los para julgar essas decisões. As carreiras das pessoas estão em jogo aqui.” Uma acusação de escrita gerada por IA em uma submissão pode prejudicar permanentemente a reputação de um pesquisador, mas não podemos confiar cegamente nas ferramentas que fazem essas acusações.
O argumento é que as evidências sobre o uso generalizado da IA na escrita acadêmica não são confiáveis. “Embora existam muitos estudos que afirmam que uma certa percentagem do trabalho académico é gerado pela IA, na verdade não temos ferramentas para medir nada disso”, acrescentou Traynor.
Sua pesquisa não critica apenas as ferramentas; expõe uma falha sistémica da devida diligência por parte de todas as instituições que adoptaram estas ferramentas sem exigir provas da sua exactidão.
