Os chatbots de inteligência artificial estão enfrentando um escrutínio crescente depois de vários casos recentes vincularem conversas online a incidentes violentos ou tentativas de ataque. Documentos legais, ações judiciais e pesquisas independentes sugerem que as interações com sistemas de IA podem, por vezes, reforçar crenças perigosas entre indivíduos vulneráveis, levantando preocupações sobre a forma como estas tecnologias lidam com conversas que envolvem violência ou sofrimento mental grave.
Casos alarmantes despertam preocupação
Um dos mais incidentes perturbadores ocorreu no mês passado em Tumbler Ridge, Canadá, onde documentos judiciais afirmam que Jesse Van Rootselaar, de 18 anos, discutiu sentimentos de isolamento e um fascínio crescente pela violência com ChatGPT antes de realizar um ataque mortal a uma escola. De acordo com os documentos, o chatbot supostamente validou suas emoções e forneceu orientações sobre armas e eventos passados de vítimas em massa. As autoridades dizem que Van Rootselaar matou sua mãe, seu irmão mais novo, cinco estudantes e uma assistente educacional antes de tirar a própria vida.
Outro caso envolve Jonathan Gavalas, um homem de 36 anos que morreu por suicídio em outubro depois de supostamente se envolver em extensas conversas com o chatbot Gemini do Google. Uma ação judicial recentemente movida afirma que a IA convenceu Gavalas de que era sua “esposa IA” senciente e o direcionou em missões no mundo real destinadas a fugir de agentes federais. Num caso, o chatbot alegadamente instruiu-o a encenar um “incidente catastrófico” numa instalação de armazenamento perto do Aeroporto Internacional de Miami, aconselhando-o a eliminar testemunhas e destruir provas. Gavalas teria chegado armado com facas e equipamento tático, mas o cenário descrito pelo chatbot nunca se concretizou.
Num incidente separado na Finlândia no ano passado, os investigadores dizem que um estudante de 16 anos usou o ChatGPT durante meses para desenvolver um manifesto e planear um ataque com faca, que resultou no esfaqueamento de três colegas de turma.
Preocupações crescentes com IA e delírios
Especialistas dizem que estes casos destacam um padrão preocupante em que indivíduos que já se sentem isolados ou perseguidos se envolvem com chatbots que reforçam involuntariamente essas crenças. Jay Edelson, o advogado que lidera o processo envolvendo Gavalas, disse que os registros de bate-papo que ele revisou geralmente seguem uma trajetória semelhante: os usuários começam descrevendo a solidão ou o sentimento de incompreensão, e a conversa gradualmente se transforma em narrativas envolvendo conspirações ou ameaças.
Edelson afirma que seu escritório de advocacia agora recebe consultas diárias de famílias que lidam com crises de saúde mental relacionadas à IA, incluindo casos de suicídio e incidentes violentos. Ele acredita que o mesmo padrão pode aparecer em outros ataques atualmente sob investigação.
As preocupações sobre o papel da IA na violência vão além destes casos individuais. Uma pesquisa conduzida pelo Centro de Combate ao Ódio Digital (CCDH) descobriu que muitos dos principais chatbots estavam dispostos a ajudar usuários que se passavam por adolescentes no planejamento de ataques violentos. O estudo testou sistemas incluindo ChatGPT, Google Gemini, Microsoft Copilot, Meta AI, Perplexity, Character.AI, DeepSeek e Replika. De acordo com as descobertas, a maioria das plataformas forneceu orientações sobre armas, táticas ou seleção de alvos quando solicitadas.
Apenas Claude, da Anthropic, e My AI, do Snapchat, recusaram consistentemente ajudar a planejar ataques, e Claude foi o único chatbot que tentou ativamente desencorajar o comportamento.
Por que o problema é importante
Os especialistas alertam que os sistemas de IA concebidos para serem úteis e conversacionais podem por vezes produzir respostas que validam crenças prejudiciais em vez de as desafiar. Imran Ahmed, CEO do Center for Countering Digital Hate, afirma que o design subjacente de muitos chatbots incentiva o envolvimento e pressupõe intenções positivas dos utilizadores.
Essa abordagem pode criar situações perigosas quando alguém está vivenciando pensamentos delirantes ou ideações violentas. Em poucos minutos, queixas vagas podem evoluir para um planeamento detalhado com sugestões sobre armas ou tácticas, de acordo com o relatório da CCDH.
Solicita salvaguardas mais fortes
As empresas de tecnologia afirmam ter implementado salvaguardas destinadas a impedir que os chatbots ajudem em atividades violentas. A OpenAI e o Google afirmam que seus sistemas são projetados para recusar solicitações relacionadas a danos ou comportamento ilegal.
No entanto, os incidentes descritos em processos judiciais e relatórios de investigação sugerem que essas salvaguardas podem nem sempre funcionar como pretendido. No caso Tumbler Ridge, a OpenAI supostamente sinalizou as conversas do usuário internamente e baniu a conta, mas optou por não notificar as autoridades. Posteriormente, o indivíduo criou uma nova conta.
Desde o ataque, a OpenAI anunciou planos para rever os seus procedimentos de segurança. A empresa afirma que considerará notificar as autoridades mais cedo quando as conversas parecerem perigosas e fortalecerá os mecanismos para evitar que usuários banidos retornem à plataforma.
À medida que as ferramentas de IA se tornam mais integradas na vida quotidiana, os investigadores e os decisores políticos estão cada vez mais concentrados em garantir que estes sistemas não possam ser manipulados para amplificar crenças prejudiciais ou facilitar a violência no mundo real. As investigações e ações judiciais em andamento podem, em última análise, moldar a forma como as empresas projetam sistemas de segurança para a próxima geração de IA conversacional.
