Por Byron Kaye
SYDNEY (Reuters) – Pessoas que demonstrem tendências extremistas violentas no ChatGPT serão direcionadas para apoio à desradicalização baseado em humanos e chatbots por meio de uma nova ferramenta em desenvolvimento na Nova Zelândia, disseram as pessoas por trás dela.
A iniciativa é a mais recente tentativa de abordar questões de segurança face a um número crescente de ações judiciais que acusam as empresas de IA de não conseguirem impedir, e até mesmo permitir, a violência.
OpenAI foi ameaçado de intervenção pelo governo canadense em fevereiro, depois de revelar que uma pessoa que cometeu um tiroteio mortal em uma escola foi banida da plataforma sem que as autoridades fossem informadas.
ThroughLine, uma startup contratada nos últimos anos pela OpenAI, proprietária do ChatGPT, bem como pelos rivais Anthropic e Google, para redirecionar os usuários para suporte em crise quando são sinalizados como estando em risco de automutilação, violência doméstica ou transtorno alimentar, também está explorando maneiras de ampliar sua oferta para incluir a prevenção do extremismo violento, disse seu fundador e ex-trabalhador jovem Elliot Taylor.
A empresa está em discussões com The Christchurch Call, uma iniciativa para erradicar o ódio online formada após o pior ataque terrorista da Nova Zelândia em 2019, que envolveria o grupo anti-extremismo dando orientação enquanto a ThroughLine desenvolve o chatbot de intervenção, disse o ex-trabalhador jovem.
“É algo que gostaríamos de avançar e fazer um trabalho melhor de cobertura e, então, poder oferecer melhor suporte às plataformas”, disse Taylor em entrevista, acrescentando que nenhum prazo foi definido.
A OpenAI confirmou o relacionamento com a ThroughLine, mas não quis comentar mais. A Anthropic e o Google não responderam imediatamente aos pedidos de comentários.
A empresa de Taylor, que ele dirige a partir de sua casa na zona rural da Nova Zelândia, tornou-se uma referência para empresas de IA com a sua oferta de uma rede constantemente verificada de 1.600 linhas de apoio em 180 países.
Assim que a IA detecta sinais de uma potencial crise de saúde mental, ela encaminha o usuário para o ThroughLine, que o conecta a um serviço humano disponível nas proximidades.
Mas o escopo da ThroughLine tem sido limitado a categorias específicas, disse o fundador. A amplitude dos problemas de saúde mental que as pessoas divulgam online explodiu com a popularidade dos chatbots de IA e agora inclui flertes com o extremismo, acrescentou.
MAIS CHATBOTS, MAIS PROBLEMAS
A ferramenta anti-extremismo seria provavelmente um modelo híbrido que combina um chatbot treinado para responder a pessoas que mostram sinais de extremismo e encaminhamentos para serviços de saúde mental do mundo real, disse Taylor.
“Não estamos usando os dados de treinamento de um LLM básico”, disse ele, referindo-se aos conjuntos de dados genéricos que grandes plataformas de modelos de linguagem usam para formar texto coerente. “Estamos trabalhando com os especialistas corretos.” A tecnologia está sendo testada, mas ainda não há data definida para lançamento.
Galen Lamphere-Englund, conselheiro de contraterrorismo que representa o The Christchurch Call, disse que espera lançar o produto para moderadores de fóruns de jogos e para pais e cuidadores que desejam eliminar o extremismo online.
Uma ferramenta de redirecionamento de chatbot foi “uma ideia boa e necessária porque reconhece que não é apenas o conteúdo que é o problema, mas a dinâmica do relacionamento”, disse Henry Fraser, um Pesquisador de IA na Universidade de Tecnologia de Queensland.
O sucesso do produto pode depender de questões de “quão bons são os mecanismos de acompanhamento e quão boas são as estruturas e relacionamentos para os quais eles direcionam as pessoas para resolver o problema”, disse ele.
Taylor disse que os recursos de acompanhamento, incluindo possíveis alertas às autoridades sobre usuários perigosos, ainda não foram determinados, mas levariam em consideração qualquer risco de desencadear um comportamento escalonado.
Ele disse que as pessoas em perigo tendem a compartilhar coisas on-line que têm vergonha de dizer a uma pessoa, e os governos correm o risco de aumentar o perigo se pressionarem as plataformas para isolar os usuários que se envolvem em conversas delicadas.
A maior moderação associada à militância por plataformas sob pressão das autoridades policiais fez com que simpatizantes migrassem para alternativas menos regulamentadas como o Telegram, de acordo com um estudo de 2025 do Stern Center for Business and Human Rights da Universidade de Nova York.
“Se você falar com uma IA e revelar a crise e ela encerrar a conversa, ninguém saberá o que aconteceu, e essa pessoa ainda poderá estar sem apoio”, disse Taylor.
(Reportagem de Byron Kaye; edição de Kate Mayberry)
