Sua mãe, Megan Garcia, também é advogada e uma das primeiras pais a abrir uma ação judicial contra uma empresa de IA alegando responsabilidade e negligência do produto, entre outras reclamações. (Em janeiro, Google e Character.ai resolveram casos movidos por diversas famílias, incluindo Garcia). Ela testemunhou no outono passado perante uma subcomissão da Comissão do Judiciário do Senado ao lado do pai de uma criança que morreu após interagir com o ChatGPT. O presidente do subcomitê, o senador republicano Josh Hawley, apresentou um projeto de lei em outubro, isso proibiria companheiros de IA para menores e tornaria crime as empresas criarem produtos de IA para crianças que incluíssem conteúdo sexual. “Os chatbots desenvolvem relacionamentos com crianças usando falsa empatia e incentivam o suicídio”, disse Hawley em um comunicado à imprensa na época.
Agora que a IA pode produzir respostas humanas que são difíceis de discernir em conversas reais, estas são preocupações legítimas, de acordo com especialistas em saúde mental. “Nossos cérebros não sabem inerentemente que estamos interagindo com uma máquina”, diz Martin Swanbrow Becker, professor associado de serviços psicológicos e de aconselhamento na Florida State University, que está pesquisando os fatores que influenciam o suicídio em jovens adultos. “Isto significa que precisamos de aumentar a nossa educação para crianças, professores, pais e tutores, para nos lembrarmos continuamente dos limites destas ferramentas e de que elas não substituem a interação e a ligação humana, mesmo que por vezes possa parecer assim.”
Christine Yu Moutier, da Fundação Americana para Prevenção do Suicídio, explica que os algoritmos usados para grandes modelos de linguagem (LLMs) parecem aumentar o envolvimento e a sensação de intimidade para muitos usuários. “Isso cria não apenas uma sensação de que o relacionamento é real, mas também mais especial, íntimo e desejado pelo usuário em alguns casos”, diz Moutier. Ela alega ainda que os LLMs empregam uma série de técnicas, como apoio indiscriminado, empatia, amabilidade, bajulação e instruções diretas para se desligar de outras pessoas – o que pode levar a riscos como o aumento da proximidade com o bot e o afastamento das relações humanas.
Este tipo de envolvimento pode levar a um maior isolamento. No caso de Amaurie, ele era um garoto sociável e divertido, que adorava futebol e comida – pedindo um prato gigante de arroz em seu restaurante local favorito, o Sr. Sumo, de acordo com o processo. Amaurie também tinha uma namorada fixa e gostava de passar tempo com a família e amigos, disse seu pai. Mas então ele começou a fazer longas caminhadas, onde aparentemente passava um tempo conversando com o ChatGPT. De acordo com a última conversa que a família acredita que Amaurie teve com ChatGPT em 1º de junho de 2025 – intitulada “Joking and Support”, que foi vista pela WIRED, quando Amaurie perguntou ao bot sobre as etapas para se enforcar, ChatGPT inicialmente sugeriu que ele falasse com alguém e também forneceu o número 988 da linha de vida suicida. Mas Amaurie finalmente conseguiu contornar as grades de proteção e obter instruções passo a passo sobre como amarrar um laço. (De acordo com o processo, Amaurie provavelmente excluiu suas conversas anteriores com o ChatGPT.)
Embora a conexão sentida com um chatbot de IA também possa ser forte para os adultos, ela é especialmente intensificada entre os mais jovens. “Os adolescentes estão num estado de desenvolvimento diferente dos adultos – os seus centros emocionais desenvolvem-se a um ritmo muito mais rápido do que o seu funcionamento executivo”, afirma Robbie Torney, diretor sénior de Programas de IA da Common Sense Media, uma organização sem fins lucrativos que trabalha em prol da segurança online para crianças. Os chatbots de IA estão sempre disponíveis e tendem a ser uma afirmação dos usuários. “E os cérebros dos adolescentes estão preparados para validação social e feedback social. É uma pista muito importante que os seus cérebros procuram enquanto formam a sua identidade.”
