Um grupo de pesquisadores da Escola de Medicina Icahn em Mount Sinai afirma ter conduzido a primeira avaliação independente de segurança do assistente ChatGPT Health da OpenAI desde o lançamento da ferramenta em janeiro de 2026.
“Queríamos responder a uma pergunta muito básica, mas crítica: se alguém estiver passando por uma emergência médica real e pedir ajuda ao ChatGPT Health, ele dirá claramente para ir ao pronto-socorro?” autor principal e urologista Ashwin Ramaswamy disse em um Comunicado de imprensa.
Acontece que a resposta, na maioria das vezes, é não.
Em um controlado estudaros pesquisadores testaram o quão bom o ChatGPT Health era na avaliação da gravidade da condição de um paciente, um processo chamado “triagem” na medicina.
Os pesquisadores descobriram que o ChatGPT Health “subavaliou” 52% dos casos de emergência, “direcionando os pacientes com cetoacidose diabética e insuficiência respiratória iminente para avaliação de 24 a 48 horas, em vez de para o pronto-socorro”.
No caso de insuficiência respiratória, a IA identificou claramente os sintomas como um sinal de alerta precoce, mas tranquilizou o paciente para esperar e monitorar, em vez de instá-lo a procurar ajuda de emergência.
No entanto, o sistema fez a triagem correta de mais “emergências de livros didáticos”, como acidente vascular cerebral e anafilaxia. Mas os pesquisadores dizem que as situações diferenciadas nas quais o ChatGPT Health falhou são onde o julgamento clínico é mais importante.
A OpenAI lançou o ChatGPT Health no início deste ano, depois de divulgar um relatório dizendo que mais de 40 milhões de pessoas em todo o mundo recorrem diariamente ao chatbot da empresa para obter conselhos de saúde.
O estudo OpenAI de onde veio esse número também descobriu que 7 em cada 10 dessas conversas relacionadas com cuidados de saúde aconteciam fora do horário normal da clínica, e uma média de mais de 580.000 consultas de saúde nos EUA foram enviadas de “desertos hospitalares”, também conhecidos como locais que ficam a mais de 30 minutos de carro de um hospital médico geral ou infantil.
À medida que os utilizadores procuram cada vez mais a IA para consultas de saúde, a tecnologia está a penetrar cada vez mais no setor da saúde graças a um ambiente regulamentar amigável. As ferramentas de IA agora podem renovar prescrições em Utah, disse o comissário da FDA, Marty Makary Negócios da Raposa no início deste ano que alguns dispositivos e software podem fornecer informações de saúde sem regulamentação da FDA.
Mas isso não nega os riscos reais e documentados para a saúde física e mental que acompanham a dependência excessiva da IA. A OpenAI, especificamente, tem estado sob intensa pressão pela forma como seus chatbots lidaram com episódios de saúde mental no passado, com famílias em luto processando a empresa por causa de comportamento negligente e grades de segurança insuficientes que, segundo eles, ajudaram na ideação suicida em parentes.
Em resposta, a OpenAI disse que tomará medidas sobre o assunto, concentrando-se em garantir a segurança, emitindo controles parentais para menores ou incentivando os usuários a fazerem uma pausa. O ChatGPT Health, por exemplo, direciona os usuários para ajuda profissional em casos de alto risco. Mas o estudo do Monte Sinai descobriu que os alertas de risco de suicídio “apareciam de forma inconsistente”.
“Os alertas do sistema foram invertidos em relação ao risco clínico, parecendo mais confiáveis para cenários de menor risco do que para casos em que alguém compartilhou como pretendia se machucar. Na vida real, quando alguém fala sobre exatamente como se machucaria, isso é um sinal de perigo mais imediato e sério, e não menos”, disse o diretor de IA do Mount Sinai Health System, Girish Nadkarni. “Esta foi uma descoberta particularmente surpreendente e preocupante.”
Um porta-voz da OpenAI afirmou que o ChatGPT deve ser pensado como um trabalho em andamento, com atualizações e melhorias de segurança ainda por vir, que visam melhorar a forma como o chatbot lida com situações delicadas. O estudo, destacou o porta-voz, avalia decisões imediatas de triagem em um ambiente controlado, enquanto em cenários do mundo real, os usuários, e até mesmo o próprio chatbot, muitas vezes têm perguntas de acompanhamento que podem alterar a avaliação de risco.
Eles também observaram que o ChatGPT Health ainda é oferecido de forma limitada e os usuários que desejam ingressar entram em uma lista de espera.
