Embora bots de bate-papo e grandes modelos de linguagem podem responder a uma série de perguntas cotidianas, eles não devem ser o primeiro lugar a quem você recorre para obter aconselhamento médico, um novo estudo da revista científica Medicina da Natureza mostra.
Durante o estudo, 1.298 participantes no Reino Unido foram convidados a usar um grande modelo de linguagem, como Bate-papoGPT ou Lhama de Meta 3para aconselhamento médico. Quando utilizado desta forma, o LLM identificou corretamente condições médicas em menos de 34,5% dos casos.
Como os LLMs se saíram no estudo
O estudo reconheceu que os LLMs agora alcançam pontuações em benchmarks de conhecimento médico comparáveis à aprovação no Exame de Licenciamento Médico dos EUA, e que os documentos clínicos dos LLMs “são classificados como equivalentes ou melhores do que aqueles escritos por médicos”.
No entanto, um problema foi revelado quando os participantes do estudo tentaram obter os mesmos resultados fazendo as perguntas do LLM, mas não tiveram sucesso. Isso ocorre porque os usuários muitas vezes não fornecem informações suficientes, descobriu o estudo. Relata que em 16 das 30 interações amostradas, as mensagens iniciais continham apenas informações parciais.
“Em dois casos, os LLMs forneceram respostas inicialmente corretas, mas adicionaram respostas novas e incorretas depois que os usuários adicionaram detalhes adicionais”, disse o estudo, sugerindo que conversar mais com os chatbots não melhorou a probabilidade de receber um diagnóstico médico correto.
Após o diagnóstico inicial, os LLMs forneceram as etapas corretas de acompanhamento à pessoa em apenas 44,2% das vezes.
O Llama 3 da Meta foi um dos grandes modelos de linguagem usados no estudo.
Com que frequência as pessoas usam chatbots para aconselhamento médico?
De acordo com uma pesquisa realizada OpenAIproprietária do ChatGPT, 3 em cada 5 adultos nos EUA relatam usar IA para saúde. “Eles estão usando IA para obter informações quando se sentem mal pela primeira vez, consultando-as para se prepararem para as consultas com seus médicos e usando-as para compreender melhor as instruções e recomendações dos pacientes”, afirmou OpenAI.
Leia mais: ChatGPT para autodiagnóstico: a IA está mudando a maneira como respondemos às nossas próprias perguntas de saúde
E embora haja um pequeno aviso no site do ChatGPT que diz: “O ChatGPT pode cometer erros. Verifique informações importantes”, muitas pessoas acreditam na palavra do chatbot.
O estudo serve como um lembrete de que o ChatGPT e chatbots semelhantes não devem ser utilizados para orientação médica, especialmente em situações graves.
