ChatGPT em teste: estudo aponta limites e potencial da IA em respostas sobre câncer

Google e Chat GPT não são médicos; conheça os riscos de se informar somente com eles
Um estudo publicado nesta quarta-feira (3) na revista científica Future Science OA avaliou a qualidade das respostas do ChatGPT 3.5 — versão gratuita do chatbot da OpenAI disponível em julho de 2024 — para perguntas médicas sobre câncer hematológico.
O resultado traz um alerta: embora a inteligência artificial (IA) possa ajudar pacientes a entender conceitos gerais da doença, suas respostas ainda não são confiáveis quando se trata de tratamentos mais recentes.
O que a pesquisa mostrou
A equipe de pesquisadores, liderada pelo médico-cientista Justin Taylor, do Sylvester Comprehensive Cancer Center da Universidade de Miami, submeteu dez perguntas ao ChatGPT. Cinco eram gerais, como efeitos colaterais comuns da quimioterapia. Outras cinco tratavam de terapias mais específicas, como os inibidores de BCL-2 — medicamentos em fase de estudos.
As respostas foram avaliadas por quatro hematologistas e oncologistas de forma anônima, em uma escala de 1 a 5.
Em perguntas gerais, o chatbot teve média de 3,38 pontos, considerada “razoável, mas incompleta”.
Em perguntas sobre terapias mais novas, a média caiu para 3,06 pontos.
Nenhuma resposta recebeu nota máxima (5).
“A supervisão médica continua sendo essencial para verificar as informações médicas geradas pela IA antes do uso pelo paciente”, concluíram os autores.
Ceticismo necessário
Taylor alerta que, assim como no passado os pacientes recorreram ao Google para tirar dúvidas de saúde, agora a IA será incorporada ao cotidiano. Mas o processo de adaptação exige cautela.
“Eu alerto os pacientes para que tenham algum ceticismo, especialmente sobre respostas que tratam de tipos específicos de câncer e tratamentos, e consultem seus médicos”, afirmou.
Segundo ele, chatbots não têm a capacidade de personalizar recomendações ou discutir nuances como os especialistas fazem em consultas.
A forma como modelos de IA como o Copilot ou o ChatGPT já nos “conhecem” é segredo comercial
Jaque Silva/NurPhoto/picture alliance
Limitações e próximos passos
O estudo avaliou apenas a versão 3.5 do ChatGPT, treinada com dados até 2021. Isso significa que descobertas médicas e terapias lançadas depois disso não estavam refletidas nas respostas.
Versões mais recentes do modelo podem ter desempenho diferente, mas, para Taylor, a mensagem principal continua válida: a IA pode apoiar pacientes, mas não substituir a orientação profissional.
Possíveis usos
Apesar das falhas, os pesquisadores enxergam espaço para a tecnologia. Chatbots podem ajudar pacientes a se prepararem melhor para consultas, formularem perguntas e até localizarem fontes de informação primária e confiável.
A Universidade de Miami já aposta no avanço: lançou cursos sobre ética em IA na medicina e sistemas que usam inteligência artificial para diagnóstico de tumores cerebrais e previsão de risco em mieloma múltiplo.