Em um estudo recente publicado no The Annals of Family Medicine, os pesquisadores avaliaram a eficácia do Chat Generative Pretrained Transformer (ChatGPT) em resumir resumos médicos para auxiliar os médicos. O estudo teve como objetivo determinar a qualidade, a precisão e o viés nos resumos gerados pelo ChatGPT, fornecendo insights sobre seu potencial como ferramenta para digerir grandes quantidades de literatura médica em meio às restrições de tempo enfrentadas pelos profissionais de saúde.
Altas classificações de qualidade e precisão
O estudo utilizou o ChatGPT para condensar 140 resumos médicos de 14 periódicos diversos, reduzindo o conteúdo em uma média de 70%. Apesar de algumas imprecisões e alucinações detectadas em uma pequena fração dos resumos, os médicos avaliaram muito os resumos em termos de qualidade e precisão. As descobertas sugerem que o ChatGPT tem o potencial de ajudar os médicos na revisão eficiente da literatura médica, oferecendo resumos concisos e precisos em meio ao enorme volume de informações.
Os pesquisadores selecionaram 10 artigos de cada uma das 14 revistas que cobrem vários tópicos e estruturas médicas. Eles incumbiram o ChatGPT de resumir esses artigos e avaliaram os resumos gerados quanto à qualidade, precisão, viés e relevância em dez campos médicos. O estudo descobriu que o ChatGPT condensou com sucesso resumos médicos em uma média de 70%, obtendo altas classificações de revisores médicos em termos de qualidade e precisão.
Implicações para a saúde
Apesar das altas classificações, o estudo identificou graves imprecisões e alucinações em um pequeno número de resumos. Esses erros variaram desde a omissão de dados críticos até interpretações errôneas dos desenhos dos estudos, o que poderia potencialmente alterar a interpretação dos resultados da pesquisa. No entanto, o desempenho do ChatGPT em resumir resumos médicos foi considerado confiável, com viés mínimo observado.
Embora o ChatGPT tenha demonstrado um forte alinhamento com as avaliações humanas ao nível da revista, o seu desempenho na identificação da relevância de artigos individuais para especialidades médicas específicas foi menos impressionante. Esta discrepância destacou uma limitação na capacidade do ChatGPT de identificar com precisão a relevância de artigos singulares no contexto mais amplo das especialidades médicas.
O estudo fornece informações valiosas sobre o potencial da IA, particularmente do ChatGPT, para ajudar os médicos na revisão eficiente da literatura médica. Embora o ChatGPT se mostre promissor em resumir resumos médicos com alta qualidade e precisão, são necessárias mais pesquisas para abordar as limitações e melhorar seu desempenho em contextos médicos específicos.
Pesquisas futuras poderiam se concentrar em refinar a capacidade do ChatGPT de reconhecer a relevância de artigos individuais para especialidades médicas específicas. Além disso, os esforços para mitigar imprecisões e alucinações nos resumos gerados poderiam aumentar ainda mais a utilidade das ferramentas de IA em ambientes de saúde.
Fonte: https://www.cryptopolitan.com/chatgpt-in-summarizing-medical-abstracts/