Rômullo José Costa Ataídes et al. Marcos Adriano Garcia Campos João Vítor Perez de Souza Rafael Cardoso Rocha … Almir Alamino Lacalle Ciro Bezerra Vieira Thiago Artioli Tiago Cordeiro Medeiros Erito Marques de Souza Filho Ronaldo Gismondi Érika Maria Gonçalves Campana Francisco José Romeo Victor Razuk João Ricardo Nickenig Vissoci Renato Delascio Lopes
Resumo
Fundamento
Modelos de linguagem baseados em inteligência artificial estão sendo cada vez mais utilizados para gerar materiais de educação em saúde para pacientes. No entanto, sua acurácia, completude e aderência às diretrizes clínicas permanecem incertas.
Objetivos
Comparar o ChatGPT-Mini e o ChatGPT-4.0 na geração de conteúdo educativo sobre hipertensão arterial sistêmica (HAS) quanto à acurácia, completude, qualidade estrutural utilizando o Ensuring Quality Information for Patients (EQIP), consistência das respostas e alinhamento com diretrizes estabelecidas.
Métodos
Um conjunto padronizado de 31 perguntas relacionadas à HAS foi submetido a ambos os modelos. As respostas foram avaliadas de forma independente por 10 clínicos cegos, utilizando um escore EQIP modificado, uma escala de acurácia de 5 pontos e uma escala de completude de 3 pontos. A consistência das respostas foi avaliada por meio do BERTScore. As comparações entre os modelos foram realizadas utilizando o teste de Wilcoxon para amostras independentes, bicaudal (p < 0,05). Os tamanhos de efeito foram apresentados como diferenças medianas de Hodges–Lehmann (HL) e delta de Cliff (δ), ambos com intervalos de confiança de 95% (IC 95%). A confiabilidade interavaliadores foi estimada por meio do coeficiente de correlação intraclasse (ICC; modelo de efeitos aleatórios em duas vias, concordância absoluta).
Resultados
As medidas de tendência central favoreceram o ChatGPT-4.0, embora as diferenças tenham sido pequenas. As medianas foram as seguintes: acurácia, 4,10 (3,70-4,20) versus 3,73 (3,60-4,05); completude, 1,26 (1,17-1,41) versus 1,10 (0,96-1,23); e escore EQIP total, 19,5 (18,0-25,0) versus 18,5 (16,0-23,0) para o ChatGPT-4.0 e o ChatGPT-Mini, respectivamente. As diferenças medianas de HL foram pequenas, com ICs de 95% cruzando zero (acurácia: +0,37, −0,25 a +0,50; completude: +0,16, −0,06 a +0,36; EQIP: +1,0, −1,0 a +6,0). Os valores de δ de Cliff foram consistentemente pequenos e positivos nos desfechos primários, indicando apenas modesta dominância estocástica do ChatGPT-4.0. A clareza de identificação tendeu a ser maior com o ChatGPT-4.0, enquanto a consistência das respostas, medida pelo BERTScore F1, foi geralmente maior para o ChatGPT-Mini (> 0,92 versus 0,885-0,932). A confiabilidade interavaliadores foi de boa a excelente em todas as medidas (ICC > 0,80).
Conclusões
O ChatGPT-4.0 demonstrou melhorias pequenas e não significativas em acurácia, completude e qualidade estrutural em comparação com o ChatGPT-Mini. Os tamanhos de efeito foram modestos, e todos os ICs de 95% incluíram zero. O ChatGPT-Mini produziu respostas mais consistentes. Esses achados ressaltam a importância de relatar rotineiramente tamanhos de efeito com ICs de 95% e apoiam o uso de métodos padronizados de avaliação e de estruturas de validação em tempo real para conteúdo médico educativo gerado por IA.