Arq Bras Cardiol abc Arquivos Brasileiros de Cardiologia Arq. Bras. Cardiol. 0066-782X 1678-4170 Sociedade Brasileira de Cardiologia - SBC 6Jyy5jHtZVmY6Sm6DXVrdNw S0066-782X2026000200604 00604 10.36660/abc.20250498 Artigo Original Avaliação do ChatGPT-4.0 Versus ChatGPT-Mini na Geração de Conteúdo sobre Hipertensão Baseado em Diretrizes 0000-0002-4570-869X Ataídes Rômullo José Costa Concepção e desenho da pesquisa Obtenção de dados Análise e interpretação dos dados e Análise estatística Redação do manuscrito Revisão crítica do manuscrito quanto ao conteúdo 1 Campos Marcos Adriano Garcia Concepção e desenho da pesquisa Obtenção de dados Análise e interpretação dos dados e Análise estatística Redação do manuscrito Revisão crítica do manuscrito quanto ao conteúdo 2 Souza João Vítor Perez de Análise e interpretação dos dados e Análise estatística Revisão crítica do manuscrito quanto ao conteúdo 2 Rocha Rafael Cardoso Redação do manuscrito Revisão crítica do manuscrito quanto ao conteúdo 3 0009-0008-7777-6727 Lacalle Almir Alamino Redação do manuscrito Revisão crítica do manuscrito quanto ao conteúdo 3 Vieira Ciro Bezerra Redação do manuscrito Revisão crítica do manuscrito quanto ao conteúdo 1 0000-0001-6242-0885 Artioli Thiago Redação do manuscrito Revisão crítica do manuscrito quanto ao conteúdo 4 0000-0001-5610-7921 Medeiros Tiago Cordeiro Redação do manuscrito Revisão crítica do manuscrito quanto ao conteúdo 5 0000-0002-0381-3344 Souza Erito Marques de Filho Redação do manuscrito Revisão crítica do manuscrito quanto ao conteúdo 6 7 0000-0002-0884-4190 Gismondi Ronaldo Redação do manuscrito Revisão crítica do manuscrito quanto ao conteúdo 7 0000-0002-6352-3330 Campana Érika Maria Gonçalves Redação do manuscrito Revisão crítica do manuscrito quanto ao conteúdo 8 0000-0003-1261-5785 Romeo Francisco José Redação do manuscrito Revisão crítica do manuscrito quanto ao conteúdo 9 Razuk Victor Redação do manuscrito Revisão crítica do manuscrito quanto ao conteúdo 9 Vissoci João Ricardo Nickenig Concepção e desenho da pesquisa Redação do manuscrito Revisão crítica do manuscrito quanto ao conteúdo 2 Lopes Renato Delascio Concepção e desenho da pesquisa Redação do manuscrito Revisão crítica do manuscrito quanto ao conteúdo 10 Faculdade de Medicina Universidade de São Paulo São Paulo SP Brasil Faculdade de Medicina da Universidade de São Paulo, São Paulo, SP – Brasil Departamento de Medicina de Emergência Duke University Durham EUA Departamento de Medicina de Emergência – Duke University, Durham – EUA Divisão de Cardiologia Hospital das Clínicas de Ribeirão Preto Universidade de São Paulo Ribeirão Preto SP Brasil Divisão de Cardiologia do Hospital das Clínicas de Ribeirão Preto da Universidade de São Paulo, Ribeirão Preto, SP – Brasil Instituto Dante Pazzanese de Cardiologia São Paulo SP Brasil Instituto Dante Pazzanese de Cardiologia, São Paulo, SP – Brasil Hospital Universitário Universidade Federal do Maranhão São Luís MA Brasil Hospital Universitário – Universidade Federal do Maranhão, São Luís, MA – Brasil Universidade Federal Rural do Rio de Janeiro Seropédica RJ Brasil Universidade Federal Rural do Rio de Janeiro, Seropédica, RJ – Brasil Universidade Federal Fluminense Niterói RJ Brasil Universidade Federal Fluminense, Niterói, RJ – Brasil Universidade do Estado do Rio de Janeiro Rio de Janeiro RJ Brasil Universidade do Estado do Rio de Janeiro, Rio de Janeiro, RJ – Brasil Departamento de Medicina Cardiovascular University of Miami Miller School of Medicine Jackson Memorial Hospital Miami EUA Departamento de Medicina Cardiovascular – University of Miami Miller School of Medicine/Jackson Memorial Hospital, Miami – EUA Duke Clinical Research Institute Cardiology Durham EUA Duke Clinical Research Institute Cardiology, Durham – EUA Rômullo José Costa Ataídes Av. Dr. Arnaldo, 455. CEP 01246-903, Cerqueira César, Pacaembu, SP - Brasil E-mail: romulloataides2@hotmail.com

Gláucia Maria Moraes de Oliveira

Não há conflito com o presente artigo

 16 03 2026 02 2026 123 2 e20250498 23 07 2025 16 12 2025 13 01 2026 Este é um artigo de acesso aberto distribuído sob os termos da licença de atribuição pelo Creative Commons Resumo Fundamento

Modelos de linguagem baseados em inteligência artificial estão sendo cada vez mais utilizados para gerar materiais de educação em saúde para pacientes. No entanto, sua acurácia, completude e aderência às diretrizes clínicas permanecem incertas.

 Objetivos

Comparar o ChatGPT-Mini e o ChatGPT-4.0 na geração de conteúdo educativo sobre hipertensão arterial sistêmica (HAS) quanto à acurácia, completude, qualidade estrutural utilizando o Ensuring Quality Information for Patients (EQIP), consistência das respostas e alinhamento com diretrizes estabelecidas.

 Métodos

Um conjunto padronizado de 31 perguntas relacionadas à HAS foi submetido a ambos os modelos. As respostas foram avaliadas de forma independente por 10 clínicos cegos, utilizando um escore EQIP modificado, uma escala de acurácia de 5 pontos e uma escala de completude de 3 pontos. A consistência das respostas foi avaliada por meio do BERTScore. As comparações entre os modelos foram realizadas utilizando o teste de Wilcoxon para amostras independentes, bicaudal (p < 0,05). Os tamanhos de efeito foram apresentados como diferenças medianas de Hodges–Lehmann (HL) e delta de Cliff (δ), ambos com intervalos de confiança de 95% (IC 95%). A confiabilidade interavaliadores foi estimada por meio do coeficiente de correlação intraclasse (ICC; modelo de efeitos aleatórios em duas vias, concordância absoluta).

 Resultados

As medidas de tendência central favoreceram o ChatGPT-4.0, embora as diferenças tenham sido pequenas. As medianas foram as seguintes: acurácia, 4,10 (3,70-4,20) versus 3,73 (3,60-4,05); completude, 1,26 (1,17-1,41) versus 1,10 (0,96-1,23); e escore EQIP total, 19,5 (18,0-25,0) versus 18,5 (16,0-23,0) para o ChatGPT-4.0 e o ChatGPT-Mini, respectivamente. As diferenças medianas de HL foram pequenas, com ICs de 95% cruzando zero (acurácia: +0,37, −0,25 a +0,50; completude: +0,16, −0,06 a +0,36; EQIP: +1,0, −1,0 a +6,0). Os valores de δ de Cliff foram consistentemente pequenos e positivos nos desfechos primários, indicando apenas modesta dominância estocástica do ChatGPT-4.0. A clareza de identificação tendeu a ser maior com o ChatGPT-4.0, enquanto a consistência das respostas, medida pelo BERTScore F1, foi geralmente maior para o ChatGPT-Mini (> 0,92 versus 0,885-0,932). A confiabilidade interavaliadores foi de boa a excelente em todas as medidas (ICC > 0,80).

 Conclusões

O ChatGPT-4.0 demonstrou melhorias pequenas e não significativas em acurácia, completude e qualidade estrutural em comparação com o ChatGPT-Mini. Os tamanhos de efeito foram modestos, e todos os ICs de 95% incluíram zero. O ChatGPT-Mini produziu respostas mais consistentes. Esses achados ressaltam a importância de relatar rotineiramente tamanhos de efeito com ICs de 95% e apoiam o uso de métodos padronizados de avaliação e de estruturas de validação em tempo real para conteúdo médico educativo gerado por IA.

Avaliação do ChatGPT-4.0 Versus ChatGPT-Mini na Geração de Conteúdo sobre Hipertensão Baseado em Diretrizes ACC: Colégio Americano de Cardiologia; AHA: Associação Americana do Coração; EQIP: Ensuring Quality Information for Patients; ESC: Sociedade Europeia de Cardiologia; ESH: Sociedade Europeia de Hipertensão; HAS: hipertensão arterial sistêmica; IA: inteligência artificial; ICC: coeficiente de correlação intraclasse.

Palavras-chave Inteligência Artificial Hipertensão Educação de Pacientes como Assunto Fontes de financiamento: O presente estudo não teve fontes de financiamento externas. Introdução

O uso da inteligência artificial (IA) no manejo da hipertensão arterial sistêmica (HAS) oferece um potencial substancial.1,2 No entanto, as evidências atuais indicam que sua utilização ainda permanece insuficientemente sistematizada, particularmente no que se refere aos critérios de avaliação e às abordagens centradas no paciente.3,4 Por exemplo, ferramentas baseadas em IA, como chatbots, demonstraram utilidade no apoio ao autocuidado da HAS; contudo, os estudos existentes destacam de forma consistente a necessidade de estruturas de avaliação mais robustas e de orientações mais claras e consistentes para os pacientes.5

Almagazzachi et al. investigaram o uso de IA generativa na educação de pacientes com HAS e relataram que, apesar de fornecerem apoio significativo, essas ferramentas apresentam inconsistências no alinhamento com diretrizes clínicas estabelecidas, incluindo as da Sociedade Europeia de Hipertensão (do inglês ESH).6 Além disso, foi documentada variabilidade no desempenho dos chatbots entre diferentes idiomas, o que reforça ainda mais a necessidade de metodologias padronizadas para garantir acurácia, confiabilidade e aderência às diretrizes.7 A adoção de uma abordagem centrada no usuário no desenvolvimento de soluções de IA para o manejo da HAS pode aprimorar a sistematização e melhorar os desfechos dos pacientes.5 Assim, embora a IA demonstre grande potencial nessa área, é necessário um arcabouço mais estruturado e focado no paciente para que seu potencial seja plenamente concretizado no cuidado da HAS.8

Diversos estudos têm buscado sistematizar a avaliação de informações educativas geradas por IA para pacientes.9,10 No entanto, esses esforços não incorporaram um processo sistemático de desenvolvimento de perguntas de avaliação baseado em consenso de especialistas.11

O presente estudo tem como objetivo avaliar o desempenho de duas versões do modelo ChatGPT, ChatGPT-Mini e ChatGPT-4.0, na geração de conteúdo médico relacionado à HAS. Instrumentos validados foram utilizados para avaliar a qualidade das informações destinadas aos pacientes e para examinar os pontos fortes e as limitações da IA na educação médica e no cuidado ao paciente.11,12 Além disso, ao aplicar uma avaliação estruturada e padronizada das respostas geradas por IA, este estudo busca identificar áreas em que o conteúdo produzido por IA pode ser deficiente, fornecendo, assim, subsídios relevantes para orientar o desenvolvimento futuro da IA na área da saúde.13 Essa abordagem sistemática permite avaliar o quão eficazmente os modelos de IA fornecem materiais educativos precisos e centrados no paciente e contribui para o aprimoramento de estratégias baseadas em IA para a disseminação de informações médicas.

 Métodos Desenho do estudo

Este estudo empregou um desenho baseado em questionário (survey) (Figura 1). Perguntas abordando o diagnóstico, o tratamento e o prognóstico da HAS foram submetidas ao ChatGPT-Mini e ao ChatGPT-4.0 (Tabela Suplementar 1). As respostas geradas foram comparadas com as recomendações das diretrizes de HAS da ESH de 2023 e do Colégio Americano de Cardiologia/Associação Americana do Coração (ACC/AHA) de 2017. Todas as respostas foram avaliadas por cardiologistas e médicos em formação em cardiologia, de forma independente.

– Fluxograma do estudo para a avaliação de conteúdo sobre hipertensão gerado por inteligência artificial. ACC: Colégio Americano de Cardiologia; AHA: Associação Americana do Coração; EQIP: Ensuring Quality Information for Patients; ESH: Sociedade Europeia de Hipertensão; HAS: hipertensão arterial sistêmica.

Coleta de dados

A equipe de pesquisa desenvolveu 31 perguntas relacionadas à HAS (Tabela 1; consultar o Material Suplementar 1 para detalhes adicionais). O conteúdo e a estrutura de cada pergunta foram orientados pelo escore Ensuring Quality Information for Patients (EQIP).14 O escore EQIP é uma ferramenta validada, desenvolvida para avaliar a qualidade das informações fornecidas aos pacientes em contextos de cuidado em saúde, com foco na acurácia, confiabilidade e utilidade no apoio à tomada de decisões informadas relacionadas à saúde.

Cada pergunta foi submetida 10 vezes, em inglês, a ambas as versões do ChatGPT, entre 25 e 30 de julho de 2024. Todas as respostas foram registradas de forma sistemática, iniciando-se novas conversas com o uso de prompts incondicionais em modo de chat temporário. Nos casos em que o formato da resposta não abordava adequadamente a pergunta original, o prompt “Be specific and incorporate medical knowledge about hypertension from the guideline of hypertension from AHA/ACC 2017 and ESH 2023” foi acrescentado à conversa conforme necessário.

 Avaliação especializada das respostas do GPT

Um total de 10 médicos (cinco cardiologistas e cinco médicos em formação em cardiologia), provenientes de múltiplas instituições no Brasil e nos Estados Unidos, avaliou de forma independente as respostas geradas pelo ChatGPT (Figura 2). Os avaliadores receberam instruções escritas detalhando como interpretar as respostas, aplicar os critérios de avaliação e comparar o conteúdo com as diretrizes de HAS ACC/AHA de 2017 e ESH de 2023. Embora os avaliadores pudessem consultar as diretrizes, foram incentivados a basear suas avaliações principalmente em sua experiência clínica.

– Exemplo da avaliação de respostas sobre HAS geradas por inteligência artificial. EQIP: Ensuring Quality Information for Patients; HAS: hipertensão arterial sistêmica.

Todos os avaliadores estavam cegos quanto à origem das respostas e não sabiam se o conteúdo havia sido gerado pelo ChatGPT-Mini ou pelo ChatGPT-4.0. As avaliações foram coletadas por meio de questionários criados na plataforma REDCap (Material Suplementar 1).

 Medidas

Com base em informações derivadas das diretrizes e no conhecimento clínico, os avaliadores classificaram cada resposta utilizando três componentes: o escore EQIP para avaliar a qualidade global da informação e duas escalas do tipo Likert para avaliar, de forma independente, a acurácia e a completude (Material Suplementar 1).

O escore EQIP foi adaptado para a avaliação das respostas geradas pelo ChatGPT. Ele consiste em critérios que abrangem três domínios: conteúdo (avaliando acurácia, relevância e abrangência), identificação (avaliando clareza e facilidade de identificação das informações) e estrutura dos dados (examinando organização, legibilidade e apresentação das informações). O instrumento EQIP modificado permite uma pontuação máxima de 31 pontos, distribuídos entre os domínios de conteúdo (máximo de 16 pontos), identificação (máximo de 5 pontos) e estrutura dos dados (máximo de 10 pontos).

Cada critério do EQIP foi pontuado utilizando um sistema de três pontos: 1 (resposta correta), 0,5 (resposta parcialmente correta) ou 0 (resposta incorreta). O escore EQIP total foi calculado como a soma dos pontos em todos os critérios, com escores mais elevados indicando informações de maior qualidade. Para todas as respostas, um ponto foi automaticamente atribuído ao item “Can you date the above-named information?”, uma vez que esse elemento poderia potencialmente revelar a versão do ChatGPT avaliada.

A acurácia foi avaliada por meio de uma escala de cinco pontos: completamente incorreta (nenhuma informação correta e contraditória às diretrizes de HAS); mais incorreta do que correta (predominantemente incorreta e amplamente inconsistente com as diretrizes); aproximadamente correta e incorreta (proporção semelhante de informações corretas e incorretas, parcialmente alinhada às diretrizes); mais correta do que incorreta (predominantemente correta e geralmente alinhada às diretrizes); e completamente correta (totalmente precisa, abrangente e inteiramente consistente com as diretrizes de HAS).

A completude foi avaliada por meio de uma escala de três pontos, refletindo o grau em que cada resposta abordou a pergunta: incompleta (aspectos-chave ausentes ou abordados de forma insuficiente); adequada (todos os aspectos solicitados abordados com a informação mínima necessária); e abrangente (todos os aspectos abordados com contexto adicional relevante além do esperado).

A consistência das respostas ao longo das 10 repetições de cada pergunta foi avaliada utilizando o BERTScore, que quantifica a similaridade semântica com base em escores de precisão, recall e F1. Os resultados foram apresentados graficamente para comparar a similaridade de conteúdo entre as respostas.15

Amostragem do ChatGPT

O número mínimo de avaliadores necessário para alcançar um coeficiente de correlação intraclasse (ICC) de 0,8, com precisão de ± 0,1 e intervalo de confiança de 95% (IC 95%), ao avaliar os 31 itens gerados por cada versão do ChatGPT, foi estimado em 10.

 Análise estatística

A distribuição das variáveis contínuas foi avaliada por meio do teste de Shapiro–Wilk. Como todas as variáveis contínuas apresentaram distribuição não normal, os dados são apresentados como medianas e intervalos interquartis (IIQ). As comparações entre o ChatGPT-Mini e o ChatGPT-4.0 foram realizadas utilizando o teste de Wilcoxon para amostras independentes (bicaudal, p < 0,05).

Os tamanhos de efeito foram apresentados com ICs 95%, incluindo as diferenças medianas de Hodges–Lehmann para estimar deslocamentos de localização e o delta de Cliff (δ) para avaliar dominância estocástica. Os ICs 95% foram obtidos por meio de médias de Walsh ou métodos de bootstrap não paramétrico, conforme apropriado. A concordância interavaliadores foi quantificada utilizando o ICC (modelo de efeitos aleatórios em duas vias, concordância absoluta), com ICs 95%.

As comparações entre o ChatGPT-4.0 e o ChatGPT-Mini nos domínios de acurácia, completude e EQIP foram conduzidas utilizando o delta de Cliff, com valores de δ maiores que 0 indicando superioridade do ChatGPT-4.0. Todas as estimativas são apresentadas com ICs de 95%, e a significância estatística foi definida como p < 0,05. As análises estatísticas foram realizadas no software R (versão 4.2.2). As análises de BERTScore foram conduzidas no Google Colab utilizando o pacote bert-score.

 Resultados Amostra do estudo e inclusão dos dados

Todas as respostas geradas pelo ChatGPT-Mini e pelo ChatGPT-4.0 foram incluídas na análise, sem exclusões ou dados ausentes. O conjunto padronizado de 31 perguntas foi aplicado de forma uniforme a ambos os modelos. Ao longo das 10 repetições por pergunta, não foram identificados episódios de alucinação por IA. Além disso, não foram necessários prompts de seguimento para esclarecimento das respostas, uma vez que todos os resultados abordaram adequadamente as perguntas originais.

 Acurácia e completude

Conforme apresentado na Tabela 2, ambos os modelos alcançaram escores elevados de acurácia e completude. Os valores medianos foram numericamente mais altos para o ChatGPT-4.0; entretanto, não foram observadas diferenças estatisticamente significativas entre os dois modelos para nenhum dos desfechos.

 global (escores EQIP)

O escore EQIP, que integra os domínios de conteúdo, identificação e estrutura, indicou qualidade global amplamente comparável entre os dois modelos. Conforme apresentado na Tabela 2, o ChatGPT-4.0 tendeu a alcançar escores totais de EQIP numericamente mais elevados, bem como escores mais altos nos subdomínios de conteúdo e identificação, em comparação com o ChatGPT-Mini. Os escores estruturais foram muito semelhantes entre os modelos, resultando em totais globais de EQIP comparáveis.

As análises de tamanho de efeito utilizando o δ de Cliff favoreceram o ChatGPT-4.0 em todos os domínios do EQIP; no entanto, todos os ICs 95% correspondentes incluíram zero (Tabela 3), indicando que essas diferenças não foram estatisticamente robustas. A Figura 3 ilustra a distribuição dos escores EQIP entre os domínios para cada modelo, demonstrando avaliações geralmente favoráveis dos avaliadores quanto ao conteúdo, à identificação e à estrutura. Nessa figura, cada linha horizontal corresponde a um item individual do EQIP: os itens 1-16 representam o conteúdo, os itens 17-20 representam a identificação e os itens 21-30 representam a estrutura. Em todos os itens, ambos os modelos receberam avaliações consistentemente favoráveis e, em grande parte, comparáveis.

– Comparação das respostas do ChatGPT com base no escore EQIP modificado ao longo das questões sobre HAS. As respostas geradas pelo ChatGPT-Mini e pelo ChatGPT-4.0 ao longo de 30 perguntas relacionadas à HAS foram avaliadas utilizando um escore EQIP modificado. As respostas foram classificadas como 1 (correta), 0,5 (parcialmente correta) ou 0 (incorreta). O eixo x representa a proporção de respostas em cada categoria, e o eixo y lista as perguntas avaliadas. EQIP: Ensuring Quality Information for Patients; HAS: hipertensão arterial sistêmica.

Avaliações por BERTScore

As análises por BERTScore revelaram diferenças entre os modelos quanto à precisão, ao recall e à consistência das respostas. O ChatGPT-Mini demonstrou consistentemente escores F1 mais elevados, frequentemente superiores a 0,92, enquanto o ChatGPT-4.0 apresentou escores F1 variando de 0,8851 a 0,9316 (consultar o Material Suplementar 2).

Em relação à precisão, o ChatGPT-Mini obteve um escore de 0,9356, em comparação com 0,8643 para o ChatGPT-4.0, em resposta a uma pergunta sobre a definição de HAS. De forma semelhante, para o recall, o ChatGPT-Mini alcançou um escore de 0,9558, enquanto o ChatGPT-4.0 obteve 0,9330 em uma pergunta de seguimento relacionada.

De modo geral, o ChatGPT-Mini apresentou maior consistência na estabilidade das respostas, com escores F1 raramente inferiores a 0,90. Em contraste, o ChatGPT-4.0 demonstrou maior variabilidade, incluindo um escore F1 de 0,8757 em resposta a uma pergunta sobre tratamentos não farmacológicos para a HAS.

 Confiabilidade interavaliadores

A confiabilidade interavaliadores foi consistentemente elevada em todas as métricas avaliadas, com valores de ICC superiores a 0,80 para ambos os modelos.

Para os escores EQIP, os ICCs foram de 0,844 (IC 95%, 0,677-0,952) para o ChatGPT-Mini e de 0,840 (IC 95%, 0,665-0,951) para o ChatGPT-4.0. Para os escores de acurácia, os ICCs foram de 0,742 (IC 95%, 0,456-0,922) para o ChatGPT-Mini e de 0,688 (IC 95%, 0,339-0,906) para o ChatGPT-4.0. Para os escores de completude, os ICCs foram idênticos para ambos os modelos, de 0,824 (IC 95%, 0,627-0,947 para o ChatGPT-Mini e 0,628-0,947 para o ChatGPT-4.0).

Esses valores de ICC indicam concordância interavaliadores de moderada a forte, sustentando a confiabilidade da metodologia de avaliação utilizada neste estudo. De modo geral, os achados sugerem desempenho superior do ChatGPT-4.0 nos principais desfechos de qualidade (Figura Central).

 Discussão

À medida que a IA se torna cada vez mais integrada à educação do paciente, persistem preocupações quanto à acurácia, à completude e à consistência das informações médicas geradas por IA. Embora a IA apresente potencial substancial para ampliar a acessibilidade aos cuidados de saúde, sua capacidade de fornecer conteúdo confiável e aderente às diretrizes permanece um desafio crítico, particularmente no manejo de condições crônicas como a HAS. Neste estudo, avaliamos de forma sistemática o desempenho do ChatGPT-Mini e do ChatGPT-4.0 na geração de educação em HAS centrada no paciente, com foco no alinhamento às diretrizes, na qualidade informacional e na consistência das respostas.

Nossos achados indicam que o ChatGPT-4.0 apresentou melhorias incrementais em relação ao ChatGPT-Mini quanto à acurácia, à completude e à estrutura das respostas. Contudo, essas diferenças foram modestas e não atingiram significância estatística, provavelmente refletindo tamanhos de efeito pequenos. O ChatGPT-4.0 alcançou uma média de acurácia ligeiramente superior à do ChatGPT-Mini (4,02 ± 0,35 vs 3,86 ± 0,45), além de uma mediana de completude mais elevada (1,26 vs 1,10). Apesar desses ganhos numéricos, ambos os modelos apresentaram limitações relevantes na completude do conteúdo. Essas observações são consistentes com estudos prévios que relatam que modelos mais recentes de IA melhoram a coerência linguística e a organização estrutural,11 mas ainda podem carecer de profundidade e especificidade suficientes ao abordar recomendações clínicas complexas.16,17

Para avaliar de forma sistemática a qualidade do conteúdo médico gerado por IA, aplicamos instrumentos de avaliação estabelecidos, incluindo o escore EQIP e escalas do tipo Likert. O escore EQIP, originalmente desenvolvido para avaliar materiais escritos de educação do paciente,18 forneceu um arcabouço estruturado para avaliar clareza, relevância e confiabilidade nas respostas geradas por IA.14 Embora o EQIP não tenha sido formalmente validado para conteúdo gerado por IA, seu uso neste estudo destaca a crescente necessidade de estruturas padronizadas de avaliação adaptadas à comunicação em saúde mediada por IA. As escalas de Likert complementaram a avaliação da acurácia e da completude percebidas, capturando julgamentos profissionais quanto à confiabilidade das informações geradas por IA.12

O ChatGPT-4.0 alcançou um escore EQIP global ligeiramente superior ao do ChatGPT-Mini (21,4 ± 3,7 vs 19,5 ± 4,0), sugerindo melhorias modestas na qualidade do conteúdo educativo relacionado à HAS. As diferenças mais pronunciadas foram observadas no domínio de conteúdo (9,15 ± 2,32 vs 8,35 ± 2,32) e no domínio de identificação (3,80 ± 1,14 vs 2,85 ± 1,08), refletindo maior abrangência e transparência. Ainda assim, essas diferenças não foram estatisticamente significativas, indicando que aprimoramentos na apresentação e na estrutura nem sempre se traduzem de forma consistente em conteúdo mais confiável ou aderente às diretrizes.19

Ao examinar a proporção de respostas completamente corretas, o ChatGPT-4.0 superou o ChatGPT-Mini, produzindo respostas corretas (escore = 1) em aproximadamente 70%-80% das perguntas avaliadas, em comparação com menos de 50% no ChatGPT-Mini. Apesar dessa melhora, a aderência às diretrizes estabelecidas de HAS, incluindo as recomendações ACC/AHA de 2017 e ESH de 2023, permaneceu inconsistente. Embora ambos os modelos geralmente se alinhassem aos princípios centrais das diretrizes, as respostas frequentemente careciam de especificidade clínica ou divergiam de padrões baseados em evidências. Esse padrão reflete achados de avaliações mais amplas de educação do paciente gerada por IA, nas quais as taxas de acurácia relatadas variam de 71,7% a 94,3%, mas déficits de profundidade e precisão clínica permanecem comuns.20 O ChatGPT-Mini apresentou uma proporção maior de respostas incorretas ou parcialmente corretas, particularmente em perguntas que exigiam explicações clínicas detalhadas. O ChatGPT-4.0 reduziu a frequência de respostas incompletas para abaixo de 20% na maioria das variáveis; contudo, 10%-30% das respostas ainda se enquadraram em categorias de menor qualidade, ressaltando lacunas informacionais persistentes.

Esses achados são consistentes com um estudo prévio que avaliou o ChatGPT-4.0 em cinco condições hepato-pancreato-biliares, no qual foi relatada uma mediana de escore EQIP de 16 (IIQ, 14,5-18), indicando deficiências substanciais na acurácia das citações e na coerência estrutural.10 Embora nosso estudo tenha observado escores EQIP mais elevados para conteúdo relacionado à HAS, ambas as investigações destacam as limitações contínuas dos modelos de IA em se alinhar plenamente às recomendações médicas baseadas em evidências. De forma importante, embora modelos mais recentes possam melhorar a legibilidade e a organização, sua acurácia factual não parece ter avançado de maneira proporcional.21 Isso reforça a necessidade de processos rigorosos de validação e de supervisão humana contínua para garantir que melhorias na clareza não comprometam a aderência às diretrizes clínicas.20,22

Apesar dessas limitações, o ChatGPT-4.0 demonstra potencial como ferramenta suplementar para a educação do paciente no manejo da HAS. Sua capacidade de gerar rapidamente explicações informadas por diretrizes pode reduzir a carga informacional dos profissionais de saúde, especialmente em discussões iniciais sobre estratégias terapêuticas e intervenções no estilo de vida.19,20 Pesquisas anteriores sugerem que pacientes mais bem informados tendem a aderir melhor às terapias prescritas, o que pode melhorar os desfechos em condições crônicas como a HAS.23,24 No entanto, o conteúdo gerado por IA, isoladamente, ainda pode não fornecer orientações suficientemente abrangentes ou acionáveis, sobretudo diante do ceticismo público persistente em relação às aplicações da IA na área da saúde.25-27

Uma preocupação crítica no conteúdo médico gerado por IA é o fenômeno das “alucinações”, no qual os modelos produzem informações plausíveis, porém incorretas. Notavelmente, não foram identificadas alucinações em nenhum dos modelos ao longo das 10 interações repetidas neste estudo, o que sugere desempenho confiável dentro deste domínio clínico específico. Contudo, estudos anteriores indicam que as alucinações permanecem um risco mais amplo na IA aplicada à saúde, particularmente em tópicos complexos ou menos bem definidos.28,29 Esse risco, combinado à conhecida sensibilidade ao desenho dos prompts, reforça a importância contínua da supervisão clínica em contextos clínicos e educacionais.30

A IA também vem influenciando de forma crescente o desenvolvimento de diretrizes clínicas e a comunicação com pacientes, ao facilitar a geração de perguntas clínicas e apoiar interações em tempo real. Sistemas baseados em IA têm demonstrado potencial para priorizar recomendações clínicas e otimizar a entrega de informações.31,32 No entanto, a aderência inconsistente aos padrões clínicos permanece uma limitação importante, exigindo o refinamento contínuo dessas tecnologias.33

A consistência das respostas foi ainda avaliada por meio das métricas do BERTScore, que quantificam a similaridade semântica entre respostas repetidas. O ChatGPT-Mini demonstrou maior estabilidade das respostas, alcançando maior precisão (0,9356 vs 0,8643) e recall (0,9558 vs 0,9330) em comparação com o ChatGPT-4.0. Em contraste, o ChatGPT-4.0 exibiu maior variabilidade, com escores F1 variando de 0,8851 a 0,9316. Esses achados sugerem que o ChatGPT-Mini pode ser mais adequado para materiais educativos estruturados que exigem alta consistência, enquanto a variabilidade do ChatGPT-4.0 pode favorecer o engajamento em contextos mais dinâmicos e conversacionais. Padrões semelhantes foram relatados em estudos anteriores, nos quais modelos mais recentes priorizam flexibilidade em detrimento da consistência estrita.34,35

Por fim, a confiabilidade interavaliadores foi elevada em todos os domínios avaliados, com valores de ICC superiores a 0,80 para os escores de EQIP, acurácia e completude. Essa forte concordância entre avaliadores sustenta a robustez da metodologia de avaliação e indica que as diferenças observadas refletem variações reais no desempenho dos modelos, e não subjetividade dos avaliadores.

Em síntese, este estudo contribui para a literatura crescente sobre o papel da IA na comunicação em saúde e na educação do paciente. Embora os avanços nos modelos de IA tenham melhorado a clareza e a organização estrutural, garantir acurácia, consistência e aderência às diretrizes permanece essencial para sua integração segura à prática clínica.26,36 Nossos achados ressaltam a necessidade urgente de estruturas padronizadas e rigorosas de avaliação para conteúdo médico gerado por IA. Abordagens emergentes, como modelos de avaliação estruturada que incluem o Conversational Reasoning Assessment Framework for Testing in Medicine, podem oferecer ferramentas valiosas para avaliar de forma sistemática o desempenho da IA em contextos de saúde.37 Pesquisas futuras devem se concentrar em mecanismos de validação em tempo real que conectem dinamicamente as respostas geradas por IA às diretrizes clínicas atualizadas e promovam a colaboração interdisciplinar entre clínicos, desenvolvedores de IA e autoridades regulatórias, a fim de estabelecer padrões robustos de ética, segurança e qualidade para o uso da IA na área da saúde.25

Limitações do estudo

Embora este estudo forneça subsídios relevantes sobre o desempenho do ChatGPT-Mini e do ChatGPT-4.0 na educação do paciente, algumas limitações devem ser reconhecidas. Primeiro, a análise foi restrita a um único domínio clínico, a HAS, o que limita a generalização dos achados para outras condições médicas. Como o desempenho da IA pode variar entre especialidades, investigações futuras devem avaliar conteúdos gerados por IA em uma gama mais ampla de tópicos clínicos.

Segundo, apesar do uso de ferramentas estruturadas de avaliação, como o EQIP e o BERTScore, a análise baseou-se em julgamento humano especializado, o que é inerentemente subjetivo, mesmo com critérios padronizados de pontuação. A variabilidade na interpretação dos especialistas pode ter influenciado os escores, ressaltando a necessidade de abordagens complementares de validação automatizada e baseadas em consenso em pesquisas futuras.

Terceiro, a avaliação foi limitada a respostas em língua inglesa, restringindo a aplicabilidade dos resultados a populações não falantes de inglês. Como estudos prévios demonstraram variabilidade no desempenho da IA entre diferentes idiomas, são necessárias pesquisas adicionais para avaliar diferenças linguísticas no conteúdo médico gerado por IA e para garantir acesso equitativo à educação do paciente precisa em escala global.

Além disso, os modelos de IA foram avaliados em um ambiente de teste controlado e estático e não foram expostos a interações reais com pacientes ou a feedback iterativo. O conteúdo médico gerado por IA é inerentemente dinâmico, sendo influenciado por atualizações do modelo e pela evolução das diretrizes clínicas. Estudos futuros devem incorporar estratégias de validação em tempo real que comparem continuamente as saídas da IA com os padrões clínicos atuais, a fim de manter acurácia e relevância.

Por fim, este estudo concentrou-se exclusivamente no ChatGPT-Mini e no ChatGPT-4.0. Outros grandes modelos de linguagem, com arquiteturas e paradigmas de treinamento distintos (p.ex., Claude, Gemini e Med-PaLM), podem apresentar características de desempenho diferentes. Avaliações comparativas envolvendo múltiplos sistemas de IA são, portanto, necessárias para definir de forma mais abrangente o papel da IA na educação do paciente.

 Conclusão

Este estudo demonstra que, embora o ChatGPT-4.0 ofereça melhor coerência estrutural em comparação com o ChatGPT-Mini, ele não produz ganhos estatisticamente significativos em completude factual ou consistência das respostas. Esses achados destacam a importância da implementação de estruturas padronizadas de avaliação, mecanismos de validação em tempo real e supervisão humana contínua para apoiar o uso seguro e eficaz da IA na educação do paciente.

Pesquisas futuras devem enfatizar estratégias dinâmicas de validação e o desenvolvimento de padrões de avaliação universalmente aceitos, a fim de garantir que os sistemas de IA médica permaneçam clinicamente confiáveis e eticamente responsáveis. Embora as tecnologias de IA tenham potencial para ampliar a acessibilidade aos cuidados de saúde, a supervisão humana permanece essencial para prevenir desinformação e preservar a confiança dos pacientes. Em última análise, a integração responsável da IA na prática médica dependerá de colaboração interdisciplinar contínua para manter padrões rigorosos de acurácia, segurança e integridade ética.

 Material suplementar Referências 1. Gala D, Behl H, Shah M, Makaryus AN. The Role of Artificial Intelligence in Improving Patient Outcomes and Future of Healthcare Delivery in Cardiology: A Narrative Review of the Literature. Healthcare. 2024;12(4):481. doi: 10.3390/healthcare12040481. Gala D Behl H Shah M Makaryus AN The Role of Artificial Intelligence in Improving Patient Outcomes and Future of Healthcare Delivery in Cardiology: A Narrative Review of the Literature Healthcare 2024 12 4 481 10.3390/healthcare12040481 2. Visco V, Izzo C, Mancusi C, Rispoli A, Tedeschi M, Virtuoso N, et al. Artificial Intelligence in Hypertension Management: An Ace up Your Sleeve. J Cardiovasc Dev Dis. 2023;10(2):74. doi: 10.3390/jcdd10020074. Visco V Izzo C Mancusi C Rispoli A Tedeschi M Virtuoso N et al Artificial Intelligence in Hypertension Management: An Ace up Your Sleeve J Cardiovasc Dev Dis 2023 10 2 74 10.3390/jcdd10020074 3. Vinufrancis A, Al Hussein H, Patel HV, Nizami A, Singh A, Nunez B, et al. Assessing the Quality and Reliability of AI-Generated Responses to Common Hypertension Queries. Cureus. 2024;16(8):e66041. doi: 10.7759/cureus.66041. Vinufrancis A Al Hussein H Patel HV Nizami A Singh A Nunez B et al Assessing the Quality and Reliability of AI-Generated Responses to Common Hypertension Queries Cureus 2024 16 8 e66041 10.7759/cureus.66041 4. Jo E, Song S, Kim JH, Lim S, Kim JH, Cha JJ, et al. Assessing GPT-4's Performance in Delivering Medical Advice: Comparative Analysis with Human Experts. JMIR Med Educ. 2024;10:e51282. doi: 10.2196/51282. Jo E Song S Kim JH Lim S Kim JH Cha JJ et al Assessing GPT-4's Performance in Delivering Medical Advice: Comparative Analysis with Human Experts JMIR Med Educ 2024 10 e51282 10.2196/51282 5. Griffin AC, Khairat S, Bailey SC, Chung AE. A Chatbot for Hypertension Self-Management Support: User-Centered Design, Development, and Usability Testing. JAMIA Open. 2023;6(3):ooad073. doi: 10.1093/jamiaopen/ooad073. Griffin AC Khairat S Bailey SC Chung AE A Chatbot for Hypertension Self-Management Support: User-Centered Design, Development, and Usability Testing JAMIA Open 2023 6 3 ooad073 10.1093/jamiaopen/ooad073 6. Almagazzachi A, Mustafa A, Sedeh AE, Gonzalez AEV, Polianovskaia A, Abood M, et al. Generative Artificial Intelligence in Patient Education: ChatGPT Takes on Hypertension Questions. Cureus. 2024;16(2):e53441. doi: 10.7759/cureus.53441. Almagazzachi A Mustafa A Sedeh AE Gonzalez AEV Polianovskaia A Abood M et al Generative Artificial Intelligence in Patient Education: ChatGPT Takes on Hypertension Questions Cureus 2024 16 2 e53441 10.7759/cureus.53441 7. Ioannidis A, Tsounis D, Bouras G, Komninou D, Pechlevanis A, Zalokosta E, et al. Accuracy of Artificial Intelligence Chatbots' Replies in Greek vs. English and in Accordance with the 2023 ESH Guidelines for the Management of Arterial Hypertension. J Hypertens. 2024;42(Suppl 1):e3. doi: 10.1093/eurjpc/zwae175.101. Ioannidis A Tsounis D Bouras G Komninou D Pechlevanis A Zalokosta E et al Accuracy of Artificial Intelligence Chatbots' Replies in Greek vs. English and in Accordance with the 2023 ESH Guidelines for the Management of Arterial Hypertension J Hypertens 2024 42 Suppl 1 e3 10.1093/eurjpc/zwae175.101 8. Yelne S, Chaudhary M, Dod K, Sayyad A, Sharma R. Harnessing the Power of AI: A Comprehensive Review of Its Impact and Challenges in Nursing Science and Healthcare. Cureus. 2023;15(11):e49252. doi: 10.7759/cureus.49252. Yelne S Chaudhary M Dod K Sayyad A Sharma R Harnessing the Power of AI: A Comprehensive Review of Its Impact and Challenges in Nursing Science and Healthcare Cureus 2023 15 11 e49252 10.7759/cureus.49252 9. Cappellani F, Card KR, Shields CL, Pulido JS, Haller JA. Reliability and Accuracy of Artificial Intelligence ChatGPT in Providing Information on Ophthalmic Diseases and Management to Patients. Eye. 2024;38(7):1368-1373. doi: 10.1038/s41433-023-02906-0. Cappellani F Card KR Shields CL Pulido JS Haller JA Reliability and Accuracy of Artificial Intelligence ChatGPT in Providing Information on Ophthalmic Diseases and Management to Patients Eye 2024 38 7 1368 1373 10.1038/s41433-023-02906-0 10. Walker HL, Ghani S, Kuemmerli C, Nebiker CA, Müller BP, Raptis DA, et al. Reliability of Medical Information Provided by ChatGPT: Assessment Against Clinical Guidelines and Patient Information Quality Instrument. J Med Internet Res. 2023;25:e47479. doi: 10.2196/47479. Walker HL Ghani S Kuemmerli C Nebiker CA Müller BP Raptis DA et al Reliability of Medical Information Provided by ChatGPT: Assessment Against Clinical Guidelines and Patient Information Quality Instrument J Med Internet Res 2023 25 e47479 10.2196/47479 11. Goodman RS, Patrinely JR, Stone CA Jr, Zimmerman E, Donald RR, Chang SS, et al. Accuracy and Reliability of Chatbot Responses to Physician Questions. JAMA Netw Open. 2023;6(10):e2336483. doi: 10.1001/jamanetworkopen.2023.36483. Goodman RS Patrinely JR Stone CA Jr Zimmerman E Donald RR Chang SS et al Accuracy and Reliability of Chatbot Responses to Physician Questions JAMA Netw Open 2023 6 10 e2336483 10.1001/jamanetworkopen.2023.36483 12. Xu X, Chen Y, Miao J. Opportunities, Challenges, and Future Directions of Large Language Models, Including ChatGPT in Medical Education: A Systematic Scoping Review. J Educ Eval Health Prof. 2024;21:6. doi: 10.3352/jeehp.2024.21.6. Xu X Chen Y Miao J Opportunities, Challenges, and Future Directions of Large Language Models, Including ChatGPT in Medical Education: A Systematic Scoping Review J Educ Eval Health Prof 2024 21 6 10.3352/jeehp.2024.21.6 13. Gritti MN, AlTurki H, Farid P, Morgan CT. Progression of an Artificial Intelligence Chatbot (ChatGPT) for Pediatric Cardiology Educational Knowledge Assessment. Pediatr Cardiol. 2024;45(2):309-13. doi: 10.1007/s00246-023-03385-6. Gritti MN AlTurki H Farid P Morgan CT Progression of an Artificial Intelligence Chatbot (ChatGPT) for Pediatric Cardiology Educational Knowledge Assessment Pediatr Cardiol 2024 45 2 309 313 10.1007/s00246-023-03385-6 14. Moult B, Franck LS, Brady H. Ensuring Quality Information for Patients: Development and Preliminary Validation of a New Instrument to Improve the Quality of Written Health Care Information. Health Expect. 2004;7(2):165-75. doi: 10.1111/j.1369-7625.2004.00273.x. Moult B Franck LS Brady H Ensuring Quality Information for Patients: Development and Preliminary Validation of a New Instrument to Improve the Quality of Written Health Care Information Health Expect 2004 7 2 165 175 10.1111/j.1369-7625.2004.00273.x 15. Zhang T, Kishore V, Wu F, Weinberger KQ, Artzi Y. BERTScore: Evaluating Text Generation with BERT [Internet]. New york: arXiv; 2020 [cited 2025 Feb 08]. Available from: http://arxiv.org/abs/1904.09675. Zhang T Kishore V Wu F Weinberger KQ Artzi Y BERTScore: Evaluating Text Generation with BERT Internet New york arXiv 2020 cited 2025 Feb 08 http://arxiv.org/abs/1904.09675 16. Gibson D, Jackson S, Shanmugasundaram R, Seth I, Siu A, Ahmadi N, et al. Evaluating the Efficacy of ChatGPT as a Patient Education Tool in Prostate Cancer: Multimetric Assessment. J Med Internet Res. 2024;26:e55939. doi: 10.2196/55939. Gibson D Jackson S Shanmugasundaram R Seth I Siu A Ahmadi N et al Evaluating the Efficacy of ChatGPT as a Patient Education Tool in Prostate Cancer: Multimetric Assessment J Med Internet Res 2024 26 e55939 10.2196/55939 17. Yang R, Nair SV, Ke Y, D'Agostino D, Liu M, Ning Y, et al. Disparities in Clinical Studies of AI Enabled Applications from a Global Perspective. NPJ Digit Med. 2024;7(1):209. doi: 10.1038/s41746-024-01212-7. Yang R Nair SV Ke Y D'Agostino D Liu M Ning Y et al Disparities in Clinical Studies of AI Enabled Applications from a Global Perspective NPJ Digit Med 2024 7 1 209 10.1038/s41746-024-01212-7 18. Wei K, Fritz C, Rajasekaran K. Answering Head and Neck Cancer Questions: An Assessment of ChatGPT Responses. Am J Otolaryngol. 2024;45(1):104085. doi: 10.1016/j.amjoto.2023.104085. Wei K Fritz C Rajasekaran K Answering Head and Neck Cancer Questions: An Assessment of ChatGPT Responses Am J Otolaryngol 2024 45 1 104085 10.1016/j.amjoto.2023.104085 19. Lewin S, Chetty R, Ihdayhid AR, Dwivedi G. Ethical Challenges and Opportunities in Applying Artificial Intelligence to Cardiovascular Medicine. Can J Cardiol. 2024;40(10):1897-906. doi: 10.1016/j.cjca.2024.06.029. Lewin S Chetty R Ihdayhid AR Dwivedi G Ethical Challenges and Opportunities in Applying Artificial Intelligence to Cardiovascular Medicine Can J Cardiol 2024 40 10 1897 1906 10.1016/j.cjca.2024.06.029 20. Ayers JW, Poliak A, Dredze M, Leas EC, Zhu Z, Kelley JB, et al. Comparing Physician and Artificial Intelligence Chatbot Responses to Patient Questions Posted to a Public Social Media Forum. JAMA Intern Med. 2023;183(6):589-96. doi: 10.1001/jamainternmed.2023.1838. Ayers JW Poliak A Dredze M Leas EC Zhu Z Kelley JB et al Comparing Physician and Artificial Intelligence Chatbot Responses to Patient Questions Posted to a Public Social Media Forum JAMA Intern Med 2023 183 6 589 596 10.1001/jamainternmed.2023.1838 21. Stanceski K, Zhong S, Zhang X, Khadra S, Tracy M, Koria L, et al. The Quality and Safety of Using Generative AI to Produce Patient-Centred Discharge Instructions. NPJ Digit Med. 2024;7(1):329. doi: 10.1038/s41746-024-01336-w. Stanceski K Zhong S Zhang X Khadra S Tracy M Koria L et al The Quality and Safety of Using Generative AI to Produce Patient-Centred Discharge Instructions NPJ Digit Med 2024 7 1 329 10.1038/s41746-024-01336-w 22. Armoundas AA, Narayan SM, Arnett DK, Spector-Bagdady K, Bennett DA, Celi LA, et al. Use of Artificial Intelligence in Improving Outcomes in Heart Disease: A Scientific Statement from the American Heart Association. Circulation. 2024;149(14):e1028-50. doi: 10.1161/CIR.0000000000001201. Armoundas AA Narayan SM Arnett DK Spector-Bagdady K Bennett DA Celi LA et al Use of Artificial Intelligence in Improving Outcomes in Heart Disease: A Scientific Statement from the American Heart Association Circulation 2024 149 14 e1028 e1050 10.1161/CIR.0000000000001201 23. Regmi K, Jones L. A Systematic Review of the Factors - Enablers and Barriers - Affecting E-Learning in Health Sciences Education. BMC Med Educ. 2020;20(1):91. doi: 10.1186/s12909-020-02007-6. Regmi K Jones L A Systematic Review of the Factors - Enablers and Barriers - Affecting E-Learning in Health Sciences Education BMC Med Educ 2020 20 1 91 10.1186/s12909-020-02007-6 24. Brown MT, Bussell JK. Medication Adherence: WHO Cares? Mayo Clin Proc. 2011;86(4):304-14. doi: 10.4065/mcp.2010.0575. Brown MT Bussell JK Medication Adherence: WHO Cares? Mayo Clin Proc 2011 86 4 304 314 10.4065/mcp.2010.0575 25. Tam TYC, Sivarajkumar S, Kapoor S, Stolyar AV, Polanska K, McCarthy KR, et al. A Framework for Human Evaluation of Large Language Models in Healthcare Derived from Literature Review. NPJ Digit Med. 2024;7(1):258. doi: 10.1038/s41746-024-01258-7. Tam TYC Sivarajkumar S Kapoor S Stolyar AV Polanska K McCarthy KR et al A Framework for Human Evaluation of Large Language Models in Healthcare Derived from Literature Review NPJ Digit Med 2024 7 1 258 10.1038/s41746-024-01258-7 26. Jasinska-Stroschein M, Dymek J, Drozd M, Sierpniowska O, Jedra A, Stankiewicz A, et al. An Evaluation of Written Materials for Supporting Hypertensive Patient Education and Counselling When Performing a New Medicine Service in Poland. BMC Med Educ. 2024;24(1):521. doi: 10.1186/s12909-024-05523-x. Jasinska-Stroschein M Dymek J Drozd M Sierpniowska O Jedra A Stankiewicz A et al An Evaluation of Written Materials for Supporting Hypertensive Patient Education and Counselling When Performing a New Medicine Service in Poland BMC Med Educ 2024 24 1 521 10.1186/s12909-024-05523-x 27. Akinrinmade AO, Adebile TM, Ezuma-Ebong C, Bolaji K, Ajufo A, Adigun AO, et al. Artificial Intelligence in Healthcare: Perception and Reality. Cureus. 2023;15(9):e45594. doi: 10.7759/cureus.45594. Akinrinmade AO Adebile TM Ezuma-Ebong C Bolaji K Ajufo A Adigun AO et al Artificial Intelligence in Healthcare: Perception and Reality Cureus 2023 15 9 e45594 10.7759/cureus.45594 28. Colasacco CJ, Born HL. A Case of Artificial Intelligence Chatbot Hallucination. JAMA Otolaryngol Head Neck Surg. 2024;150(6):457-8. doi: 10.1001/jamaoto.2024.0428. Colasacco CJ Born HL A Case of Artificial Intelligence Chatbot Hallucination JAMA Otolaryngol Head Neck Surg 2024 150 6 457 458 10.1001/jamaoto.2024.0428 29. Gondode P, Duggal S, Mahor V. Artificial Intelligence Hallucinations in Anaesthesia: Causes, Consequences and Countermeasures. Indian J Anaesth. 2024;68(7):658-61. doi: 10.4103/ija.ija_203_24. Gondode P Duggal S Mahor V Artificial Intelligence Hallucinations in Anaesthesia: Causes, Consequences and Countermeasures Indian J Anaesth 2024 68 7 658 661 10.4103/ija.ija_203_24 30. Hatem R, Simmons B, Thornton JE. A Call to Address AI "Hallucinations" and How Healthcare Professionals Can Mitigate Their Risks. Cureus. 2023;15(9):e44720. doi: 10.7759/cureus.44720. Hatem R Simmons B Thornton JE A Call to Address AI "Hallucinations" and How Healthcare Professionals Can Mitigate Their Risks Cureus 2023 15 9 e44720 10.7759/cureus.44720 31. Sousa-Pinto B, Vieira RJ, Marques-Cruz M, Bognanni A, Gil-Mata S, Jankin S, et al. Artificial Intelligence-Supported Development of Health Guideline Questions. Ann Intern Med. 2024;177(11):1518-29. doi: 10.7326/ANNALS-24-00363. Sousa-Pinto B Vieira RJ Marques-Cruz M Bognanni A Gil-Mata S Jankin S et al Artificial Intelligence-Supported Development of Health Guideline Questions Ann Intern Med 2024 177 11 1518 1529 10.7326/ANNALS-24-00363 32. Sun G, Zhou YH. AI in Healthcare: Navigating Opportunities and Challenges in Digital Communication. Front Digit Health. 2023;5:1291132. doi: 10.3389/fdgth.2023.1291132. Sun G Zhou YH AI in Healthcare: Navigating Opportunities and Challenges in Digital Communication Front Digit Health 2023 5 1291132 10.3389/fdgth.2023.1291132 33. Sauerbrei A, Kerasidou A, Lucivero F, Hallowell N. The Impact of Artificial Intelligence on the Person-Centred, Doctor-Patient Relationship: Some Problems and Solutions. BMC Med Inform Decis Mak. 2023;23(1):73. doi: 10.1186/s12911-023-02162-y. Sauerbrei A Kerasidou A Lucivero F Hallowell N The Impact of Artificial Intelligence on the Person-Centred, Doctor-Patient Relationship: Some Problems and Solutions BMC Med Inform Decis Mak 2023 23 1 73 10.1186/s12911-023-02162-y 34. Wang G, Gao K, Liu Q, Wu Y, Zhang K, Zhou W, et al. Potential and Limitations of ChatGPT 3.5 and 4.0 as a Source of COVID-19 Information: Comprehensive Comparative Analysis of Generative and Authoritative Information. J Med Internet Res. 2023;25:e49771. doi: 10.2196/49771. Wang G Gao K Liu Q Wu Y Zhang K Zhou W et al Potential and Limitations of ChatGPT 3.5 and 4.0 as a Source of COVID-19 Information: Comprehensive Comparative Analysis of Generative and Authoritative Information J Med Internet Res 2023 25 e49771 10.2196/49771 35. Tang Y, Xiao Z, Li X, Zhang Q, Chan EW, Wong IC, et al. Large Language Model in Medical Information Extraction from Titles and Abstracts with Prompt Engineering Strategies: A Comparative Study of GPT-3.5 and GPT-4 [Internet]. medRxiv; 2024 [cited 2025 Feb 28]. p. 2024.03.20.24304572. Available from: https://www.medrxiv.org/content/10.1101/2024.03.20.24304572v1 Tang Y Xiao Z Li X Zhang Q Chan EW Wong IC et al Large Language Model in Medical Information Extraction from Titles and Abstracts with Prompt Engineering Strategies: A Comparative Study of GPT-3.5 and GPT-4 Internet medRxiv 2024 cited 2025 Feb 28 2024.03.20.24304572 https://www.medrxiv.org/content/10.1101/2024.03.20.24304572v1 36. Zhou J, Gandomi AH, Chen F, Holzinger A. Evaluating the Quality of Machine Learning Explanations: A Survey on Methods and Metrics. Electronics. 2021;10(5):593. doi: 10.3390/electronics10050593. Zhou J Gandomi AH Chen F Holzinger A Evaluating the Quality of Machine Learning Explanations: A Survey on Methods and Metrics Electronics 2021 10 5 593 10.3390/electronics10050593 37. Johri S, Jeong J, Tran BA, Schlessinger DI, Wongvibulsin S, Barnes LA, et al. An Evaluation Framework for Clinical Use of Large Language Models in Patient Interaction Tasks. Nat Med. 2025;31(1):77-86. doi: 10.1038/s41591-024-03328-5. Johri S Jeong J Tran BA Schlessinger DI Wongvibulsin S Barnes LA et al An Evaluation Framework for Clinical Use of Large Language Models in Patient Interaction Tasks Nat Med 2025 31 1 77 86 10.1038/s41591-024-03328-5

Não há vinculação deste estudo a programas de pós-graduação.

Este artigo não contém estudos com humanos ou animais realizados por nenhum dos autores.

Durante a preparação deste trabalho, o(s) autor(es) usaram ChatGPT e Grammarly para aprimorar comandos e corrigir gramática e pontuação. Após o uso desta ferramenta/serviço, o(s) autor(es) revisaram e editaram o conteúdo conforme necessário e assumem total responsabilidade pelo conteúdo do artigo publicado.

Os conteúdos subjacentes ao texto da pesquisa estão contidos no manuscrito.

O presente estudo não teve fontes de financiamento externas.

Para informação adicional do Material Suplementar 1, por favor, clique aqui.

Para informação adicional do Material Suplementar 2, por favor, clique aqui.

10.36660/abc.20250498i Original Article Assessment of ChatGPT-4.0 versus ChatGPT-Mini in Generating Guideline-Based Hypertension Content 0000-0002-4570-869X Ataídes Rômullo José Costa Conception and design of the research Acquisition of data Analysis and interpretation of the data and Statistical analysis Writing of the manuscript Critical revision of the manuscript for content 1 Campos Marcos Adriano Garcia Conception and design of the research Acquisition of data Analysis and interpretation of the data and Statistical analysis Writing of the manuscript Critical revision of the manuscript for content 2 Souza João Vítor Perez de Analysis and interpretation of the data and Statistical analysis Critical revision of the manuscript for content 2 Rocha Rafael Cardoso Writing of the manuscript Critical revision of the manuscript for content 3 0009-0008-7777-6727 Lacalle Almir Alamino Writing of the manuscript Critical revision of the manuscript for content 3 Vieira Ciro Bezerra Writing of the manuscript Critical revision of the manuscript for content 1 0000-0001-6242-0885 Artioli Thiago Writing of the manuscript Critical revision of the manuscript for content 4 0000-0001-5610-7921 Medeiros Tiago Cordeiro Writing of the manuscript Critical revision of the manuscript for content 5 0000-0002-0381-3344 Souza Erito Marques de Filho Writing of the manuscript Critical revision of the manuscript for content 6 7 0000-0002-0884-4190 Gismondi Ronaldo Writing of the manuscript Critical revision of the manuscript for content 7 0000-0002-6352-3330 Campana Érika Maria Gonçalves Writing of the manuscript Critical revision of the manuscript for content 8 0000-0003-1261-5785 Romeo Francisco José Writing of the manuscript Critical revision of the manuscript for content 9 Razuk Victor Writing of the manuscript Critical revision of the manuscript for content 9 Vissoci João Ricardo Nickenig Conception and design of the research Writing of the manuscript Critical revision of the manuscript for content 2 Lopes Renato Delascio Conception and design of the research Writing of the manuscript Critical revision of the manuscript for content 10 Brazil Faculdade de Medicina da Universidade de São Paulo, São Paulo, SP – Brazil USA Departamento de Medicina de Emergência - Duke University, Durham – USA Brazil Divisão de Cardiologia do Hospital das Clínicas de Ribeirão Preto da Universidade de São Paulo, Ribeirão Preto, SP – Brazil Brazil Instituto Dante Pazzanese de Cardiologia, São Paulo, SP – Brazil Brazil Hospital Universitário - Universidade Federal do Maranhão, São Luís, MA – Brazil Brazil Universidade Federal Rural do Rio de Janeiro, Seropédica, RJ – Brazil Brazil Universidade Federal Fluminense, Niterói, RJ – Brazil Brazil Universidade do Estado do Rio de Janeiro, Rio de Janeiro, RJ – Brazil USA Departamento de Medicina Cardiovascular – University of Miami Miller School of Medicine/Jackson Memorial Hospital, Miami – USA USA Duke Clinical Research Institute Cardiology, Durham – USA Rômullo José Costa Ataídes Av. Dr. Arnaldo, 455. Postal Code 01246-903, Cerqueira César, Pacaembu, SP – Brazil E-mail: romulloataides2@hotmail.com

Gláucia Maria Moraes de Oliveira

No potential conflict of interest relevant to this article was reported.

 Abstract Background

Artificial intelligence (AI) language models are increasingly used to generate patient education materials. However, their accuracy, completeness, and adherence to clinical guidelines remain uncertain.

 Objectives

To compare ChatGPT-Mini and ChatGPT-4.0 in the generation of hypertension education content with respect to accuracy, completeness, structural quality using the Ensuring Quality Information for Patients (EQIP), response consistency, and alignment with established guidelines.

 Methods

A standardized set of 31 hypertension-related questions was submitted to both models. Outputs were independently evaluated by 10 blinded clinicians using a modified EQIP score, a 5-point accuracy scale, and a 3-point completeness scale. Response consistency was assessed using BERTScore. Between-model comparisons were performed using the two-sided Wilcoxon rank-sum test (p < 0.05). Effect sizes were reported as Hodges–Lehmann (HL) median differences and Cliff’s delta (δ), both with 95% CIs. Inter-rater reliability was estimated using the intraclass correlation coefficient (ICC; two-way random effects model, absolute agreement).

 Results

Central tendency measures favored ChatGPT-4.0, although differences were small. Median scores were as follows: accuracy, 4.10 (3.70-4.20) versus 3.73 (3.60-4.05); completeness, 1.26 (1.17-1.41) versus 1.10 (0.96-1.23); and total EQIP score, 19.5 (18.0-25.0) versus 18.5 (16.0-23.0) for ChatGPT-4.0 and ChatGPT-Mini, respectively. HL median differences were small, with 95% CIs crossing zero (accuracy: +0.37, −0.25 to +0.50; completeness: +0.16, −0.06 to +0.36; EQIP: +1.0, −1.0 to +6.0). Cliff’s δ values were consistently small and positive across primary outcomes, indicating only modest stochastic dominance of ChatGPT-4.0. Identification clarity tended to be higher with ChatGPT-4.0, whereas response consistency measured by BERTScore F1 was generally higher for ChatGPT-Mini (> 0.92 versus 0.885-0.932). Inter-rater reliability was good to excellent across all measures (ICC > 0.80).

 Conclusions

ChatGPT-4.0 demonstrated small, non-significant improvements in accuracy, completeness, and structural quality compared with ChatGPT-Mini. Effect sizes were modest, and all 95% CIs included zero. ChatGPT-Mini produced more consistent responses. These findings underscore the importance of routinely reporting effect sizes with 95% CIs and support the use of standardized evaluation methods and real-time validation frameworks for AI-generated medical education content.

Assessment of ChatGPT-4.0 versus ChatGPT-Mini in Generating Guideline-Based Hypertension Content CC: American College of Cardiology; AHA: American Heart Association; AI: artificial intelligence; EQIP: Ensuring Quality Information for Patients; ESC: European Society of Cardiology; ESH: European Society of Hypertension; ICC: intraclass correlation coefficient.

Keywords Artificial Intelligence Hypertension Patient Education as Topic Introduction

The use of artificial intelligence (AI) in hypertension management offers substantial potential.1,2 However, current evidence indicates that its use remains insufficiently systematized, particularly regarding evaluation criteria and patient-centered approaches.3,4 For example, AI-driven tools such as chatbots have demonstrated utility in supporting hypertension self-management, yet existing studies consistently highlight the need for more robust evaluation frameworks and clearer, more consistent guidance for patients.5

Almagazzachi et al. investigated the use of generative AI for patient education in hypertension and reported that, despite providing meaningful support, these tools show inconsistencies in alignment with established clinical guidelines, including those of the European Society of Hypertension (ESH).6 In addition, variability in chatbot performance across different languages has been documented, further emphasizing the necessity for standardized methodologies to ensure accuracy, reliability, and guideline adherence.7 Adopting a user-centered approach in the development of AI solutions for hypertension management may enhance systematization and improve patient outcomes.5 Therefore, although AI demonstrates considerable promise in this field, a more structured and patient-focused framework is required to fully realize its potential in hypertension care.8

Several studies have attempted to systematize the evaluation of AI-generated educational information for patients.9,10 Nevertheless, these efforts have not incorporated a systematic process for developing evaluation questions based on expert consensus.11

The present study aims to assess the performance of two ChatGPT model versions, ChatGPT-Mini and ChatGPT-4.0, in generating hypertension-related medical content. Validated instruments were used to evaluate the quality of patient information and to examine the strengths and limitations of AI in medical education and patient care.11,12 Furthermore, by applying a structured and standardized evaluation of AI-generated responses, this study seeks to identify areas in which AI-produced content may be deficient, thereby providing relevant insights to inform future AI development in health care.13 This systematic approach enables an assessment of how effectively AI models deliver accurate, patient-centered educational materials and supports the refinement of AI-based strategies for medical information dissemination.

 Methods Study design

This study employed a survey-based design (Figure 1). Questions addressing the diagnosis, treatment, and prognosis of hypertension were submitted to ChatGPT-Mini and ChatGPT-4.0 (Supplementary Table 1). The generated responses were compared with recommendations from the 2023 ESH guidelines and the 2017 American College of Cardiology/American Heart Association (ACC/AHA) hypertension guidelines. All responses were evaluated by independent cardiologists and cardiology fellows.

– Study flowchart for the evaluation of artificial intelligence-generated hypertension content. ACC: American College of Cardiology; AHA: American Heart Association; EQIP: Ensuring Quality Information for Patients; ESH: European Society of Hypertension.

Data collection

The research team developed 31 questions related to hypertension (Table 1; see Supplementary Material 1 for additional details). The content and structure of each question were guided by the Ensuring Quality Information for Patients (EQIP) score.14 The EQIP score is a validated tool designed to assess the quality of information provided to patients in health care settings, with a focus on accuracy, reliability, and usefulness in supporting informed health-related decision-making.

Each question was submitted 10 times in English to both ChatGPT versions between July 25 and July 30, 2024. All responses were systematically recorded by initiating new conversations using unconditional prompts in temporary chat mode. In cases in which the response format did not adequately address the original question, the prompt “Be specific and incorporate medical knowledge about hypertension from the guideline of hypertension from AHA/ACC 2017 and ESH 2023” was appended to the conversation as needed.

 Expert rating of GPT responses

A total of 10 physicians (five cardiologists and five cardiology fellows) from multiple institutions in Brazil and the United States independently evaluated the responses generated by ChatGPT (Figure 2). Evaluators received written instructions detailing how to interpret the responses, apply the evaluation criteria, and compare the content with the 2017 ACC/AHA and 2023 ESH hypertension guidelines. Although evaluators were permitted to consult the guidelines, they were encouraged to rely on their clinical expertise when assessing response quality.

– Example of the evaluation of artificial intelligence-generated hypertension responses. EQIP: Ensuring Quality Information for Patients.

All evaluators were blinded to the source of the responses and were unaware of whether the content had been generated by ChatGPT-Mini or ChatGPT-4.0. Ratings were collected using surveys created in REDCap (Supplementary Material 1).

 Measures

Based on guideline-derived information and clinical knowledge, evaluators classified each response using three components: the EQIP score to assess overall information quality and two Likert-type scales to independently assess accuracy and completeness (Supplementary Material 1).

The EQIP score was adapted for the evaluation of responses generated by ChatGPT. It consists of criteria covering three domains: content (assessing accuracy, relevance, and comprehensiveness), identification (evaluating clarity and ease of identifying information), and data structure (examining organization, readability, and presentation of information). The modified EQIP instrument allows a maximum score of 31 points, distributed across the content (maximum 16 points), identification (maximum 5 points), and structural data (maximum 10 points) domains.

Each EQIP criterion was scored using a three-point system: 1 (correct response), 0.5 (partially correct response), or 0 (incorrect response). The total EQIP score was calculated as the sum of points across all criteria, with higher scores indicating higher-quality information. For all responses, one point was automatically awarded for the item “Can you date the above-named information?”, as this element could potentially reveal the version of ChatGPT being evaluated.

Accuracy was assessed using a five-point scale: completely incorrect (no correct information and contradictory to hypertension guidelines); more incorrect than correct (predominantly incorrect and largely inconsistent with guidelines); approximately correct and incorrect (a similar proportion of correct and incorrect information, partially aligned with guidelines); more correct than incorrect (predominantly correct and generally aligned with guidelines); and completely correct (fully accurate, comprehensive, and entirely consistent with hypertension guidelines).

Completeness was evaluated using a three-point scale reflecting how thoroughly each response addressed the question: incomplete (key aspects missing or insufficiently addressed); adequate (all requested aspects addressed with the minimum information required); and comprehensive (all aspects addressed with additional relevant context beyond expectations).

Response consistency across the 10 repetitions of each question was assessed using BERTScore, which quantifies semantic similarity based on precision, recall, and F1 scores. Results were presented graphically to compare content similarity across responses.15

 ChatGPT sampling

The minimum number of raters required to achieve an intraclass correlation coefficient (ICC) of 0.8, with a precision of ± 0.1 and a 95% CI, when evaluating the 31 items generated by each ChatGPT version, was estimated to be 10.

 Statistical analysis

The distribution of continuous variables was assessed using the Shapiro–Wilk test. As all continuous variables exhibited non-normal distributions, data are presented as medians and interquartile ranges (IQRs). Comparisons between ChatGPT-Mini and ChatGPT-4.0 were performed using the Wilcoxon rank-sum test (two-sided, p < 0.05).

Effect sizes were reported with 95% CIs, including Hodges–Lehmann median differences to estimate location shifts and Cliff’s delta (δ) to assess stochastic dominance. 95% CIs were derived using Walsh averages or nonparametric bootstrap methods, as appropriate. Inter-rater agreement among evaluators was quantified using ICC (two-way random effects model, absolute agreement), with 95% CIs.

Comparisons between ChatGPT-4.0 and ChatGPT-Mini across accuracy, completeness, and EQIP domains were conducted using Cliff’s delta, with δ values greater than 0 indicating superiority of ChatGPT-4.0. All estimates are reported with 95% CIs, and statistical significance was defined as p < 0.05. Statistical analyses were performed using R (version 4.2.2). BERTScore analyses were conducted in Google Colab using the bert-score package.

 Results Study sample and data inclusion

All responses generated by ChatGPT-Mini and ChatGPT-4.0 were included in the analysis, with no exclusions or missing data. The standardized set of 31 questions was applied uniformly to both models. Across the 10 repetitions per question, no instances of AI hallucination were identified. In addition, no follow-up prompts were required to clarify responses, as all outputs adequately addressed the original questions.

 Accuracy and completeness

As shown in Table 2, both models achieved high scores for accuracy and completeness. Median values were numerically higher for ChatGPT-4.0; however, no statistically significant differences were observed between the two models for either outcome.

 Overall quality (EQIP scores)

The EQIP score, which integrates content, identification, and structural domains, indicated broadly comparable overall quality between the two models. As presented in Table 2, ChatGPT-4.0 tended to achieve numerically higher total EQIP scores as well as higher content and identification subscores, compared with ChatGPT-Mini. Structural scores were very similar between models, resulting in comparable overall EQIP totals.

Effect-size analyses using Cliff’s δ favored ChatGPT-4.0 across all EQIP domains; however, all corresponding 95% CIs included zero (Table 3), indicating that these differences were not statistically robust. Figure 3 illustrates the distribution of EQIP scores across domains for each model, demonstrating generally favorable evaluations by raters for content, identification, and structure. In this figure, each horizontal line corresponds to an individual EQIP item: items 1-16 represent content, items 17-20 represent identification, and items 21-30 represent structure. Across all items, both models received consistently favorable and largely comparable ratings.

– Modified EQIP score–based comparison of ChatGPT responses across hypertension questions. Responses generated by ChatGPT-Mini and ChatGPT-4.0 across 30 hypertension-related questions were evaluated using a modified EQIP score. Responses were classified as 1 (correct), 0.5 (partially correct), or 0 (incorrect). The x-axis represents the proportion of responses in each category, and the y-axis lists the evaluated questions. EQIP: Ensuring Quality Information for Patients.

BERTScore evaluations

BERTScore analyses revealed differences between models in precision, recall, and response consistency. ChatGPT-Mini consistently demonstrated higher F1 scores, frequently exceeding 0.92, whereas ChatGPT-4.0 exhibited F1 scores ranging from 0.8851 to 0.9316 (see Supplementary Material 2).

For precision, ChatGPT-Mini achieved a score of 0.9356 compared with 0.8643 for ChatGPT-4.0 in response to a question regarding the definition of hypertension. Similarly, for recall, ChatGPT-Mini scored 0.9558, whereas ChatGPT-4.0 scored 0.9330 in a related follow-up question.

Overall, ChatGPT-Mini showed greater consistency in response stability, with F1 scores rarely falling below 0.90. In contrast, ChatGPT-4.0 demonstrated greater variability, including an F1 score of 0.8757 in response to a question addressing non-pharmacological treatments for hypertension.

 Inter-rater reliability

Inter-rater reliability was consistently high across all evaluated metrics, with ICCs exceeding 0.80 for both models.

For EQIP scores, ICCs were 0.844 (95% CI, 0.677-0.952) for ChatGPT-Mini and 0.840 (95% CI, 0.665-0.951) for ChatGPT-4.0. For accuracy scores, ICCs were 0.742 (95% CI, 0.456-0.922) for ChatGPT-Mini and 0.688 (95% CI, 0.339-0.906) for ChatGPT-4.0. For completeness scores, ICCs were identical for both models at 0.824 (95% CI, 0.627-0.947 for ChatGPT-Mini and 0.628-0.947 for ChatGPT-4.0).

These ICC values indicate moderate to strong inter-rater agreement, supporting the reliability of the evaluation methodology used in this study. Overall, the findings suggest superior performance of ChatGPT-4.0 across key quality metrics (Central Illustration).

 Discussion

As AI becomes increasingly integrated into patient education, persistent concerns remain regarding the accuracy, completeness, and consistency of AI-generated medical information. Although AI holds substantial potential to improve health care accessibility, its capacity to deliver reliable, guideline-adherent content remains a critical challenge, particularly in the management of chronic conditions such as hypertension. In this study, we systematically evaluated the performance of ChatGPT-Mini and ChatGPT-4.0 in generating patient-centered hypertension education, with a focus on guideline alignment, informational quality, and response consistency.

Our findings indicate that ChatGPT-4.0 demonstrated incremental improvements over ChatGPT-Mini in accuracy, completeness, and response structure. However, these differences were modest and did not reach statistical significance, likely reflecting small effect sizes. ChatGPT-4.0 achieved a slightly higher mean accuracy score than ChatGPT-Mini (4.02 ± 0.35 vs 3.86 ± 0.45), along with a higher median completeness score (1.26 vs 1.10). Despite these numerical gains, both models showed notable limitations in content completeness. These observations are consistent with prior studies reporting that newer AI models improve linguistic coherence and structural organization11 but may still lack sufficient depth and specificity when addressing complex clinical recommendations.16,17

To evaluate the quality of AI-generated medical content systematically, we applied established assessment instruments, including the EQIP score and Likert-type scales. The EQIP score, originally developed to assess written patient education materials,18 provided a structured framework for evaluating clarity, relevance, and reliability in AI-generated responses.14 Although EQIP has not been formally validated for AI-generated content, its use in this study highlights the growing need for standardized evaluation frameworks tailored to AI-driven health care communication. Likert scales further supported the assessment of perceived accuracy and completeness, capturing professional judgments regarding the trustworthiness of AI-generated information.12

ChatGPT-4.0 achieved a slightly higher overall EQIP score than ChatGPT-Mini (21.4 ± 3.7 vs 19.5 ± 4.0), suggesting modest improvements in the quality of hypertension-related educational content. The most pronounced differences were observed in the content domain (9.15 ± 2.32 vs 8.35 ± 2.32) and the identification domain (3.80 ± 1.14 vs 2.85 ± 1.08), reflecting improved comprehensiveness and transparency. Nevertheless, these differences were not statistically significant, indicating that enhancements in presentation and structure may not consistently translate into more reliable or guideline-adherent content.19

When examining the proportion of fully correct responses, ChatGPT-4.0 outperformed ChatGPT-Mini, producing correct answers (score = 1) in approximately 70%-80% of evaluated questions, compared with fewer than 50% for ChatGPT-Mini. Despite this improvement, adherence to established hypertension guidelines, including the 2017 ACC/AHA and 2023 ESH recommendations, remained inconsistent. Although both models generally aligned with core guideline principles, responses frequently lacked clinical specificity or deviated from evidence-based standards. This pattern mirrors findings from broader evaluations of AI-generated patient education, where reported accuracy rates range from 71.7% to 94.3%, yet deficits in depth and clinical precision remain common.20 ChatGPT-Mini demonstrated a higher proportion of incorrect or partially correct responses, particularly for questions requiring detailed clinical explanations. ChatGPT-4.0 reduced the frequency of incomplete responses to below 20% for most variables; however, 10%-30% of responses still fell into lower-quality categories, underscoring persistent informational gaps.

These findings are consistent with a previous study evaluating ChatGPT-4.0 across five hepato-pancreatico-biliary conditions, which reported a median EQIP score of 16 (IQR, 14.5-18), indicating substantial deficiencies in citation accuracy and structural coherence.10 While our study observed higher EQIP scores for hypertension-related content, both investigations highlight the continued limitations of AI models in fully aligning with evidence-based medical recommendations. Importantly, although newer models may improve readability and organization, their factual accuracy does not appear to have advanced proportionally.21 This reinforces the need for rigorous validation processes and ongoing human oversight to ensure that improvements in clarity do not compromise adherence to clinical guidelines.20,22

Despite these limitations, ChatGPT-4.0 demonstrates potential as a supplementary tool for patient education in hypertension management. Its capacity to rapidly generate guideline-informed explanations may reduce the informational burden on health professionals, particularly for initial discussions of treatment strategies and lifestyle interventions.19,20 Prior research suggests that better-informed patients are more likely to adhere to prescribed therapies, potentially improving outcomes in chronic conditions such as hypertension.23,24 Nevertheless, AI-generated content alone may not yet provide sufficiently comprehensive or actionable guidance, especially given ongoing public skepticism toward AI applications in health care.25-27

A critical concern in AI-generated medical content is the phenomenon of “hallucinations,” in which models produce plausible but incorrect information. Notably, no hallucinations were identified in either model across the 10 repeated interactions in this study, which suggests reliable performance within this specific clinical domain. However, previous studies indicate that hallucinations remain a broader risk in health care AI, particularly for complex or less well-defined topics.28,29 This risk, combined with known sensitivity to prompt design, underscores the continued importance of clinician oversight in clinical and educational settings.30

AI is also increasingly influencing the development of clinical guidelines and patient communication by facilitating the generation of clinical questions and supporting real-time interactions. AI-driven systems have shown promise in prioritizing clinical recommendations and streamlining information delivery.31,32 Nonetheless, inconsistent adherence to clinical standards remains a major limitation, necessitating ongoing refinement of these technologies.33

Response consistency was further evaluated using BERTScore metrics, which quantify semantic similarity across repeated responses. ChatGPT-Mini demonstrated greater response stability, achieving higher precision (0.9356 vs 0.8643) and recall (0.9558 vs 0.9330) than ChatGPT-4.0. In contrast, ChatGPT-4.0 exhibited greater variability, with F1 scores ranging from 0.8851 to 0.9316. These findings suggest that ChatGPT-Mini may be better suited for structured patient education materials requiring high consistency, whereas ChatGPT-4.0’s variability may enhance engagement in more dynamic, conversational contexts. Similar patterns have been reported in prior studies, where newer models prioritize flexibility at the expense of strict consistency.34,35

Finally, inter-rater reliability was high across all evaluated domains, with ICC values exceeding 0.80 for EQIP, accuracy, and completeness scores. This strong agreement among evaluators supports the robustness of the assessment methodology and indicates that observed differences reflect genuine variations in model performance rather than rater subjectivity.

In summary, this study contributes to the growing literature on the role of AI in health care communication and patient education. While advances in AI models have improved clarity and structural organization, ensuring accuracy, consistency, and guideline adherence remains essential for their safe integration into clinical practice.26,36 Our findings highlight the urgent need for standardized, rigorous evaluation frameworks for AI-generated medical content. Emerging approaches, such as structured assessment models including the Conversational Reasoning Assessment Framework for Testing in Medicine, may offer valuable tools for systematically evaluating AI performance in health care contexts.37 Future research should focus on real-time validation mechanisms that dynamically link AI-generated responses to up-to-date clinical guidelines and promote interdisciplinary collaboration among clinicians, AI developers, and regulatory authorities to establish robust ethical, safety, and quality standards for AI use in health care.25

Study limitations

Although this study provides relevant insights into the performance of ChatGPT-Mini and ChatGPT-4.0 in patient education, several limitations should be acknowledged. First, the analysis was restricted to a single clinical domain, hypertension, which limits the generalizability of the findings to other medical conditions. Because AI performance may vary across specialties, future investigations should evaluate AI-generated content across a broader range of clinical topics.

Second, despite the use of structured evaluation tools such as EQIP and BERTScore, the assessment relied on expert human judgment, which is inherently subjective, even with standardized rating criteria. Variability in expert interpretation may have influenced scoring, underscoring the need for complementary automated and consensus-based validation approaches in future research.

Third, the evaluation was limited to English-language outputs, thereby restricting applicability to non–English-speaking populations. As prior studies have demonstrated variability in AI performance across languages, further research is warranted to assess linguistic differences in AI-generated medical content and to ensure equitable access to accurate patient education globally.

In addition, the AI models were assessed in a controlled, static testing environment and were not exposed to real-world patient interactions or iterative feedback. AI-generated medical content is inherently dynamic, influenced by model updates and evolving clinical guidelines. Future studies should incorporate real-time validation strategies that continuously benchmark AI outputs against current clinical standards to maintain accuracy and relevance.

Finally, this study focused exclusively on ChatGPT-Mini and ChatGPT-4.0. Other large language models with distinct architectures and training paradigms (e.g., Claude, Gemini, and Med-PaLM) may demonstrate different performance characteristics. Comparative evaluations involving multiple AI systems are therefore necessary to more comprehensively define the role of AI in patient education.

 Conclusion

This study demonstrates that although ChatGPT-4.0 offers improved structural coherence compared with ChatGPT-Mini, it does not produce statistically significant gains in factual completeness or response consistency. These findings highlight the importance of implementing standardized evaluation frameworks, real-time validation mechanisms, and continued human oversight to support the safe and effective use of AI in patient education.

Future research should emphasize dynamic validation strategies and the development of universally accepted evaluation standards to ensure that medical AI systems remain clinically reliable and ethically responsible. While AI technologies have the potential to enhance health care accessibility, human supervision remains essential to prevent misinformation and preserve patient trust. Ultimately, the responsible integration of AI into medical practice will depend on sustained interdisciplinary collaboration to uphold rigorous standards of accuracy, safety, and ethical integrity.

 Supplemental Materials

This study is not associated with any thesis or dissertation work.

This article does not contain any studies with human participants or animals performed by any of the authors.

During the preparation of this work, the author(s) used ChatGPT and Grammaly for refining commands and correcting grammar, punctuation. After using this tool/service, the author(s) reviewed and edited the content as needed and take full responsibility for the content of the published article.

The underlying content of the research text is contained within the manuscript.

There were no external funding sources for this study.

For additional information Supplemental Material 1, please click here.

For additional information Supplemental Material 2, please click here.