Arq Bras Cardiol abc Arquivos Brasileiros de Cardiologia Arq. Bras. Cardiol. 0066-782X 1678-4170 Sociedade Brasileira de Cardiologia - SBC XVyRRmkytVYdx8hM6nd7qwM S0066-782X2025001100310 00310 10.36660/abc.20250136 Artigo Original Um Novo Escore de Risco Baseado em Aprendizado de Máquina (Machine Learning) em Pacientes com Insuficiência Cardíaca Aguda: O Escore ML-HF 0009-0003-4069-8781 Ferreira Matheus Bissa Duarte Concepção e desenho da pesquisa Obtenção de dados Análise e interpretação dos dados Análise estatística Redação do manuscrito 1 0000-0002-2385-0361 Daikubara Jorge Tadashi Neto Concepção e desenho da pesquisa Obtenção de dados Análise e interpretação dos dados Análise estatística Redação do manuscrito 1 Cunha Gustavo S. Pereira da Obtenção de dados Revisão crítica do manuscrito quanto ao conteúdo 1 Moretti Rafael Obtenção de dados 1 Reichert Jessica Tamires Obtenção de dados 1 Prado Lucas Müller Obtenção de dados 1 Cirino Raphael Henrique Déa Revisão crítica do manuscrito quanto ao conteúdo 1 Smith Sidney C Jr Revisão crítica do manuscrito quanto ao conteúdo 2 0000-0003-0674-5997 Taniguchi Fábio Papa Concepção e desenho da pesquisa Obtenção de financiamento Revisão crítica do manuscrito quanto ao conteúdo 3 Sposito Andrei C. Revisão crítica do manuscrito quanto ao conteúdo 4 Silvestre Odilson M. Revisão crítica do manuscrito quanto ao conteúdo 5 Nadruz Wilson Revisão crítica do manuscrito quanto ao conteúdo 5 0000-0002-0095-9049 Fernandes-Silva Miguel Morita Concepção e desenho da pesquisa Análise e interpretação dos dados Redação do manuscrito Revisão crítica do manuscrito quanto ao conteúdo 1 Universidade Federal do Paraná Curitiba PR Brasil Universidade Federal do Paraná, Curitiba, PR – Brasil University of North Carolina At Chapel Hill Chapel Hill North Carolina EUA University of North Carolina At Chapel Hill, Chapel Hill, North Carolina – EUA Hospital do Coração São Paulo SP Brasil Hospital do Coração (HCor), São Paulo, SP – Brasil Universidade Estadual de Campinas Campinas SP Brasil Universidade Estadual de Campinas, Campinas, SP – Brasil Universidade Federal do Acre Rio Branco AC Brasil Universidade Federal do Acre, Rio Branco, AC – Brasil Miguel Morita Fernandes-Silva Universidade Federal do Paraná – Rua General Carneiro, 181, 10º andar. CEP 80060-900, Curitiba, PR – Brasil E-mail: miguelmorita@ufpr.br

Gláucia Maria Moraes de Oliveira

Não há conflito com o presente artigo.

 16 01 2026 11 2025 122 11 e20250136 24 02 2025 18 06 2025 28 07 2025 Este é um artigo de acesso aberto distribuído sob os termos da licença de atribuição pelo Creative Commons Resumo Fundamento

Os escores de avaliação prognóstica convencionais muitas vezes não têm desempenho suficiente para prever a mortalidade em pacientes com insuficiência cardíaca aguda (ICA).

 Objetivo

Desenvolver e validar um escore prognóstico baseado em aprendizado de máquina (Machine Learning - escore ML-HF) para prever morte hospitalar em pacientes com ICA e comparar seu desempenho com os principais escores tradicionais.

 Métodos

Pacientes admitidos por ICA em hospitais brasileiros do “Programa de Boas Práticas em Cardiologia” de 2016 a 2022 foram incluídos. Dados clínicos, resultados laboratoriais e o questionário de Qualidade de Vida da Organização Mundial da Saúde (World Health Organization Quality of Life) WHOQOL-Bref foram coletados na admissão hospitalar. O desfecho foi óbito hospitalar. O modelo foi treinado usando 70% das admissões (conjunto de treinamento) e validado com os 30% restantes (conjunto de teste). A área sob a curva ROC (AUC) do escore ML-HF foi comparada com a AUC dos escores tradicionais Acute Decompensated Heart Failure National Registry (ADHERE) e Get With the Guidelines–Heart Failure (GWTG-HF). O nível de significância foi de p < 0,05.

 Resultados

Foram incluídos mil cento e cinquenta e sete pacientes hospitalizados por ICA. As cinco variáveis mais importantes do escore ML-HF foram: Qualidade do Domínio de Saúde Física (WHOQOL-BREF), sódio sérico, ureia sérica, creatinina sérica e pressão arterial sistólica na admissão hospitalar. No conjunto de teste, o escore ML-HF apresentou calibração de modelo adequada (valor de p do teste de Hosmer-Lemeshow = 0,056) e discriminação (AUC = 0,722 [IC95%, 0,661-0,783]), que foi superior aos escores GWTG-HF (AUC = 0,616 [IC95%, 0,529-0,702; p = 0,014]) e ADHERE (AUC = 0,601 [IC95%, 0,511-0,691; p = 0,006]).

 Conclusão

Desenvolvemos e validamos um escore usando aprendizado de máquina para prever morte hospitalar em pacientes com ICA, que superou os escores tradicionais.

Um Novo Escore de Risco Baseado em Aprendizado de Máquina (Machine Learning) em Pacientes com Insuficiência Cardíaca Aguda: O Escore ML-HF

Palavras-chave Insuficiência Cardíaca Aprendizado de Máquina Morte American Heart Association Hospital do Coração Ministério da Saúde O presente estudo foi financiado por American Heart Association, Hospital do Coração (HCor) e Ministério da Saúde. Introdução

A insuficiência cardíaca (IC) afeta 25 milhões de pessoas em todo o mundo e apresenta altas taxas de mortalidade e hospitalização. No Brasil, ocorrem aproximadamente 250.000 internações hospitalares por IC por ano, resultando em uma taxa de mortalidade hospitalar de 10,9%.1

As ferramentas de classificação de risco ajudam a direcionar recursos e medidas intensivas para pacientes de alto risco. No entanto, estimar o prognóstico dos pacientes na admissão ou durante a hospitalização tem sido desafiador no cenário da IC. Estudos anteriores desenvolveram escores, como o Acute Decompensated Heart Failure National Registry (ADHERE) e o Get With The Guidelines-Heart Failure (GWTG-HF), que podem ser derivados de umas poucas variáveis laboratoriais e clínicas, para predizer a mortalidade hospitalar nesses pacientes.2,3 Infelizmente, esses escores têm precisão abaixo do ideal e têm sido subutilizados na prática clínica.4,5

Uma alternativa a essas abordagens convencionais são os modelos baseados em aprendizado de máquina (Machine Learning - ML), que têm sido estudados nos últimos anos para o manejo de IC.6,7 A capacidade dos algoritmos de ML de analisar de forma mais profunda, multidimensional e não linear uma variedade de variáveis aumenta seu potencial para melhorar os modelos de estratificação de pacientes.7 Modelos baseados em ML foram construídos em pacientes com IC crônica e aguda usando registros médicos eletrônicos (RME), registros e ensaios clínicos.8 Esses modelos parecem ter precisão superior à dos escores tradicionais ADHERE e GWTG-HF.9 No entanto, a maioria desses estudos foi desenvolvida e validada em países de alta renda. Diferenças na população de pacientes, determinantes sociais e prestação de cuidados de saúde podem impedir a implementação desses modelos em países de baixa e média renda (PBMR). De fato, já foi demonstrado que a capacidade dos modelos de ML de prever desfechos de IC varia significativamente entre diferentes subgrupos étnicos e grupos socioeconômicos.10

Portanto, desenvolvemos e validamos um algoritmo baseado em ML para prever mortes hospitalares em pacientes com IC aguda, utilizando um amplo estudo de coorte em hospitais públicos no Brasil. Comparamos ainda o algoritmo final baseado em ML com os modelos ADHERE e GWTG.

 Métodos População

Trata-se de uma análise do programa “Boas Práticas em Cardiologia (BPC)”, adaptado da iniciativa “Get With The Guidelines” (GWTG) para melhorar a qualidade do atendimento cardiovascular e os desfechos dos pacientes com síndrome coronariana aguda, IC e fibrilação atrial em hospitais públicos brasileiros.11 Resumidamente, foram selecionados hospitais públicos terciários em todas as cinco macrorregiões brasileiras desde janeiro de 2016.12 Esses hospitais foram incluídos em um estudo quase experimental que implementou uma intervenção em nível institucional para melhorar a adesão às diretrizes e que avaliou seu impacto nas medidas de desempenho institucional. Dados sociodemográficos, clínicos, laboratoriais e ecocardiográficos foram coletados durante a admissão dos pacientes. Os pacientes também foram solicitados a preencher o questionário de Qualidade de Vida da Organização Mundial da Saúde (WHOQOL-Bref), que é um instrumento de 26 itens que consiste em quatro domínios: saúde física (7 itens), saúde psicológica (6 itens), relações sociais (3 itens) e saúde ambiental (8 itens). Os itens do WHOQOL-Bref consistem em escalas Likert de 5 pontos que, combinadas, fornecem cada domínio de saúde. O procedimento para calcular o WHOQOL-Bref foi descrito em detalhe em outro lugar.13Como parte do programa BPC, todos os participantes foram acompanhados com visitas na alta, um mês e seis meses. Este estudo foi aprovado pelo comitê de ética do Centro Coordenador (número 48561715.5.1001.0060) e de cada hospital participante. Todos os participantes assinaram um termo de consentimento livre e esclarecido para participação no estudo.

 Critérios de inclusão e exclusão

Para esta análise, foram incluídos pacientes com 18 anos ou mais internados com diagnóstico primário de IC aguda (códigos CID-10 I50; I50.0; I50.1 ou I50.9) entre 14/03/2016 e 07/12/2022 em qualquer hospital participante do programa BPC, que concordaram em participar do estudo e assinaram o termo de consentimento livre e esclarecido conforme ilustrado na Figura Central. Os participantes precisavam ter ficado hospitalizados por pelo menos 24 horas para serem elegíveis.

Excluímos pacientes transferidos para outro hospital ou com estado vital ausente na alta. Pacientes que estavam em lista de espera para transplante cardíaco ou em uso de dispositivo de assistência ventricular (DAV) também foram excluídos. Também excluímos pacientes com dados ausentes para as variáveis selecionadas do modelo (veja a seleção de variáveis abaixo).

Para construir e validar o modelo, dividimos o conjunto de dados em duas coortes: Coorte 1, pacientes internados de 16/01/2016 a 15/10/2021, e coorte 2, pacientes internados de 16/10/2021 a 07/12/2022. A coorte 1 foi utilizada nos processos de seleção de variáveis, construção do modelo e validação. A coorte 2 foi utilizada apenas para validação externa (veja Análise estatística para obter detalhes).

 Desfecho

O desfecho foi morte por qualquer causa durante a hospitalização índice.

Seleção de variáveis

Utilizamos todas as variáveis na admissão no modelo preditivo, que incluiu dados sociodemográficos, clínicos, laboratoriais e ecocardiográficos, juntamente com os escores derivados das respostas do questionário WHOQOL-Bref. Primeiramente, excluímos variáveis com mais de 40% de dados ausentes.14 Veja a tabela Tabela Suplementar S1 para todas as variáveis e respectivas taxas de dados ausentes. Em seguida, aplicamos o método de ML “Boruta” no conjunto de treinamento (veja abaixo) para detectar automaticamente as variáveis mais relevantes que foram selecionadas para o algoritmo de treinamento. O método Boruta gera uma distribuição de probabilidade binomial do número de vezes que uma variável excede a importância de uma variável fictícia criada, que tem um valor aleatório (não preditivo).15 As variáveis foram selecionadas se tivessem um valor de p < 0,05 na cauda superior da distribuição de probabilidade. Durante esse processo de seleção, aplicamos um método de imputação K-vizinhos mais próximos, selecionando os K vizinhos mais próximos (K = 5) com dados completos com base em uma distância de Gower e imputando o valor médio da variável completa aos vizinhos com valores ausentes.16

Após a seleção das variáveis mais relevantes, elas foram utilizadas para construir o algoritmo de ML no banco de dados não imputado. A Figura S1 ilustra o processo de seleção de variáveis (Figura Suplementar S1 ). Realizamos uma Análise de Casos Completos, incluindo apenas pacientes com dados completos para as variáveis selecionadas. Assim, pacientes com dados ausentes para qualquer uma das variáveis selecionadas foram excluídos (Figura 1).

– Fluxograma de pacientes incluídos na análise.

Análise estatística Estatísticas descritivas

As variáveis contínuas foram avaliadas quanto à normalidade por meio da inspeção visual dos histogramas, assimetria e curtose, e pela aplicação do teste de Kolmogorov-Smirnov. Os dados são apresentados como média ± desvio-padrão ou mediana (percentil 25 - percentil 75), conforme apropriado. As comparações entre os grupos foram realizadas utilizando o teste- t de Student não pareado para variáveis com distribuição normal e o teste U de Mann-Whitney para variáveis com distribuição anormal. As variáveis categóricas foram expressas como contagens e porcentagens e comparadas utilizando o teste exato de Fisher.

 Desenvolvimento e validação de modelos

A coorte 1 foi dividida aleatoriamente em conjuntos de treinamento (70%) e teste (30%). Este procedimento foi realizado por meio de amostragem aleatória gerada por computador, sem reposição, garantindo igual probabilidade de seleção de cada paciente. O conjunto de treinamento foi usado para treinamento do modelo e validação interna. O conjunto de teste combinou 30% da coorte 1 com a coorte 2 completa e foi usado para validação externa. Uma análise de sensibilidade foi realizada usando apenas a coorte 2 como conjunto de teste. Este processo é ilustrado na Figura 2.

– Fluxograma ilustrando a validação interna e externa do modelo de escore ML-HF.

Seleção de modelos

Utilizamos um método de validação cruzada de 5 etapas para selecionar o algoritmo de ML mais adequado. Este método consiste em subdividir o conjunto de treinamento em 5 grupos aleatórios. Quatro desses subconjuntos foram usados para treinar o modelo e o subconjunto restante para testá-lo. Trata-se de um processo iterativo que ocorre 5 vezes, alterando o subconjunto de teste, conforme ilustrado na Figura 2. O algoritmo com a melhor AUC média foi escolhido como modelo final.

 Desempenho de modelo

Para avaliar a discriminação do modelo, construímos as curvas ROC (Receiver Operating Characteristic) e comparamos a área sob a curva ROC (AUC) usando a morte hospitalar como desfecho. A calibração do modelo foi avaliada plotando a probabilidade prevista versus a observada de morte hospitalar em decis e calculando o teste de qualidade de ajuste de Hosmer-Lemeshow. Um valor de p < 0,05 indicou ajuste inadequado dos dados, enquanto valores de p mais altos indicaram calibração adequada.

 Comparação com escores tradicionais

Os escores ADHERE e GWTG-HF foram calculados para cada paciente. Como o escore GWTG-HF não fornece diretamente as probabilidades de morte, derivamos uma regressão logística de seus resultados numéricos.2,3 Comparamos a AUC-ROC entre os escores usando o teste de DeLong nos conjuntos de treinamento e teste.17

Seguimos a diretriz de Relatório Transparente de um Modelo de Predição Multivariável para Prognóstico ou Diagnóstico Individual (TRIPOD) para conduzir nossa pesquisa e escrever este artigo.18

Todas as análises e treinamento do modelo foram conduzidos usando o software R. Consideramos estatisticamente significativos valores de p < 0,05.

 Resultados

De janeiro de 2016 a dezembro de 2022, um total de 3.532 pacientes com IC aguda foram incluídos no programa BPC. Após a exclusão daqueles com DAV, na lista de espera para transplante ou sem estado vital na alta, 3.043 foram considerados elegíveis para o estudo (2.309 na coorte 1 e 734 na coorte 2, como visto na Figura 1).

Das 113 variáveis disponíveis na admissão, nove foram excluídas devido à ausência de mais de 40% de dados (Tabela Suplementar S1). O algoritmo de Boruta foi aplicado a 70% dos pacientes (n = 1.616) selecionados aleatoriamente da coorte 1, resultando em 17 variáveis selecionadas para construir o modelo de ML.

Dos 3.043 pacientes elegíveis, 1.157 foram incluídos na análise final devido à disponibilidade completa de dados para todas as 17 variáveis. O conjunto de treinamento consistiu em 621 pacientes, o que representou 70% dos 879 indivíduos da coorte 1, enquanto o conjunto de teste consistiu em 536 pacientes, compreendendo os 258 pacientes restantes da coorte 1 e 278 pacientes mais da coorte 2.

A taxa de mortalidade hospitalar foi de 10,1%, com um total de 117 óbitos entre os 1.157 pacientes examinados. A idade média desses pacientes foi de 61 ± 15 anos e a fração de ejeção do ventrículo esquerdo (FEVE) foi de 42 ± 17% e 58% eram do sexo masculino (Tabela 1). A Tabela 2 exibe as variáveis selecionadas no escore ML-HF e aquelas usadas nos escores ADHERE e GWTG para comparação.

– Características basais dos pacientes incluídos
Parâmetros Alta com vida (n=1040) Morte hospitalar (n=117) Valor-p
Idade, anos 61,3 ± 14,5 61,6 ± 14,4 0,829
Sexo feminino, n(%) 424 (40,8) 53 (45,3) 0,398
Raça branca, n(%) 674 (64,8) 78 (66,7) 0,766
Educação, n(%)
Analfabeto 84 (8,1) 9 (7,7) 0,242
Ensino fundamental incompleto 399 (38,4) 47 (40,2)
Ensino fundamental completo 148 (14,2) 26 (22,2)
Ensino médio incompleto 72 (6,9) 8 (6,8)
Ensino médio completo 225 (21,6) 20 (17,1)
Ensino superior incompleto 30 (2,9) 2 (1,7)
Ensino superior completo 82 (7,9) 5 (4,3)
Renda média, n(%)
≤ 1 salário-mínimo 721 (69,3) 97 (82,9) 0,009
Fumante, n(%)
Não 520 (50) 56 (47,9) 0,889
Atual 438 (42,1) 52 (44,4)
Passado 82 (7,9) 9 (7,7)
Alcoólatra, n(%)
Não 654 (62,9) 80 (68,4) 0,200
Atual 246 (23,7) 28 (23,9)
Passado 140 (13,5) 9 (7,7)
Etiologia da IC, n(%)
Isquêmica 200 (19,2) 22 (18,8) < 0,001
Doença de Chagas 95 (9,1) 13 (11,1)
Doença valvar 123 (11,8) 30 (25,6)
Outro 622 (59,8) 52 (44,4)
Prótese valvar, n(%) 338 (32,5) 52 (44,4) 0,013
Insuficiência renal crônica, n(%) 152 (14,6) 27 (23,1) 0,024
Hipotireoidismo, n(%) 77 (7,4) 19 (16,2) 0,002
FEVE, % 41,7 ± 17,1 41,90 ± 18,5 0,911
Diâmetro do átrio esquerdo, mm 45,8 ± 8,5 48,1 ± 9,4 0,005
Número de comorbidades† 4 (3 - 5) 4 (2 - 5) 0,665
Número de procedimentos cirúrgicos anteriores, n(%) ‡ 0,002
0 702 (67,5) 65 (55,6)
1 288 (27,7) 36 (30,8)
2 46 (4,4) 14 (12,0)
3 ou mais 4 (0,3) 2 (1,7)
Características clínicas na admissão
Perfil hemodinâmico, n(%) 0,020
A 78 (7,5) 8 (6,8)
B 797 (76,6) 77 (65,8)
C 130 (12,5) 25 (21,4)
L 35 (3,4) 7 (6,0)
Pressão arterial sistólica, mmHg 123 ± 29 115± 27 0,004
Pressão arterial diastólica, mmHg 76 ± 17 71 ± 16 0,001
Baixa perfusão periférica, n(%) 127 (12,2) 20 (17,1) 0,175
Ortopneia, n(%) 757 (74,6) 78 (70,9) 0,471
Ascite, n(%) 242 (24,6) 39 (35,5) 0,019
B3, n(%) 103 (10,3) 13 (11,5) 0,806
Edema periférico, n(%) 779 (75,6) 99 (85,3) 0,025
Resultados laboratoriais na admissão (níveis sanguíneos)
Creatinina, mg/dL 1,71 ± 1,51 1,93 ± 1,30 0,136
BUN, mg/dL 33,07 ± 22,8 46,0 ± 30,4 < 0,001
Sódio, mmol/L 136,6 ± 5,0 134,2 ± 6,9 < 0,001
Potássio, mmol/L 4,46 ± 0,77 4,66 ± 0,92 0,010
Hemoglobina, g/dL 12,6 ± 2,28 12,32 ± 2,4 0,207
Questionário WHOQOL-BREF
Domínio da saúde física 50,4 ± 19,4 39,5 ±15,8 < 0,001
Domínio de relações sociais 64,2 ± 16,5 61,1 ± 17,3 0,059
Saúde ambiental 58,9 ± 12,6 54,5 ± 12,9 <0,001
Saúde psicológica 77,3 ± 17,9 68,8 ± 18,0 <0,001

Variáveis categóricas são apresentadas como n (%) e variáveis contínuas como média ± desvio padrão ou mediana (percentil 25 - percentil 75). IC: insuficiência cardíaca; FEVE: fração de ejeção do ventrículo esquerdo; WHOQOL-BREF: Versão resumida do questionário de qualidade de vida da Organização Mundial da Saúde; BUN: Nitrogênio ureico no sangue. † As comorbidades incluíram hipertensão, diabetes, dislipidemia, acidente vascular cerebral, doença carotídea, doença arterial coronariana, doença vascular periférica, infarto agudo do miocárdio, fibrilação atrial, doença de Chagas, doença cardíaca reumática, doença valvar, doença pulmonar obstrutiva crônica, apneia do sono, doença hepática, insuficiência renal crônica, anemia, hipertireoidismo, hipotireoidismo, depressão, câncer de órgão sólido e câncer hematológico. ‡ Procedimentos cirúrgicos anteriores incluíram angioplastia coronária, cirurgia de revascularização do miocárdio, marcapasso ou desfibrilador cardíaco implantável, terapia de ressincronização cardíaca e prótese valvar.

– Comparação das variáveis utilizadas nos escores ADHERE, GWTG e ML-HF
VARIÁVEL ADHERE GWTG ML-HF
Demográfico
Idade, anos ✓ ✓
Raça negra ✓
Características clínicas
BUN, mg/dL ✓ ✓ ✓
Creatinina, mg/dL ✓ ✓
Diâmetro do átrio esquerdo ✓
DPOC ✓
Doença Renal Crônica ✓
Etiologia valvar da IC ✓
Frequência cardíaca ✓
Frequência respiratória ✓
Hemoglobina, g/dL ✓
Hipotireoidismo ✓
Número de procedimentos cardíacos anteriores ✓
Pressão arterial sistólica, mmHg ✓ ✓ ✓
Pressão Arterial Diastólica, mmHg ✓
Perfil hemodinâmico B ✓
Perfil hemodinâmico C ✓
Perfil hemodinâmico L ✓
Má perfusão periférica ✓
Prótese valvar ✓
Sódio, mmol/L ✓ ✓
Qualidade de vida
Domínio da saúde física – WHOQOL-BREF ✓

BUN: Nitrogênio ureico sanguíneo; DPOC: doença pulmonar obstrutiva crônica; WHOQOL-BREF: Versão resumida do questionário de qualidade de vida da Organização Mundial da Saúde.

Seleção de algoritmo

Dentre os algoritmos de ML avaliados, o modelo Random Forest apresentou o melhor desempenho na predição de mortalidade hospitalar em comparação com Gradient Boosting Machines e Extreme Gradient Boosting (Tabela 3). Dessa forma, o algoritmo Random Forest foi escolhido para construir o modelo final.

– Desempenho de discriminação no conjunto de treinamento de acordo com o algoritmo de Aprendizado de Máquina
Algoritmo de Aprendizado de Máquina AUC (Média ± DP) N = 810
Random Forest 0,772 ± 0,07
Gradient Boosting Machines 0,703 ± 0,08
Extreme Gradient Boosting 0,724 ± 0,09

DP: desvio padrão; AUC: área sob a curva de operação de recepção.

 Validação interna

No conjunto de treinamento (n=621), o escore ML-HF demonstrou precisão de boa a excelente para prever mortalidade hospitalar, com uma AUC de 0,906, superando os escores ADHERE e GWTG-HF. [Figura 3A] [Figura Central].

– Comparação das curvas ROC (Receiver Operating Characteristic) entre os escores ML-HF, GWTG-HF e ADHERE nos conjuntos de treinamento (A) e teste (B).

Validação externa

No conjunto de teste (n=536), o escore ML-HF manteve uma discriminação aceitável, com uma AUC de 0,722. Embora inferior ao conjunto de treinamento, seu desempenho permaneceu superior aos escores ADHERE e GWTG. [Figura 3B, Figura Central]. Resultados semelhantes foram observados ao utilizar apenas a coorte 2 completa como conjunto de teste (n=280), conforme mostrado na Figura S2 Suplementar.

 Calibração do modelo

A Figura 4 mostra a mortalidade hospitalar observada versus prevista para cada escore no conjunto de teste. Embora o escore ML-HF tenha apresentado boa calibração do modelo, a mortalidade prevista divergiu significativamente da mortalidade observada nos outros dois escores convencionais. Especificamente, o escore ADHERE subestimou o risco, enquanto o escore GTWG o superestimou.

– Comparação da mortalidade hospitalar observada e prevista para avaliar a calibração do modelo dos escores ML-HF (A), GWTG-HF (B) e ADHERE (C) no conjunto de teste. HL: Teste de Hosmer-Lemeshow. Um valor de p menor que 0,05 indica um ajuste inadequado dos dados.

Importância da variável no escore ML-HF

A Figura 5 mostra a importância relativa das variáveis do escore ML-HF em ordem decrescente. A variável com maior importância foi o domínio Saúde Física do WHOQOL, seguido pelos níveis sanguíneos de sódio, ureia e creatinina, conforme mostrado na Figura Central. A pressão arterial na admissão também estava entre as dez variáveis mais importantes, com a pressão arterial sistólica e a pressão arterial diastólica ocupando a quinta e a oitava posições, respectivamente. Notavelmente, a FEVE não teve importância suficiente para predizer a mortalidade hospitalar no método de Boruta. O único parâmetro ecocardiográfico no modelo foi o tamanho do átrio esquerdo, ocupando o sexto lugar em ordem de importância.

– Importância das variáveis incluídas no escore ML-HF. WHOQOL-BREF: Versão resumida do questionário de qualidade de vida da Organização Mundial da Saúde; PAS: pressão arterial sistólica; PAD: pressão arterial diastólica; BUN: Nitrogênio ureico no sangue.

Discussão

Este estudo apresenta três principais achados. Desenvolvemos um novo escore baseado em ML – o escore ML-HF – para prever a mortalidade hospitalar em pacientes com ICA em uma PBMR, que foi validado externamente com acurácia aceitável e boa calibração. O escore ML-HF superou os escores convencionais ADHERE e GWTG-HF na mesma população.2-5 O estudo revelou que as informações coletadas a partir de um questionário de qualidade de vida emergiram como o preditor mais importante de mortalidade. No geral, este estudo fornece uma nova ferramenta para prever o risco em pacientes com IC aguda e destaca o potencial do ML para aprimorar os modelos de estratificação de risco nessa população.

Até onde sabemos, este é o primeiro estudo a incorporar uma medida de qualidade de vida pessoal em um modelo baseado em ML para prever mortalidade na IC. Surpreendentemente, o domínio saúde física do questionário WHOQOL-BREF emergiu como o preditor mais importante de mortalidade, superando biomarcadores séricos e parâmetros ecocardiográficos. Esse achado novo e inesperado provavelmente só foi possível graças ao uso de técnicas de ML, pois elas permitem a análise de variáveis de maneira não linear e predefinida. Este é um exemplo de como o ML pode analisar padrões complexos em dados para encontrar preditores contraintuitivos da perspectiva humana. Este resultado ressalta a importância de incorporar os resultados relatados pelo paciente (RRP) e considerar a autopercepção do paciente sobre sua saúde. Em termos mais simples, destaca a importância de realmente ouvir o paciente.

Estudos anteriores demonstraram o valor prognóstico do RRP em pacientes com IC crônica. No registro CHAMP-HF (Change the Management of Patients With Heart Failure), uma melhora de 5 pontos no Questionário de Cardiomiopatia de Kansas City foi associada a uma redução de 41% no risco de morte por todas as causas.19 Notavelmente, o RRP provou ser um melhor preditor de eventos futuros em comparação com a classe funcional da NYHA, ressaltando a importância de avaliar a perspectiva do paciente sobre seu estado de saúde, além da avaliação clínica.19,20 De fato, as diretrizes atuais de IC recomendam a avaliação padronizada do RRP como uma recomendação de classe 2a.10 Nosso estudo contribui para a literatura ao demonstrar o papel prognóstico independente da medição do RRP na admissão de pacientes com IC descompensada.

É possível destacar o fato de que novas variáveis, além do domínio de saúde física do WHOQOL-Brief, foram relevantes para a predição de óbito hospitalar em nosso estudo, fatores que não são avaliados em outros escores, como hemoglobina, diâmetro do átrio esquerdo, presença de prótese valvar, número de procedimentos cirúrgicos e presença de hipotireoidismo. A relevância da presença de prótese valvar pode ser devida à alta prevalência de febre reumática em nossa população. Isso, mais uma vez, destaca a importância do desenvolvimento de escores personalizados para PBMR.21

Modelos de ML foram testados anteriormente para prever a mortalidade hospitalar de pacientes com IC aguda em outros países. O modelo MARKER-HF (Machine learning Assessment of RisK and EaRly mortality in Heart Failure) demonstrou excelente poder discriminatório, com uma AUC de 0,88. No entanto, esse modelo foi desenvolvido usando pacientes com IC crônica e aguda, com durações de acompanhamento variadas.9 Segar et al. utilizaram dados do registro GWTG nos Estados Unidos para construir um modelo baseado em ML para prever a mortalidade hospitalar, que foi validado na coorte ARIC (Atherosclerosis Risk in Community).5 Assim como em nossa investigação, eles observaram que o modelo baseado em ML superou o escore GWTG-HF, apresentando um índice C de aproximadamente 0,80. Eles puderam incorporar biomarcadores séricos, como níveis sanguíneos de troponina e peptídeos natriuréticos, e determinantes sociais de saúde em nível contextual, o que ajuda a reduzir o viés do algoritmo e melhorar a equidade entre populações carentes.4,5

Diferenças nas populações de pacientes, no manejo clínico e na disponibilidade de biomarcadores, como peptídeos natriuréticos, podem explicar, em parte, a maior precisão do modelo de Segar et al.5 em comparação ao nosso; no entanto, nosso modelo pode ser particularmente valioso em cenários com acesso limitado a esses biomarcadores, especialmente em PBMR. Em nosso estudo, determinantes sociais individuais foram utilizados, mas não selecionados a partir do algoritmo baseado em ML. Por outro lado, demonstramos pela primeira vez que uma medida de qualidade de vida ajuda a melhorar a previsão de morte hospitalar de pacientes com IC em um modelo baseado em ML.

Nosso estudo tem pontos fortes que devem ser destacados. Primeiramente, analisamos os determinantes sociais da saúde individualmente, embora não tenham sido selecionados como variáveis importantes. Esse achado está em linha com a literatura atual, que afirma que os determinantes sociais podem ser relevantes apenas em subgrupos mais homogêneos, o que pode não ser o caso da população brasileira.4 Em segundo lugar, também realizamos validação externa usando uma coorte diferente daquela usada para o treinamento do modelo, o que deve ser incentivado em estudos que utilizam ML.7 Em terceiro lugar, nossa amostra contém pacientes de todas as macrorregiões do país, abrangendo uma ampla gama de características demográficas e status sociais. Essa diversidade aumenta a generalização e a validação de nossos achados em diferentes populações. Em quarto lugar, nossos dados foram coletados sistematicamente como parte de um estudo de coorte prospectivo, em vez de depender de RME. que são mais suscetíveis ao viés de classificação incorreta.22-26

Este estudo também apresenta limitações que devem ser consideradas. Dados ausentes levaram a uma redução no tamanho da amostra inicial, diminuindo-a para aproximadamente 25% do tamanho original, pois removemos pacientes com dados ausentes em qualquer uma das variáveis mais significativas. Incluímos apenas casos completos, assumindo que os dados estavam completamente ausentes aleatoriamente. Optamos por não imputar múltiplas variáveis para evitar a introdução de viés potencial de estimativas baseadas em modelos em um ambiente preditivo. Além disso, os peptídeos natriuréticos não foram utilizados para construir o modelo devido à falta de disponibilidade na maioria dos centros, por se tratar de um banco de dados em que a grande maioria dos locais é financiada publicamente. Reconhecemos que a ausência desses marcadores pode prejudicar a análise, visto que atualmente são testes essenciais para a confirmação do diagnóstico de IC. Em países com maior disponibilidade, acreditamos que essa variável pode ser ainda mais relevante e aumentar a precisão do algoritmo. Por outro lado, isso poderia melhorar a aplicabilidade do escore ML em outros PBMR, onde o acesso ao BNP também pode ser limitado.

Apesar dos resultados promissores, a implementação de escores de risco baseados em ML na prática clínica continua desafiadora. Ao contrário dos escores de risco tradicionais, que podem usar tabelas ou calculadoras simples, os modelos de ML exigem infraestrutura digital para entrada de dados, processamento e integração de resultados em fluxos de trabalho clínicos. Em nosso estudo, o desenvolvimento e a validação do modelo foram realizados em um computador centralizado contendo dados de todos os centros participantes, e a análise foi computacionalmente intensiva. Para uso no mundo real, a implantação exigiria sistemas compatíveis e entrada de dados padronizada. Estratégias como o desenvolvimento de aplicativos móveis offline ou a integração do modelo em prontuários eletrônicos de saúde de baixa complexidade poderiam ser exploradas para facilitar a implementação em ambientes com recursos limitados.

Embora o modelo atual possa ser aplicado sem retreinamento, os modelos baseados em ML podem ser atualizados ou retreinados periodicamente para melhorar o desempenho e se adaptar à evolução das populações clínicas. Isso levanta importantes considerações éticas e regulatórias, incluindo privacidade de dados, consentimento informado para uso secundário de dados de pacientes e transparência em relação aos procedimentos de atualização do modelo. A implementação eficaz dependerá não apenas de uma infraestrutura técnica adequada para atender às demandas computacionais, mas também de fortes estruturas de supervisão e governança para garantir o uso seguro, equitativo e responsável.

 Conclusão

Nós desenvolvemos e validamos um modelo baseado em aprendizado de máquina - o escore ML-HF - para prever o risco de morte hospitalar em pacientes com IC aguda. Essa ferramenta preditiva apresentou poder discriminativo superior aos escores tradicionais ADHERE e GWTG.

 *Material suplementar

Para informação adicional, por favor, clique aqui.https://abccardiol.org/supplementary-material/2025/12211/2025-0136_supplementary_material.pdf

Agradecimentos

Os autores gostariam de expressar sua gratidão aos colegas participantes que apoiaram o recrutamento para o programa BPC.

 Referências 1. Albuquerque DC, Barros e Silva PGM, Lopes RD, Hoffmann-Filho CR, Nogueira PR, Reis H, et al. In-Hospital Management and Long-Term Clinical Outcomes and Adherence in Patients with Acute Decompensated Heart Failure: Primary Results of the First Brazilian Registry of Heart Failure (BREATHE). J Card Fail. 2024;30(5):639-50. doi: 10.1016/j.cardfail.2023.08.014. Albuquerque DC Barros e Silva PGM Lopes RD Hoffmann-Filho CR Nogueira PR Reis H et al In-Hospital Management and Long-Term Clinical Outcomes and Adherence in Patients with Acute Decompensated Heart Failure: Primary Results of the First Brazilian Registry of Heart Failure (BREATHE) J Card Fail 2024 30 5 639 650 10.1016/j.cardfail.2023.08.014 2. Royston P, Altman DG. Risk Stratification for in-Hospital Mortality in Acutely Decompensated Heart Failure. JAMA. 2005;293(20):2467-8. doi: 10.1001/jama.293.20.2467-c. Royston P Altman DG Risk Stratification for in-Hospital Mortality in Acutely Decompensated Heart Failure JAMA 2005 293 20 2467 2468 10.1001/jama.293.20.2467-c 3. Peterson PN, Rumsfeld JS, Liang L, Albert NM, Hernandez AF, Peterson ED, et al. A Validated Risk Score for in-Hospital Mortality in Patients with Heart Failure from the American Heart Association Get with the Guidelines Program. Circ Cardiovasc Qual Outcomes. 2010;3(1):25-32. doi: 10.1161/CIRCOUTCOMES.109.854877. Peterson PN Rumsfeld JS Liang L Albert NM Hernandez AF Peterson ED et al A Validated Risk Score for in-Hospital Mortality in Patients with Heart Failure from the American Heart Association Get with the Guidelines Program Circ Cardiovasc Qual Outcomes 2010 3 1 25 32 10.1161/CIRCOUTCOMES.109.854877 4. Li Y, Wang H, Luo Y. Improving Fairness in the Prediction of Heart Failure Length of Stay and Mortality by Integrating Social Determinants of Health. Circ Heart Fail. 2022;15(11):e009473. doi: 10.1161/CIRCHEARTFAILURE.122.009473. Li Y Wang H Luo Y Improving Fairness in the Prediction of Heart Failure Length of Stay and Mortality by Integrating Social Determinants of Health Circ Heart Fail 2022 15 11 e009473 10.1161/CIRCHEARTFAILURE.122.009473 5. Segar MW, Hall JL, Jhund PS, Powell-Wiley TM, Morris AA, Kao D, et al. Machine Learning-Based Models Incorporating Social Determinants of Health vs Traditional Models for Predicting in-Hospital Mortality in Patients with Heart Failure. JAMA Cardiol. 2022;7(8):844-54. doi: 10.1001/jamacardio.2022.1900. Segar MW Hall JL Jhund PS Powell-Wiley TM Morris AA Kao D et al Machine Learning-Based Models Incorporating Social Determinants of Health vs Traditional Models for Predicting in-Hospital Mortality in Patients with Heart Failure JAMA Cardiol 2022 7 8 844 854 10.1001/jamacardio.2022.1900 6. Deo RC. Machine Learning in Medicine. Circulation. 2015;132(20):1920-30. doi: 10.1161/CIRCULATIONAHA.115.001593. Deo RC Machine Learning in Medicine Circulation 2015 132 20 1920 1930 10.1161/CIRCULATIONAHA.115.001593 7. Shin S, Austin PC, Ross HJ, Abdel-Qadir H, Freitas C, Tomlinson G, et al. Machine Learning vs. Conventional Statistical Models for Predicting Heart Failure Readmission and Mortality. ESC Heart Fail. 2021;8(1):106-15. doi: 10.1002/ehf2.13073. Shin S Austin PC Ross HJ Abdel-Qadir H Freitas C Tomlinson G et al Machine Learning vs. Conventional Statistical Models for Predicting Heart Failure Readmission and Mortality ESC Heart Fail 2021 8 1 106 115 10.1002/ehf2.13073 8. Angraal S, Mortazavi BJ, Gupta A, Khera R, Ahmad T, Desai NR, et al. Machine Learning Prediction of Mortality and Hospitalization in Heart Failure with Preserved Ejection Fraction. JACC Heart Fail. 2020;8(1):12-21. doi: 10.1016/j.jchf.2019.06.013. Angraal S Mortazavi BJ Gupta A Khera R Ahmad T Desai NR et al Machine Learning Prediction of Mortality and Hospitalization in Heart Failure with Preserved Ejection Fraction JACC Heart Fail 2020 8 1 12 21 10.1016/j.jchf.2019.06.013 9. Adler ED, Voors AA, Klein L, Macheret F, Braun OO, Urey MA, et al. Improving Risk Prediction in Heart Failure Using Machine Learning. Eur J Heart Fail. 2020;22(1):139-47. doi: 10.1002/ejhf.1628. Epub 2019 Nov 12. Adler ED Voors AA Klein L Macheret F Braun OO Urey MA et al Improving Risk Prediction in Heart Failure Using Machine Learning Eur J Heart Fail 2020 22 1 139 147 10.1002/ejhf.1628 Epub 2019 Nov 12 10. Heidenreich PA, Bozkurt B, Aguilar D, Allen LA, Byun JJ, Colvin MM, et al. 2022 AHA/ACC/HFSA Guideline for the Management of Heart Failure: A Report of the American College of Cardiology/American Heart Association Joint Committee on Clinical Practice Guidelines. J Am Coll Cardiol. 2022;79(17):e263-e421. doi: 10.1016/j.jacc.2021.12.012. Heidenreich PA Bozkurt B Aguilar D Allen LA Byun JJ Colvin MM et al 2022 AHA/ACC/HFSA Guideline for the Management of Heart Failure: A Report of the American College of Cardiology/American Heart Association Joint Committee on Clinical Practice Guidelines J Am Coll Cardiol 2022 79 17 e263 e421 10.1016/j.jacc.2021.12.012 11. Taniguchi FP, Bernardez-Pereira S, Silva SA, Ribeiro ALP, Morgan L, Curtis AB, et al. Implementation of a Best Practice in Cardiology (BPC) Program Adapted from Get with the Guidelines®in Brazilian Public Hospitals: Study Design and Rationale. Arq Bras Cardiol. 2020;115(1):92-9. doi: 10.36660/abc.20190393. Taniguchi FP Bernardez-Pereira S Silva SA Ribeiro ALP Morgan L Curtis AB et al Implementation of a Best Practice in Cardiology (BPC) Program Adapted from Get with the Guidelines®in Brazilian Public Hospitals: Study Design and Rationale Arq Bras Cardiol 2020 115 1 92 99 10.36660/abc.20190393 12. Taniguchi FP, Bernardez-Pereira S, Ribeiro ALP, Morgan L, Curtis AB, Taubert K, et al. A Nationwide Initiative to Improve Cardiology Quality: The Best Practice in Cardiology Program in Brazil. Arq Bras Cardiol. 2023;120(10):e20230375. doi: 10.36660/abc.20230375. Taniguchi FP Bernardez-Pereira S Ribeiro ALP Morgan L Curtis AB Taubert K et al A Nationwide Initiative to Improve Cardiology Quality: The Best Practice in Cardiology Program in Brazil Arq Bras Cardiol 2023 120 10 e20230375 10.36660/abc.20230375 13. Haugen AS, Sevdalis N, Søfteland E. Impact of the World Health Organization Surgical Safety Checklist on Patient Safety. Anesthesiology. 2019;131(2):420-5. doi: 10.1097/ALN.0000000000002674. Haugen AS Sevdalis N Søfteland E Impact of the World Health Organization Surgical Safety Checklist on Patient Safety Anesthesiology 2019 131 2 420 425 10.1097/ALN.0000000000002674 14. Jakobsen JC, Gluud C, Wetterslev J, Winkel P. When and How Should Multiple Imputation be Used for Handling Missing Data in Randomised Clinical Trials - A Practical Guide with Flowcharts. BMC Med Res Methodol. 2017;17(1):162. doi: 10.1186/s12874-017-0442-1. Jakobsen JC Gluud C Wetterslev J Winkel P When and How Should Multiple Imputation be Used for Handling Missing Data in Randomised Clinical Trials - A Practical Guide with Flowcharts BMC Med Res Methodol 2017 17 1 162 10.1186/s12874-017-0442-1 15. Kursa MB, Rudnicki WR. Feature Selection with the Boruta Package. J Stat Softw. 2010;36(11):1-13. doi: 10.18637/jss.v036.i11. Kursa MB Rudnicki WR Feature Selection with the Boruta Package J Stat Softw 2010 36 11 1 13 10.18637/jss.v036.i11 16. Kowarik A, Templ M. Imputation with the R Package VIM. J Stat Softw. 2016;74(7):1-16. doi: 10.18637/jss.v074.i07. Kowarik A Templ M Imputation with the R Package VIM J Stat Softw 2016 74 7 1 16 10.18637/jss.v074.i07 17. DeLong ER, DeLong DM, Clarke-Pearson DL. Comparing the Areas Under Two or More Correlated Receiver Operating Characteristic Curves: A Nonparametric Approach. Biometrics. 1988;44(3):837-45. DeLong ER DeLong DM Clarke-Pearson DL Comparing the Areas Under Two or More Correlated Receiver Operating Characteristic Curves: A Nonparametric Approach Biometrics 1988 44 3 837 845 18. Collins GS, Reitsma JB, Altman DG, Moons KGM; members of the TRIPOD group. Transparent Reporting of a Multivariable Prediction Model for Individual Prognosis or Diagnosis (TRIPOD): The TRIPOD Statement. Eur Urol. 2015;67(6):1142-51. doi: 10.1016/j.eururo.2014.11.025. Collins GS Reitsma JB Altman DG Moons KGM members of the TRIPOD group Transparent Reporting of a Multivariable Prediction Model for Individual Prognosis or Diagnosis (TRIPOD): The TRIPOD Statement Eur Urol 2015 67 6 1142 1151 10.1016/j.eururo.2014.11.025 19. Greene SJ, Butler J, Spertus JA, Hellkamp AS, Vaduganathan M, DeVore AD, et al. Comparison of New York Heart Association Class and Patient-Reported Outcomes for Heart Failure with Reduced Ejection Fraction. JAMA Cardiol. 2021;6(5):522-31. doi: 10.1001/jamacardio.2021.0372. Greene SJ Butler J Spertus JA Hellkamp AS Vaduganathan M DeVore AD et al Comparison of New York Heart Association Class and Patient-Reported Outcomes for Heart Failure with Reduced Ejection Fraction JAMA Cardiol 2021 6 5 522 531 10.1001/jamacardio.2021.0372 20. Hawwa N, Vest AR, Kumar R, Lahoud R, Young JB, Wu Y, et al. Comparison between the Kansas City Cardiomyopathy Questionnaire and New York Heart Association in Assessing Functional Capacity and Clinical Outcomes. J Card Fail. 2017;23(4):280-5. doi: 10.1016/j.cardfail.2016.12.002. Hawwa N Vest AR Kumar R Lahoud R Young JB Wu Y et al Comparison between the Kansas City Cardiomyopathy Questionnaire and New York Heart Association in Assessing Functional Capacity and Clinical Outcomes J Card Fail 2017 23 4 280 285 10.1016/j.cardfail.2016.12.002 21. Coffey S, Cairns BJ, Iung B. The Modern Epidemiology of Heart Valve Disease. Heart. 2016;102(1):75-85. doi: 10.1136/heartjnl-2014-307020. Coffey S Cairns BJ Iung B The Modern Epidemiology of Heart Valve Disease Heart 2016 102 1 75 85 10.1136/heartjnl-2014-307020 22. Panahiazar M, Taslimitehrani V, Pereira N, Pathak J. Using EHRs and Machine Learning for Heart Failure Survival Analysis. Stud Health Technol Inform. 2015;216:40-4. Panahiazar M Taslimitehrani V Pereira N Pathak J Using EHRs and Machine Learning for Heart Failure Survival Analysis Stud Health Technol Inform 2015 216 40 44 23. Desai RJ, Wang SV, Vaduganathan M, Evers T, Schneeweiss S. Comparison of Machine Learning Methods with Traditional Models for Use of Administrative Claims with Electronic Medical Records to Predict Heart Failure Outcomes. JAMA Netw Open. 2020;3(1):e1918962. doi: 10.1001/jamanetworkopen.2019.18962. Desai RJ Wang SV Vaduganathan M Evers T Schneeweiss S Comparison of Machine Learning Methods with Traditional Models for Use of Administrative Claims with Electronic Medical Records to Predict Heart Failure Outcomes JAMA Netw Open 2020 3 1 e1918962 10.1001/jamanetworkopen.2019.18962 24. Negassa A, Ahmed S, Zolty R, Patel SR. Prediction Model Using Machine Learning for Mortality in Patients with Heart Failure. Am J Cardiol. 2021;153:86-93. doi: 10.1016/j.amjcard.2021.05.044. Negassa A Ahmed S Zolty R Patel SR Prediction Model Using Machine Learning for Mortality in Patients with Heart Failure Am J Cardiol 2021 153 86 93 10.1016/j.amjcard.2021.05.044 25. Lv H, Yang X, Wang B, Wang S, Du X, Tan Q, et al. Machine Learning-Driven Models to Predict Prognostic Outcomes in Patients Hospitalized with Heart Failure Using Electronic Health Records: Retrospective Study. J Med Internet Res. 2021;23(4):e24996. doi: 10.2196/24996. Lv H Yang X Wang B Wang S Du X Tan Q et al Machine Learning-Driven Models to Predict Prognostic Outcomes in Patients Hospitalized with Heart Failure Using Electronic Health Records: Retrospective Study J Med Internet Res 2021 23 4 e24996 10.2196/24996 26. Barbalho IMP, Fernandes F, Barros DMS, Paiva JC, Henriques J, Morais AHF, et al. Electronic Health Records in Brazil: Prospects and Technological Challenges. Front Public Health. 2022;10:963841. doi: 10.3389/fpubh.2022.963841. Barbalho IMP Fernandes F Barros DMS Paiva JC Henriques J Morais AHF et al Electronic Health Records in Brazil: Prospects and Technological Challenges Front Public Health 2022 10 963841 10.3389/fpubh.2022.963841

Este artigo é parte de dissertação de mestrado de Gustavo Sarot Pereira pela Universidade Federal do Paraná.

Este estudo foi aprovado pelo Comitê de Ética do Hospital do Coração - HCOR / Associação Beneficiente Síria sob o número de protocolo 48561715.5.1001.0060. Todos os procedimentos envolvidos nesse estudo estão de acordo com a Declaração de Helsinki de 1975, atualizada em 2013. O consentimento informado foi obtido de todos os participantes incluídos no estudo.

Os autores não utilizaram ferramentas de inteligência artificial no desenvolvimento deste trabalho.

Os dados estarão disponíveis sob demanda aos autores.

O presente estudo foi financiado por American Heart Association, Hospital do Coração (HCor) e Ministério da Saúde.

 10.36660/abc.20250136i Original Article A New Risk Score Based on Machine Learning in Patients with Acute Heart Failure: The ML-HF score 0009-0003-4069-8781 Ferreira Matheus Bissa Duarte Conception and design of the research Acquisition of data Analysis and interpretation of the data Statistical analysis Writing of the manuscript 1 0000-0002-2385-0361 Daikubara Jorge Tadashi Neto Conception and design of the research Acquisition of data Analysis and interpretation of the data Statistical analysis Writing of the manuscript 1 Cunha Gustavo S. Pereira da Acquisition of data Critical revision of the manuscript for content 1 Moretti Rafael Acquisition of data 1 Reichert Jessica Tamires Acquisition of data 1 Prado Lucas Müller Acquisition of data 1 Cirino Raphael Henrique Déa Critical revision of the manuscript for content 1 Smith Sidney C Jr Critical revision of the manuscript for content 2 0000-0003-0674-5997 Taniguchi Fábio Papa Conception and design of the research Obtaining financing Critical revision of the manuscript for content 3 Sposito Andrei C. Critical revision of the manuscript for content 4 Silvestre Odilson M. Critical revision of the manuscript for content 5 Nadruz Wilson Critical revision of the manuscript for content 5 0000-0002-0095-9049 Fernandes-Silva Miguel Morita Conception and design of the research Analysis and interpretation of the data Writing of the manuscript Critical revision of the manuscript for content 1 Brazil Universidade Federal do Paraná, Curitiba, PR – Brazil USA University of North Carolina At Chapel Hill, Chapel Hill, North Carolina – USA Brazil Hospital do Coração (HCor), São Paulo, SP – Brazil Brazil Universidade Estadual de Campinas, Campinas, SP – Brazil Brazil Universidade Federal do Acre, Rio Branco, AC – Brazil Miguel Morita Fernandes-Silva Universidade Federal do Paraná – Rua General Carneiro, 181, 10º andar. Postal Code 80060-900, Curitiba, PR – Brazil E-mail: miguelmorita@ufpr.br

No potential conflict of interest relevant to this article was reported.

Gláucia Maria Moraes de Oliveira

 Abstract Background

Conventional prognostic assessment scores often fall short in performance to predict mortality in patients with acute heart failure (AHF).

 Objective

To develop and validate a machine learning-based prognostic score to predict in-hospital death in patients with AHF and compare its performance with the main traditional scores.

 Methods

Patients admitted for AHF in Brazilian hospitals from the “Best Practices in Cardiology Program” from 2016 - 2022 were included. Clinical data, laboratory results, and the World Health Organization Quality of Life (WHOQOL-Bref) at hospital admission were collected. The outcome was in-hospital death. The model was trained using 70% of admissions (training set) and validated with the remaining 30% (test set). The ML-HF score area under the ROC curve (AUC) was compared with the AUC of the traditional scores Acute Decompensated Heart Failure National Registry (ADHERE) and Get With the Guidelines–Heart Failure (GWTG-HF). The level of significance was p<0.05.

 Results

One thousand and one hundred fifty-seven patients hospitalized for AHF were included. The five most important variables of the ML-HF score were: Physical Health Domain Quality (WHOQOL-BREF), serum sodium, serum urea, serum creatinine, and systolic blood pressure at hospital admission. In the test set, the ML-HF score showed an adequate model calibration (Hosmer-Lemeshow test p value=0.056) and discrimination (AUC=0.722 [CI95%, 0.661-0.783]), which was superior to GWTG-HF (AUC=0.616 [CI95%, 0.529-0.702; p=0.014]) and the ADHERE (AUC=0.601 [CI95%, 0.511-0.691; p=0.006]) scores.

 Conclusion

We developed and validated a score using machine learning to predict in-hospital death in patients with AHF, which outperformed the traditional scores.

A New Risk Score Based on Machine Learning in Patients with Acute Heart Failure: The ML-HF Score

Keywords Heart Failure Machine Learning Death American Heart Association Hospital do Coração Ministério da Saúde This study was partially funded by American Heart Association, Hospital do Coração (HCor) and Ministério da Saúde. Introduction

Heart failure (HF) affects 25 million people worldwide and has high mortality and hospitalization rates. In Brazil, there are approximately 250,000 hospital admissions due to HF per year, resulting in a 10.9% in-hospital mortality rate.1

Risk classification tools help direct resources and intensive measures to higher-risk patients. However, estimating the prognosis of patients upon admission or during hospitalization has been challenging in the HF scenario. Previous studies have developed scores, such as the Acute Decompensated Heart Failure National Registry (ADHERE) and the Get With The Guidelines-Heart Failure (GWTG - HF) scores, which can be derived from a few laboratory and clinical variables, to predict in-hospital mortality in these patients.2,3 Unfortunately, these scores have sub-optimal accuracy and have been underused in clinical practice.4,5

An alternative to these conventional approaches are the models based on Machine Learning (ML), which have been studied in the last years for the management of HF.6,7 The ability of ML algorithms to analyze in a deeper, multi-dimensional, and non-linear way a variety of variables increases their potential to improve patient stratification models.7 ML-based models have been built in patients with chronic and acute HF (AHF) using electronic medical records (EMR), registries, and clinical trials.8 These models appear to have superior accuracy than the traditional ADHERE and GWTG-HF scores.9 However, most of these studies have been developed and validated in high-income countries. Differences in patient population, social determinants, and healthcare delivery may prevent these models from being implemented in low- and middle-income countries (LMIC). In fact, it has already been shown that the ability of ML models to predict HF outcomes significantly changes across different ethnic and socioeconomic subgroups.10

Therefore, we developed and validated an algorithm based on ML to predict in-hospital deaths in patients with AHF using a large cohort study of public hospitals in Brazil. We further compared the final ML-based algorithm with the ADHERE and GWTG models.

 Methods Population

This is an analysis of the "Best Practice in Cardiology (BPC)" program, which was adapted from the "Get With The Guidelines" (GWTG) initiative to improve the quality of cardiovascular care and patients' outcomes in acute coronary syndrome, HF, and atrial fibrillation in Brazilian public hospitals. The study design, rationale, procedures, and main results have been previously published.11 Briefly, tertiary public hospitals in all five Brazilian macro-regions have been selected since January 2016.12 These hospitals were included in a quasi-experimental study which implemented an institutional-level intervention to improve adherence to guidelines and evaluated its impact on measures of institutional performance. Sociodemographic, clinical, laboratory, and echocardiographic data were collected during patient admission. Patients were also asked to complete the World Health Organization Quality Of Life (WHOQOL-Bref) questionnaire, which is a 26-item instrument consisting of four domains: physical health (7 items), psychological health (6 items), social relationships (3 items), and environmental health (8 items). The items of the WHOQOL-Bref consist of 5-point Likert scales that are combined to provide each health domain. The procedure to calculate the WHOLQOL-BREF was described in detail elsewhere.13 As part of the BPC program, all participants were followed up with visits at discharge, one month, and six-month. This study was approved by the ethics committee of the Coordinating Center (number 48561715.5.1001.0060) and of each participating hospital. All participants gave written informed consent for participation in the study.

 Inclusion and exclusion criteria

For this analysis, we included patients aged 18 years or older hospitalized with a primary diagnosis of AHF (ICD-10 codes I50; I50.0; I50.1 or I50.9) between 14/03/2016 and 07/12/2022 in any participating hospital of the BPC program, who agreed to participate in the study and signed the informed consent form as illustrated in the Central Illustration. Participants were required to have been hospitalized for at least 24 hours to be eligible.

We excluded patients transferred to another hospital or with missing vital status at discharge. Patients who were on the waiting list for a heart transplant or using a ventricular assist device were also excluded. We also excluded patients with missing data for the selected variables of the model (see variable selection below).

To build and validate the model, we divided the dataset into 2 Cohorts: Cohort 1, patients admitted from 16/01/2016 to 15/10/2021, and Cohort 2, patients admitted from 16/10/2021 to 07/12/2022. Cohort 1 was used in the variable selection, model building, and validation processes. Cohort 2 was used only for external validation (see Statistical analysis for details).

 Outcome

The outcome was death from any cause during the index hospitalization.

Variable selection

We used all variables at admission in the predictive model, which included sociodemographic, clinical, laboratory, and echocardiographic data, along with the scores derived from the responses of the WHOQOL-Bref questionnaire. First, we excluded variables with more than 40% of data missing.14 See supplemental table S1 for all variables and respective missing data rates. Then, we applied the ML method "Boruta" in the training set (see below) to automatically detect the most relevant variables that were selected for the training algorithm. The Boruta method generates a binomial probability distribution of the number of times a variable exceeds the importance of a created dummy variable, which has a random (non-predictive) value.15 Variables were selected if they had a p-value < 0.05 from the upper tail of the probability distribution. During this selection process, we applied a K-Nearest Neighbor imputation method, selecting the K nearest (K = 5) neighbors with complete data based on a Gower distance and inputting the mean value of the complete variable to the neighbors with missing values.16

After selecting the most relevant variables, they were used to build the ML algorithm in the non-imputed database. Figure S1 illustrates the variable selection process (Supplementary Figure S1). We conducted a Complete Case Analysis, including only patients with complete data for the selected variables. Thus, patients with missing data for any of the selected variables were excluded (Figure 1).

– Flowchart of patients included in the analysis.

Statistical analysis Summary Statistics

Continuous variables were assessed for normality through visual inspection of histograms, skewness, and kurtosis, and by applying the Kolmogorov-Smirnov test. Data are presented as mean ± standard deviation or median (25th percentile - 75th percentile), as appropriate. Between-group comparisons were performed using the unpaired Student's t-test for normally distributed variables and the Mann-Whitney U test for non-normally distributed variables. Categorical variables were expressed as counts and percentages and compared using Fisher's exact test.

 Model development and validation

Cohort 1 was randomly divided into training (70%) and test (30%) sets. This procedure was performed using a computer-generated random sampling without replacement, ensuring equal probability of selection of each patient. The training set was used for model training and internal validation. The test set combined 30% of Cohort 1 with the full Cohort 2 and was used for external validation. A sensitivity analysis was performed using only Cohort 2 as the test set. This process is illustrated in Figure 2.

– Flowchart illustrating the internal and external validation of the ML-HF score model.

Model selection

We employed a 5-fold cross-validation method to select the most suitable ML algorithm. This method consists of subsetting the training set into 5 random groups. Four of these subsets were used to train the model, and the remaining subset to test it. It is an iterative process that occurs 5 times, changing the test subset, as illustrated in Figure 2. The algorithm with the best mean AUC was chosen as the final model.

 Model performance

To evaluate model discrimination, we constructed the receiver-operating characteristic (ROC) curves and compared the area under the ROC curve (AUC) using in-hospital death as the outcome. Model calibration was evaluated by plotting the predicted versus observed probability of in-hospital death across deciles and calculating the Hosmer-Lemeshow goodness-of-fit test. A p-value < 0.05 indicated inadequate fit of the data, while higher p-values indicated adequate calibration.

 Comparison with traditional scores

The ADHERE and GWTG-HF scores were calculated for each patient. Since the GWTG-HF score does not directly output the probabilities of death, we derived a logistic regression of its numeric outputs.2,3 We compared the AUC-ROC between scores using DeLong's test in both training and test sets.17

We followed the Transparent Reporting of a Multivariable Prediction Model for Individual Prognosis or Diagnosis (TRIPOD) guideline for conducting our research and writing this article.18

All analyses and model training were conducted using R software. We considered statistically significant p-values < 0.05.

 Results

From January 2016 to December 2022, a total of 3,532 patients with AHF were included in the BPC program. After excluding those with VAD, on the transplant waiting list, or with missing vital status at discharge, 3,043 were considered eligible for the study (2,309 in Cohort 1 and 734 in Cohort 2, as seen in Figure 1).

Of 113 variables available at admission, nine were excluded due to more than 40% missing data (Supplemental Table S1). The Boruta algorithm was applied to 70% patients (n=1,616) randomly selected from Cohort 1, which yielded 17 variables that were selected to build the ML model.

Out of the 3,043 eligible patients, 1,157 patients were included for the final analysis due to complete data for all 17 variables. The training set consisted of 621 patients, which accounted for 70% of the 879 individuals in Cohort 1, while the test set consisted of 536 patients, comprising 258 remaining patients of Cohort 1 and an additional 278 patients from Cohort 2.

The in-hospital mortality rate was 10.1%, with a total of 117 deaths among the 1,157 patients examined. The mean age of these patients was 61 ± 15 years, LVEF was 42 ± 17 % and 58% were male (Table 1). Table 2 displays these selected variables along with variables used in the ADHERE and GWTG scores for comparison.

– Baseline characteristics of included patients
Parameters Discharged alive (n=1040) In-hospital death (n=117) p-value
Age, years 61.3 ± 14.5 61.6 ± 14.4 0.829
Female sex, n (%) 424 (40.8) 53 (45.3) 0.398
White race, n(%) 674 (64.8) 78 (66.7) 0.766
Education, n(%)
Illiterate 84 (8.1) 9 (7.7) 0.242
Incomplete elementary school 399 (38.4) 47 (40.2)
Elementary school 148 (14.2) 26 (22.2)
Incomplete high school 72 (6.9) 8 (6.8)
High school 225 (21.6) 20 (17.1)
Incomplete higher education 30 (2.9) 2 (1.7)
Complete higher education 82 (7.9) 5 (4.3)
Average income, n(%)
≤ 1 minimum wage 721 (69.3) 97 (82.9) 0.009
Smoker, n(%)
No 520 (50) 56 (47.9) 0.889
Current 438 (42.1) 52 (44.4)
Past 82 (7.9) 9 (7.7)
Alcoholic, n(%)
No 654 (62.9) 80 (68.4) 0.200
Current 246 (23.7) 28 (23.9)
Past 140 (13.5) 9 (7.7)
HF etiology, n(%)
Ischemic 200 (19.2) 22 (18.8) < 0.001
Chagas disease 95 (9.1) 13 (11.1)
Valvar disease 123 (11.8) 30 (25.6)
Other 622 (59.8) 52 (44.4)
Valvar prosthesis, n(%) 338 (32.5) 52 (44.4) 0.013
Chronic kidney failure, n(%) 152 (14.6) 27 (23.1) 0.024
Hypothyroidism, n(%) 77 (7.4) 19 (16.2) 0.002
LVEF, % 41.7 ± 17.1 41.90 ± 18.5 0.911
Left atrium diameter, mm 45.8 ± 8.5 48.1 ± 9.4 0.005
Number of comorbidities† 4 (3 - 5) 4 (2 - 5) 0.665
Number of previous surgical procedures, n(%) ‡ 0.002
0 702 (67.5) 65 (55.6)
1 288 (27.7) 36 (30.8)
2 46 (4.4) 14 (12.0)
3 or more 4 (0.3) 2 (1.7)
Clinical characteristics at admission
Hemodynamic profile, n(%) 0.020
A 78 (7.5) 8 (6.8)
B 797 (76.6) 77 (65.8)
C 130 (12.5) 25 (21.4)
L 35 (3.4) 7 (6.0)
Systolic blood pressure, mmHg 123 ± 29 115± 27 0.004
Diastolic blood pressure, mmHg 76 ± 17 71 ± 16 0.001
Low peripheral perfusion, n(%) 127 (12.2) 20 (17.1) 0.175
Orthopnea, n(%) 757 (74.6) 78 (70.9) 0.471
Ascites, n(%) 242 (24.6) 39 (35.5) 0.019
B3, n(%) 103 (10.3) 13 (11.5) 0.806
Peripheral edema, n(%) 779 (75.6) 99 (85.3) 0.025
Laboratory results at admission (blood levels)
Creatinine, mg/dL 1.71 ± 1.51 1.93 ± 1.30 0.136
BUN, mg/dL 33.07 ± 22.8 46.0 ± 30.4 < 0.001
Sodium, mmol/L 136.6 ± 5.0 134.2 ± 6.9 < 0.001
Potassium, mmol/L 4.46 ± 0.77 4.66 ± 0.92 0.010
Hemoglobin, g/dL 12.6 ± 2.28 12.32 ± 2.4 0.207
WHOQOL-BREF questionnaire
Physical health domain 50.4 ± 19.4 39.5 ±15.8 < 0.001
Social relationships domain 64.2 ± 16.5 61.1 ± 17.3 0.059
Environmental health 58.9 ± 12.6 54.5 ± 12.9 <0.001
Psychological health 77.3 ± 17.9 68.8 ± 18.0 <0.001

Categorical variables are shown as n (%) and continuous variables as mean ± standard deviation or median (25th percentile - 75th percentile). HF: heart failure; LVEF: left ventricular ejection fraction; WHOQOL-BREF: World Health Organization quality of life brief version; BUN: Blood Urea Nitrogen. † Comorbidities included hypertension, diabetes, dyslipidemia, cerebrovascular accident, carotid disease, coronary artery disease, peripheral vascular disease, acute myocardial infarction, atrial fibrillation, Chagas disease, rheumatic heart disease, valve disease, chronic obstructive pulmonary disease, sleep apnea, liver disease, chronic kidney failure, anemia, hyperthyroidism, hypothyroidism, depression, solid organ cancer, and hematologic cancer. ‡ Previous surgical procedures included coronary angioplasty, myocardial revascularization surgery, pacemaker or implantable cardiac defibrillator, cardiac resynchronization therapy, and valve prosthesis.

– Comparison of variables used in the ADHERE, GWTG, and ML-HF scores
VARIABLE ADHERE GWTG ML-HF
Demographic
Age, years ✓ ✓
Black race ✓
Clinical characteristics
BUN, mg/dL ✓ ✓ ✓
Creatinine, mg/dL ✓ ✓
Left atrium diameter ✓
COPD ✓
Chronic Kidney Disease ✓
Valve etiology of HF ✓
Heart rate ✓
Respiratory frequency ✓
Hemoglobin, g/dL ✓
Hypothyroidism ✓
Number of previous cardiac procedures ✓
Systolic Blood Pressure, mmHg ✓ ✓ ✓
Diastolic Blood Pressure, mmHg ✓
Hemodynamic profile B ✓
Hemodynamic profile C ✓
Hemodynamic profile L ✓
Bad peripheral perfusion ✓
Valve prosthesis ✓
Sodium, mmol/L ✓ ✓
Quality of life
Physical health domain – WHOQOL-BREF ✓

BUN: Blood urea nitrogen; COPD: chronic obstructive pulmonary disease; WHOQOL-BREF: World Health Organization quality of life brief version.

Algorithm selection

Among the ML algorithms evaluated, the Random Forest model showed the highest performance in predicting in-hospital mortality compared to Gradient Boosting Machines and Extreme Gradient Boosting (Table 3). Accordingly, the Random Forest algorithm was chosen to build the final model.

– Discrimination performance in the training set according to the Machine Learning algorithm
Machine Learning Algorithm AUC (Mean ± SD) N = 810
Random Forest 0.772 ± 0.07
Gradient Boosting Machines 0.703 ± 0.08
Extreme Gradient Boosting 0.724 ± 0.09

SD: standard deviation; AUC: area under the receiving operating curve.

 Internal validation

In the training set (n=621), the ML-HF score demonstrated good to excellent accuracy for predicting in-hospital mortality, with an AUC of 0.906, outperforming both the ADHERE and GWTG-HF scores. [Figure 3A] [Central Illustration].

– Comparison of the receiver operating characteristic (ROC) curves among the ML-HF, GWTG-HF, and ADHERE scores in the training (A) and testing (B) sets.

External validation

In the test set (n=536), the ML-HF score maintained acceptable discrimination, with an AUC of 0.722. Although lower than in the training set, its performance remained superior to the ADHERE and GWTG scores (Figure 3B, Central Illustration).. Similar results were observed when using the full Cohort 2 alone as the test set (n=280), as shown in Supplemental Figure S2.

 Model calibration

Figure 4 displays the observed vs predicted in-hospital mortality of each score in the test set. While the ML-HF score showed good model calibration, predicted mortality significantly diverged from the observed mortality in the other two conventional scores. Specifically, the ADHERE score underestimated the risk, while the GTWG score overestimated it.

– Comparison of observed and predicted in-hospital mortality to assess model calibration of the ML-HF (A), GWTG-HF (B), and ADHERE (C) scores in the testing set. HL: Hosmer-Lemeshow test. A p-value less than 0.05 indicates an inadequate fit of the data.

Variable importance in ML-HF score

Figure 5 shows the relative importance of the ML-HF score variables in decreasing order. The variable with the highest importance was the Physical Health domain of the WHOQOL, followed by the sodium, BUN, and creatinine blood levels, as showed in the Central Illustration. Blood pressure at admission was also among the ten most important variables, with SBP and DBP ranking in the fifth and eighth positions, respectively. Notably, LVEF did not have sufficient importance to predict in-hospital mortality in the Boruta method. The only echocardiographic parameter in the model was left atrium size, ranking sixth in order of importance.

– Importance of the variables included in the ML-HF score. WHOQOL-BREF: World Health Organization quality of life brief version; SBP: systolic blood pressure; DBP: diastolic blood pressure; BUN: Blood Urea Nitrogen..

Discussion

This study has three main findings. We developed a new ML-based score – the ML-HF score - to predict in-hospital mortality in patients with AHF in a LMIC, which was externally validated with acceptable accuracy and good calibration. The ML-HF score outperformed the conventional ADHERE and GWTG-HF scores in the same population.2-5 The study revealed that information gathered from a quality-of-life questionnaire emerged as the most crucial predictor of mortality. Overall, this study provides a new tool to predict risk in AHF patients and highlights the potential of ML to improve risk stratification models within this population.

To our knowledge, this is the first study to incorporate a personal quality-of-life measure in an ML-based model to predict mortality in HF. Surprisingly, the physical health domain of the WHOQOL-BREF questionnaire emerged as the most important predictor of mortality, surpassing serum biomarkers and echocardiographic parameters. This new and unexpected finding was likely made possible only through the use of ML techniques, as they allow for the analysis of variables in a non-linear and predefined manner. This is an example of how ML can analyze intricate patterns in data to find counterintuitive predictors from the human perspective. This result underscores the importance of incorporating patient-reported outcomes (PRO) and considering the patient's self-perception about their health. In simpler terms, it highlights the value of truly listening to the patient.

Previous studies have shown the prognosis value of PRO in patients with chronic HF. In the CHAMP-HF (Change the Management of Patients With Heart Failure) registry, an improvement of 5 points in the Kansas City Cardiomyopathy Questionnaire was associated with a 41% lower risk of all-cause death.19 Notably, PRO has proven to be a better predictor of future events compared to the NYHA functional class, underscoring the importance of assessing the patient's perspective on their health status in addition to the clinician assessment.19,20 In fact, current HF guidelines recommend standardized assessment of PRO as a class 2a recommendation.10 Our study adds to the literature by demonstrating the independent prognostic role of measuring PRO at the admission of patients experiencing decompensated HF.

It is possible to highlight the fact that new variables, in addition to the WHOQOL-Brief physical health domain, were relevant for predicting in-hospital death in our study, factors that are not assessed in other scores, such as hemoglobin, left atrium diameter, presence of prosthetic valve, number of surgical procedures, and presence of hypothyroidism. The relevance of the presence of a prosthetic valve may be due to the high prevalence of rheumatic fever in our population. This once again highlights the importance of developing personalized scores for LMIC countries.21

Machine-learning models have been previously tested to predict in-hospital mortality of patients with AHF in other countries. The MARKER-HF (Machine learning Assessment of RisK and EaRly mortality in Heart Failure) model demonstrated excellent discriminatory power, with an AUC of 0.88. However, this model was developed using both chronic and AHF patients, with varying follow-up durations.9 Segar et al. utilized data from the GWTG registry in the United States to construct an ML-based model to predict in-hospital mortality, which was validated in the Atherosclerosis Risk in Community (ARIC) cohort.5 Much like our investigation, they observed that the ML-based model outperformed the GWTG-HF score, boasting a C-index of approximately 0.80. They were able to incorporate serum biomarkers, such as troponin and natriuretic peptides blood levels, and contextual-level social determinants of health, which helps reduce algorithm bias and improve fairness among underserved populations.4,5

Differences in patient populations, clinical management, and availability of biomarkers such as natriuretic peptides may partly explain the higher accuracy of the Segar et al.5 model compared to ours; however, our model may be particularly valuable in settings with limited access to these biomarkers, especially in LMIC. In our study, individual-level social determinants were used but not selected from the ML-based algorithm. On the other hand, we have shown for the first time that a quality-of-life measure helps improve the prediction of in-hospital death of HF patients in an ML-based model.

Our study has strengths that should be highlighted. Firstly, we analyzed social determinants of health individually, even though they were not selected as important variables. This finding is in line with current literature, which states that social determinants may be relevant only in more homogeneous subgroups, which may not be the case for the Brazilian population.4 Secondly, we also performed external validation using a different cohort from that used for model training, which should be encouraged in studies using ML.7 Thirdly, our sample contains patients from all macro regions of the country, encompassing a wide range of demographic characteristics and social statuses. This diversity enhances the generalizability and validation of our findings across different populations. Fourthly, our data was systematically collected as part of a prospective cohort study, rather than relying on EMR, which are more susceptible to misclassification bias.22-26

This study also has limitations that should be considered. Missing data led to a reduction in the initial sample size, decreasing it to approximately 25% of the original size as we removed patients with missing data in any of the most significant variables. We included only complete cases, assuming data was missing completely at random (MCAR). We opted against multiple imputations to avoid introducing potential bias from model-driven estimates in a predictive setting. In addition, natriuretic peptides were not used to build the model due to a lack of availability in most centers, because it is a database in which the vast majority of sites are publicly funded. We recognize that the absence of these markers may impair the analysis, as these are currently essential tests for confirming the diagnosis of HF. In countries with greater availability, we believe that this variable may be even more relevant and increase the accuracy of the algorithm. On the other hand, this could improve the applicability of the ML score in other LMIC, where access to BNP may also be limited.

Despite promising results, implementing ML-based risk scores in clinical practice remains challenging. Unlike traditional risk scores, which can use simple tables or calculators, ML models require digital infrastructure for data input, processing, and result integration into clinical workflows. In our study, model development and validation were performed on a centralized computer containing data from all participating centers, and analysis was computationally intensive. For real-world use, deployment would require compatible systems and standardized input data. Strategies such as developing offline mobile applications or integrating the model into low-complexity electronic health records could be explored to facilitate implementation in resource-limited settings.

While the current model can be applied without retraining, ML-based models may be periodically updated or retrained to improve performance and adapt to evolving clinical populations. This raises important ethical and regulatory considerations, including data privacy, informed consent for secondary use of patient data, and transparency around model updating procedures. Effective implementation will depend not only on adequate technical infrastructure to support computational demands but also on strong oversight and governance frameworks to ensure safe, equitable, and responsible use.

 Conclusion

We developed and validated a machine learning-based model - the ML-HF score - to predict in-hospital mortality among patients with AHF. This predictive tool presented a discriminative power superior to traditional ADHERE and GWTG scores.

 *Supplemental Materials

For additional information, please click here. https://abccardiol.org/supplementary-material/2025/12211/2025-0136_supplementary_material.pdf

Acknowledgments

The authors would like to express gratitude to the participating colleagues who supported recruitment for the BPC program.

This article is part of the thesis of master submitted by Gustavo Sarot Pereira, from Universidade Federal do Paraná.

This study was approved by the Ethics Committee of the Hospital do Coração - HCOR / Associação Beneficiente Síria under the protocol number 48561715.5.1001.0060. All the procedures in this study were in accordance with the 1975 Helsinki Declaration, updated in 2013. Informed consent was obtained from all participants included in the study.

The authors did not use any artificial intelligence tools in the development of this work.

The data will be made available to the authors upon request.

This study was partially funded by American Heart Association, Hospital do Coração (HCor) and Ministério da Saúde.