Arq Bras Cardiol abc Arquivos Brasileiros de Cardiologia Arq. Bras. Cardiol. 0066-782X 1678-4170 Sociedade Brasileira de Cardiologia - SBC KMDRzHwg3kPvQbsWjD8nPRm S0066-782X2019000700031 10.5935/abc.20190122 Short Editorial Is ProACS Score Just another Risk Stratification Score, or is it Ready for Implementation in Clinical Practice? 0000-0001-6061-9663 Timóteo Ana Teresa 1 2 Centro Hospitalar Universitário Lisboa Central Hospital Santa Marta Departamento de Cardiologia Lisboa Portugal Departamento de Cardiologia - Hospital Santa Marta, Centro Hospitalar Universitário Lisboa Central, Lisboa - Portugal NOVA Medical School Lisboa Portugal NOVA Medical School, Lisboa - Portugal Mailing Address: Ana Teresa Timóteo • Hospital Santa Marta - Cardiology Department - Rua Santa Marta, 1110, Lisboa - Portugal E-mail: ana_timoteo@yahoo.com 08 08 2019 07 2019 113 1 31 32 This is an Open Access article distributed under the terms of the Creative Commons Attribution License, which permits unrestricted use, distribution, and reproduction in any medium, provided the original work is properly cited Keywords: Cardiovascular Diseases Acute Coronary Syndrome Propensity Score Probability Risk Factors Prognosis

Since the first publication of Framingham Risk Score in late 1950’s, derived from data obtained in an observational study to investigate cardiovascular risk factors, several other risk scores were created around the globe and they have been increasingly popular particularly in the last 10-20 years in cardiovascular medicine. The objective of a risk score is to individualize the risk for an individual patient with the use of functional equations based on multiple risk factors. Patients at high risk should be submitted to specific interventions to improve outcome.

Despite this huge increase in risk scoring development, most have not been implemented in clinical practice. In fact, many models showed low predictive performance (as assessed by their calibration and discrimination) and some are poorly reported or were developed using inappropriate methods. For that reason, international guidelines were developed for adequate development and reporting of prediction models.1 For that objective to be fulfilled, it should include an adequate selection of the development cohort, adequate methodology for selection of variables and an adequate validation, both internal and external. In fact, external validation is particularly important because it tests the performance of a prediction model in a different independent patient cohort, where they usually perform less well. It can also allow comparison with other risk stratification tools. This step is essential for safe implementation in clinical practice.

Risk stratification is important because populations are heterogeneous and present a large risk spectrum. Presently, there are very expensive and potent treatments, also with increased risk of adverse events, and thus, management decisions must be supported with risk stratification tools, although clinical judgment remains essential in these decisions. Unfortunately, in clinical practice, there is a misperception by the clinician that the use of individual risk indicators is sufficient to predict outcome and there is also a belief that the use of prediction rules may lead to overtreatment and that they are time consuming.2 This leads to the treatment-risk paradox that in many cases will result in inadequate treatment and poor outcome in patients at very high risk.

In this journal, Gil et al.3 present a paper where they compared several well-known risk stratification scores derived from both randomized clinical trial and registries.3 They also included some scores that were developed for other purposes of risk stratification in cardiovascular medicine. The scores that better predicted in-hospital mortality were GRACE, ACTION-Registry-GWTG and ProACS, but for long-term outcome, none of the studied scores was appropriate. This is a retrospective analysis performed in 1,452 patients admitted with an acute coronary syndrome (ACS), 45.1% with ST-elevation myocardial infarction, with in-hospital mortality of 6.5% and 9.9% of death / non-fatal ACS in a one-year follow-up.

ProACS risk score was developed with a very specific purpose of providing a very easy and simple risk score, with immediate variables, that could be applied early, in the first medical contact, to better decide on patient management strategy.4 ProACS was developed from one of the largest registries worldwide, the Portuguese Registry of Acute Coronary Syndromes, with more than 45,000 patients included.5 In the development study, this score showed good discrimination in all the study cohorts (development, internal and external validation), and similar results were also reported in an independent external validation cohort.4.6 Calibration was adequate in all these studies. Results were, however, slightly worst, compared to GRACE risk score and a recommendation was included that this should be used only as an early risk stratification score, with GRACE risk score to be used later after hospital admission. Surprisingly, in the present study, discrimination of ProACS was even high, with similar c-statistics when compared to the most potent risk stratification scores, but calibration was not adequate, particularly in the non-ST elevation ACS cohort.

One important finding is that ProACS risk score is very similar to C-ACS risk score;7 however, this one was developed in Canada with different patient characteristics, and had very low discrimination in the Portuguese population, stressing the importance of regional external validation studies. Also, risk scores developed from randomized clinical trials were less useful compared to risk scores developed from registries, in cohorts more representative of real-world populations. Clinical trials cohort is very selective, limiting extrapolation for general populations, patients are usually younger and healthier, with a lower rate of comorbidities and clinical trials do not reproduce practices and strategies used in most centres. For that reason, the external validity of models derived from clinical trials is usually lower, as we observed in the present study.

The main objective of ProACS risk score is to immediately stratify the risk in patients with ACS to decide on the adequate management and thus its main objective is the short-term outcome. Results in longer-term follow up were not adequate. For long-term outcome, the inclusion of other variables, such as renal function, troponins and others are also important.

What should not be forgotten is that for each risk stratification score, impact studies should also be performed after external validation. In fact, external validity does not mean that beneficial clinical effects will be obtained when we use a risk score and it does not give information regarding the possible adverse events. Impact studies are essential and should be studied separately from development and validation, preferably in randomized clinical trials and they are usually not performed. From the above, researchers should spend more time on validation and assessing the impact of existing models instead of developing more models that will most likely never be used in clinical practice. This should be the next step to definitely support the use of ProACS risk score in clinical practice.

From the results presented in this study, ProACS risk score will probably be soon implemented in clinical practice, due to the easy and simple application in clinical practice and high discrimination presented but impact studies are needed.

Short Editorial related to the article: Application of Risks Scores in Acute Coronary Syndromes. How Does ProACS Hold Up Against Other Risks Scores?

References 1 Collins GS, Reitsma JB, Altman DG, Moons KG. Transparent Reporting of a multivariate prediction model for individual Prognosis or Diagnosis (TRIPOD): the TRIPOD statement. Ann Intern Med. 2015;162(1):55-63. Collins GS Reitsma JB Altman DG Moons KG Transparent Reporting of a multivariate prediction model for individual Prognosis or Diagnosis (TRIPOD): the TRIPOD statement Ann Intern Med 2015 162 1 55 63 2 Eichler K, Zoller M, Tschudi P, Steurer J. Barriers to apply cardiovascular prediction rules in primary care: a postal survey. BMC Fam Pract. 2007 Jan 3;8:1 Eichler K Zoller M Tschudi P Steurer J Barriers to apply cardiovascular prediction rules in primary care: a postal survey BMC Fam Pract 03 01 2007 8 1 1 3 Gil J, Abreu L, Antunes H, Gonçalves ML, Pires MI, Santos LF, et al. Aplicação de escores de risco em síndromes coronárias agudas: como o ProACS se comporta diante de outros escores de risco? Arq Bras Cardiol. 2019; 113(1):20-30 Gil J Abreu L Antunes H Gonçalves ML Pires MI Santos LF Aplicação de escores de risco em síndromes coronárias agudas: como o ProACS se comporta diante de outros escores de risco? Arq Bras Cardiol 2019 113 1 20 30 4 Timoteo AT, Aguiar Rosa S, Afonso Nogueira M, Belo A, Cruz Ferreira R, ProACS Investigators. ProACS risk score: an early and simple score for risk stratification in patients with acute coronary syndromes. Rev Port Cardiol. 2017;36(2):77-83. Timoteo AT Aguiar Rosa S Afonso Nogueira M Belo A Cruz Ferreira R ProACS Investigators ProACS risk score: an early and simple score for risk stratification in patients with acute coronary syndromes Rev Port Cardiol 2017 36 2 77 83 5 Timoteo AT, Mimoso J, em nome dos investigadores do Registo Nacional de Síndromes Coronárias Agudas. Portuguese Registry of Acute Coronary Syndromes (ProACS): 15 years of a continuous and prospective registry. Rev Port Cardiol. 2018;37(7):563-73. Timoteo AT Mimoso J em nome dos investigadores do Registo Nacional de Síndromes Coronárias Agudas Portuguese Registry of Acute Coronary Syndromes (ProACS): 15 years of a continuous and prospective registry Rev Port Cardiol 2018 37 7 563 573 6 Timoteo AT, Aguiar Rosa S, Nogueira MA, Belo A, Cruz Ferreira R. External validation of the ProACS score for stratification of patients with acute coronary syndromes. Rev Port Cardiol. 2016;35(6):323-8. Timoteo AT Aguiar Rosa S Nogueira MA Belo A Cruz Ferreira R External validation of the ProACS score for stratification of patients with acute coronary syndromes Rev Port Cardiol 2016 35 6 323 328 7 Huynh T, Kouz S, Yan AT, Danchin N, O'Loughlin J, Schamparet E, et al. Canada Acute Coronary Syndrome Risk Score: a new risk score for early prognostication in acute coronary syndromes. Am Heart J. 2013;166(1):58-63. Huynh T Kouz S Yan AT Danchin N O'Loughlin J Schamparet E Canada Acute Coronary Syndrome Risk Score: a new risk score for early prognostication in acute coronary syndromes Am Heart J 2013 166 1 58 63 Minieditorial O Escore ProACS é Apenas Mais Um Escore de Estratificação de Risco ou Está Pronto Para Sua Implementação Na Prática Clínica? 0000-0001-6061-9663 Timóteo Ana Teresa 1 2 Departamento de Cardiologia - Hospital Santa Marta, Centro Hospitalar Universitário Lisboa Central, Lisboa - Portugal NOVA Medical School, Lisboa - Portugal Correspondência: Ana Teresa Timóteo • Hospital Santa Marta - Departamento de Cardiologia - Rua Santa Marta, 1110, Lisboa - Portugal E-mail: ana_timoteo@yahoo.com Palavras-chave: Doenças Cardiovasculares Síndrome Coronariana Aguda Pontuação de Progressão Probabilidade Fatores de Risco Prognóstico

Desde a primeira publicação do Escore de Risco Framingham no final dos anos 50, derivado de dados obtidos em um estudo observacional para investigar fatores de risco cardiovascular, vários outros escores de risco foram criados em todo o mundo e têm se tornado cada vez mais populares, particularmente nos últimos 10 a 20 anos, em medicina cardiovascular. O objetivo de um escore de risco é individualizar o risco para um certo paciente através do uso de equações funcionais baseadas em múltiplos fatores de risco. Pacientes de alto risco devem ser submetidos a intervenções específicas para melhorar o desfecho.

Apesar deste enorme aumento no desenvolvimento de escores de risco, a maioria não foi implementada na prática clínica. De fato, muitos modelos mostraram baixo desempenho preditivo (conforme avaliado por sua calibração e discriminação) e alguns são mal relatados ou foram desenvolvidos utilizando métodos inadequados. Por essa razão, diretrizes internacionais foram criadas para o adequado desenvolvimento e relato de modelos preditivos.1 Para que esse objetivo seja alcançado, ele deve incluir uma seleção adequada da coorte de desenvolvimento, metodologia adequada para seleção de variáveis e uma validação adequada, tanto interna quanto externa. De fato, a validação externa é particularmente importante, porque testa o desempenho de um modelo preditivo em uma coorte diferente de pacientes independentes, onde eles geralmente têm um desempenho menos satisfatório. Também pode permitir a comparação com outros instrumentos de estratificação de risco. Este passo é essencial para uma implementação segura na prática clínica.

A estratificação de risco é importante porque as populações são heterogêneas e apresentam um amplo espectro de risco. Atualmente, há tratamentos muito caros e potentes, também com risco aumentado de eventos adversos e, portanto, as decisões de manejo devem ser apoiadas com instrumentos de estratificação de risco, embora o julgamento clínico continue sendo essencial nessas decisões. Infelizmente, na prática clínica, há uma percepção equivocada do clínico de que o uso de indicadores de risco individuais é suficiente para prever o desfecho e também há a crença de que o uso de regras de previsão pode levar ao tratamento excessivo e que elas consomem tempo.2 Isso leva ao paradoxo risco-tratamento, o que, em muitos casos, resultará em tratamento inadequado e desfecho ruim em pacientes com risco muito alto.

Nessa revista, Gil et al.,3 apresentam um artigo onde compararam vários escores de estratificação de risco bem conhecidos, derivados tanto de ensaios clínicos randomizados quanto de registros.3 Eles também incluíram alguns escores desenvolvidos para outros fins de estratificação de risco em medicina cardiovascular. Os escores que apresentaram a melhor previsão de mortalidade intra-hospitalar foram os escores GRACE, ACTION-Registry-GWTG e ProACS, mas para o desfecho em longo prazo, nenhum dos escores estudados foi apropriado. Trata-se de uma análise retrospectiva realizada em 1.452 pacientes internados com síndrome coronariana aguda (SCA), 45,1% com infarto do miocárdio com supradesnivelamento do segmento ST, com mortalidade intra-hospitalar de 6,5% e 9,9% de morte/SCA não-fatal durante um período de seguimento de 1 ano.

O escore de risco ProACS foi desenvolvido com um propósito muito específico de fornecer um escore de risco simples e muito fácil, com variáveis imediatas, que poderiam ser aplicadas inicialmente, no primeiro contato com o médico, para melhor decidir sobre a estratégia de manejo do paciente.4 O ProACS foi desenvolvido a partir de um dos maiores registros mundiais, o Portuguese Registry of Acute Coronary Syndromes (Registro Português de Síndromes Coronarianas Agudas), que incluiu mais de 45.000 pacientes.5 No estudo de desenvolvimento, esse escore mostrou boa discriminação em todas as coortes do estudo (desenvolvimento, validação interna e externa), e resultados semelhantes também foram relatados em uma coorte de validação externa independente.4.6 A calibração foi adequada em todos esses estudos. Entretanto, os resultados foram um pouco piores em comparação ao escore de risco GRACE, e foi incluída uma recomendação de que esse estudo deveria ser utilizado apenas como escore de estratificação de risco inicial, com o escore de risco GRACE a ser utilizado posteriormente, após a hospitalização. Surpreendentemente, no presente estudo, a discriminação do ProACS foi ainda alta, com estatística-c similar quando comparada com os escores de estratificação de risco mais potentes, mas a calibração não foi adequada, particularmente na coorte com SCA sem supradesnivelamento do segmento ST.

Um achado importante é que o escore de risco ProACS é muito semelhante ao escore de risco C-ACS;7 no entanto, este último foi desenvolvido no Canadá com diferentes características dos pacientes e mostrou discriminação muito baixa na população portuguesa, ressaltando a importância dos estudos de validação externa regional. Além disso, os escores de risco desenvolvidos a partir de ensaios clínicos randomizados foram menos úteis em comparação com os escores de risco desenvolvidos a partir de registros, em coortes mais representativas de populações do mundo real. A coorte de ensaios clínicos é muito seletiva, limitando a extrapolação para populações em geral; os pacientes são geralmente mais jovens e saudáveis, com menor taxa de comorbidades e os ensaios clínicos não reproduzem práticas e estratégias utilizadas na maioria dos centros. Por essa razão, a validade externa dos modelos derivados de ensaios clínicos é geralmente menor, como observado no presente estudo.

O principal objetivo do escore de risco ProACS é estratificar imediatamente o risco em pacientes com SCA para decidir sobre o manejo adequado e, portanto, seu objetivo principal é o desfecho em curto prazo. Os resultados no seguimento de longo prazo não foram adequados. Para o desfecho em longo prazo, a inclusão de outras variáveis, como função renal, troponinas e outras, também é importante.

O que não deve ser esquecido é que, para cada escore de estratificação de risco, os estudos de impacto também devem ser realizados após a validação externa. De fato, a validade externa não significa que os efeitos clínicos benéficos serão obtidos quando utilizarmos um escore de risco e ela não fornece informações sobre os possíveis eventos adversos. Os estudos de impacto são essenciais e devem ser estudados separadamente do desenvolvimento e da validação, preferencialmente em ensaios clínicos randomizados e geralmente não são realizados. Considerando os fatos expostos, os pesquisadores devem dedicar mais tempo à validação e avaliação do impacto dos modelos existentes, em vez de desenvolver mais modelos que provavelmente nunca serão utilizados na prática clínica. Este deve ser o próximo passo para apoiar definitivamente o uso do escore de risco ProACS na prática clínica.

Com base nos resultados apresentados neste estudo, o escore de risco ProACS provavelmente logo será implementado na prática clínica, devido à sua aplicação fácil e simples na prática clínica e alta discriminação apresentada, mas estudos de impacto são necessários.

Minieditorial referente ao artigo: Aplicação de Escores de Risco em Síndromes Coronárias Agudas: Como o ProACS se Comporta Diante de Outros Escores de Risco?