abcArq Bras CardiolArquivos Brasileiros de CardiologiaArq. Bras. Cardiol.0066-782X1678-4170Sociedade Brasileira de CardiologiaCdP9Y9sFxVTvwcCDQq8LwkfS0066-782X2015002400450S0066-782X201500505010110.5935/abc.20150101Original ArticlesAge, Creatinine and Ejection Fraction Score in Brazil: Comparison with InsCor and the EuroSCOREMejíaOmar Asdrúbal VilcaMatrangoloBruna La ReginaTitingerDavid ProvenzaleFariaLeandro Batisti deDallanLuís Roberto PalmaGalasFilomena Regina BarbosaLisboaLuiz Augusto FerreiraDallanLuís Alberto OliveiraJateneFabio BiscegliUniversidade de São PauloFaculdade de MedicinaHospital das ClínicasSão PauloSPBrazilInstituto do Coração - Hospital das Clínicas - Faculdade de Medicina - Universidade de São Paulo (USP), São Paulo, SP – BrazilUniversidade de São PauloMailing Address: Omar Asdrúbal Vilca Mejía, Instituto do Coração – InCor. 44 Dr Enéas de Carvalho Aguiar Avenue - 2º andar – Block II – Room 11 Cerqueira César. Postal Code 05403-900, São Paulo, SP – Brazil. E-mail: omarvmejia@incor.usp.br
Author contributions
Conception and design of the research: Matrangolo BLR, Mejía OAV, Titinger DP, Faria LB, Dallan LRP, Lisboa LAF, Dallan LAO, Jatene FB; Acquisition of data: Matrangolo BLR, Mejía OAV, Titinger DP, Faria LB, Dallan LRP, Lisboa LAF, Dallan LAO; Analysis and interpretation of the data: Mejía OAV, Galas FRB, Jatene FB; Statistical analysis: Mejía OAV, Jatene FB; Writing of the manuscript: Mejía OAV, Faria LB, Dallan LRP, Galas FRB, Lisboa LAF, Dallan LAO, Jatene FB; Critical revision of the manuscript for intellectual content: Mejía OAV, Galas FRB, Lisboa LAF, Dallan LAO, Jatene FB.
Potential Conflict of Interest
No potential conflict of interest relevant to this article was reported.
250820151120151055450456301020141402201519022015This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.AbstractBackground:
Risk scores for cardiac surgery cannot continue to be neglected.
Objective:
To assess the performance of “Age, Creatinine and Ejection Fraction Score” (ACEF Score) to predict mortality in patients submitted to elective coronary artery bypass graft and/or heart valve surgery, and to compare it to other scores.
Methods:
A prospective cohort study was carried out with the database of a Brazilian tertiary care center. A total of 2,565 patients submitted to elective surgeries between May 2007 and July 2009 were assessed. For a more detailed analysis, the ACEF Score performance was compared to the InsCor’s and EuroSCORE’s performance through correlation, calibration and discrimination tests.
Results:
Patients were stratified into mild, moderate and severe for all models. Calibration was inadequate for ACEF Score (p = 0.046) and adequate for InsCor (p = 0.460) and EuroSCORE (p = 0.750). As for discrimination, the area under the ROC curve was questionable for the ACEF Score (0.625) and adequate for InsCor (0.744) and EuroSCORE (0.763).
Conclusion:
Although simple to use and practical, the ACEF Score, unlike InsCor and EuroSCORE, was not accurate for predicting mortality in patients submitted to elective coronary artery bypass graft and/or heart valve surgery in a Brazilian tertiary care center. (Arq Bras Cardiol. 2015; [online].ahead print, PP.0-0)
Cardiac surgery represents a big impact on the health system due to its significant use of human and financial resources. Therefore, risk stratification becomes increasingly important 1.
Regarding clinical practice, there are three ways to use a risk score in a specific population. The simplest, but also the less optimal, is the immediate use of an external score, without any model adaptation. Recalibration, which maintains the same model variables, has its weights adjusted based on its own data. Remodeling is the choice of new variables based on local risk factors. Undoubtedly, this last option offers the best accuracy and the best performance2.
In Brazil, the InsCor3 model with ten variables, a product of the remodeling of two international models4,5, provides information on the impact of local risk factors. However, the EuroSCORE, with 17 variables, remains the most widely used in the country6-8. Over time, controversies related to the overestimation of the EuroSCORE led to the development of the EuroSCORE II9. This model, which is even more complex, had problems related to its external validation, including in Brazil10, which led us to rethink about the choice of international scores and the preference for increasingly simple models.
The “Age, Creatinine and Ejection Fraction” (ACEF) score was proposed in 2009 to predict mortality in adult patients submitted to elective heart surgery11. The main characteristic of this score is the fact that it is a practical one, as the ratio between age and ejection fraction is the basis of calculation, added by an additional point when preoperative creatinine is > 2.0 mg/dL. The ACEF Score was developed and validated in Italy12 only, where it attained good accuracy, excellent calibration and parsimony in clinical application. This model, which attained a similar performance to that of EuroSCORE, was never validated outside Italy or compared to a Brazilian model.
The objective of this study was to evaluate the performance of ACEF Score and compare its performance with the InsCor and the EuroSCORE for predicting mortality in patients undergoing coronary artery bypass graft (CABG) and/or elective heart valve surgery in a Brazilian tertiary care center.
MethodsSample
A retrospective, observational study was carried out based on a prospective database of Instituto do Coração (InCor) of Hospital das Clínicas da Faculdade de Medicina da Universidade de São Paulo (HC-FMUSP).
The hypothesis that the records included data for all variables of the chosen models had to be confirmed before the start of the analysis. Thus, to carry out the statistical validation, the sample size should include at least a hundred deaths. Data published by InCor showed a mortality of 4.8% for elective CABG and 8.4% for elective heart valve surgery13; thereby, the minimum number of patients would be 2,084. We then chose the number of consecutive patients consecutively submitted to elective surgeries between May 2007 and July 2009, which amounted to a total of 2,565 patients.
Inclusion Criteria
The inclusion criteria were the following: age ≥ 18 years old and having undergone heart valve surgery (replacement or plastic), Coronary Artery Bypass Graft (CABG; with or without the use of cardiopulmonary bypass) or associated surgery (CABG and valve surgery), electively, in the established period.
Data collection, definition and organization
The collection of data from patients included in this registry was performed by a graduate student supervised by two assistant physicians of the Department of Cardiovascular Surgery of InCor. At the time, a spreadsheet was created to cover all the variables described by the 2000 Bernstein-Parsonnet and EuroSCORE14 models. In this analysis, 60 preoperative variables were collected per patient and placed in an interface created in Excel. After the registry evaluation, we observed that it could also provide information to validate the ACEF Score − and, moreover, it could compare its performance to that of the InsCor and EuroSCORE.
The ACEF Score value was calculated by the following equation, available in the model publication:
Age (y) /EF (%) + 1 (if preoperative serum creatinine value > 2.0 mg/dL
The additive value of InsCor was calculated from a graph with its own scoring system and the EuroSCORE, from the site: http://www.euroscore.org/calc.html. All settings attributed to the model variables (Chart 1) were taken into account, together with their respective values and classified according to their importance regarding the death event. The follow-up was limited to the hospital phase, having hospital mortality as the primary outcome, which covered the period between surgery and hospital discharge. For optimization and completeness of the data, all information recorded in the Department of Cardiovascular Surgery were confined to the Incor Data Processing Service.
Models and their variables
ACEF Score
InsCor
EuroSCORE
Age, ejection fraction and creatinine = 2 mg/dL
Age > 70 years, female gender, associated coronary surgery + valve, recent infarction, reoperation, aortic valve surgery, tricuspid valve surgery, creatinine > 2mg/dL, ejection fraction < 30%, preoperative events (use of preoperative inotropics, cardiogenic shock, cardiac resuscitation, use of intra-aortic balloon, acute renal failure, heart massage, orotracheal intubation, tachycardia or ventricular fibrillation)
Age, gender, COPD, peripheral vascular disease, neurological dysfunction, creatinine, endocarditis, previous cardiac surgery, critical preoperative status (use of preoperative inotropics, cardiogenic shock, cardiac resuscitation and use of intra-aortic balloon), unstable angina, recent myocardial infarction, left ventricular ejection fraction, pulmonary hypertension (sPAP > 60 mmHg), emergency, associated surgery surgery on the aorta and VSD post-infarction
To evaluate the performance of the ACEF score, the EuroSCORE and InsCor in mortality prediction, the models predictive validation was carried out in 2,565 patients. The validation was performed through calibration and discrimination tests. The calibration was calculated using the Hosmer-Lemeshow test (H-L), which shows the degree to which the model fits the data. Therefore, it has a different interpretation; if the H-L test is not significant (p> 0.05), the model has a proper fit. Models with good fit show no significance at the test, indicating that the model’s prediction is not significantly different from the observed values.
The discrimination, which differentiates high-risk patients from low-risk ones was measured by the area under the Receiver Operating Characteristics (ROC) curve. Continuous variables were expressed as mean ± standard deviation and categorical variables as percentages. The models’ performance was measured by comparing the observed and expected mortality in the risk groups established by the models. Fisher’s exact test was used for contingency tables. A p value <0.05 was considered significant. Statistical analysis was performed with the Statistical Package for Social Sciences (SPSS) software, Statistics Desktop, version 22.0 for Windows (IBM Corporation Armonk, New York, United States).
Ethics and Informed Consent
The Free and Informed Consent was waived, as the study includes only data without identification.
ResultsSample
Of the 2,565 analyzed patients, 167 patients (6.5%) died. The mean age was 59.62 ± 13.35 years, and 913 (35.59%) patients were females. The mean ejection fraction was 56.62% ± 12.99%. The mean score values in the sample was 1.18 ± 0.54, 3.48 ± 3.31 and 3.78 ± 2.87 for the ACEF Score, InsCor and EuroSCORE, respectively. The following surgeries were performed: 1,130 (44.1%) isolated CABG; 679 (26.5%) mitral valve surgeries; 580 (22.6%) aortic valve surgeries and 176 (6.86%) CABG + valve surgeries. Nevertheless, there were 449 (17.5%) reoperation cases and 100 (3.9%) patients with creatinine > 2 mg/dL.
Adequacy of the models
There was a high positive correlation between EuroSCORE and InsCor (Spearman, r = 0.770; p < 0.0001), a moderate one between EuroSCORE and ACEF Score (Spearman, r = 0.527; p < 0.0001) and a low one between InsCor and ACEF Score (Spearman, r = 0.301; p < 0.0001) to predict mortality in the assessed sample.
Calibration
The ACEF score showed association with death (p < 0.0001). However, the H-L test did not show a good model fit (p = 0.046) (Table 1). For a better analysis, the ACEF score was divided into three categories (Table 2). On the other hand, the InsCor, in addition to demonstrating an association with death (p <0.0001), showed good fit (p = 0.460) in the H-L test (Table 3). In Table 4, the InsCor was divided into three categories. Still, the EuroSCORE showed association with death (p <0.0001) and a good fit (p = 0.750) in the H-L test (Table 5). In Table 6, the EuroSCORE was divided into three categories.
Association between the ACEF Score, death and the Hosmer-Lemeshow test
Group
Total
Death
Yes
No
Observed
Expected
Observed
Expected
1
256
14
10.26
242
245.74
2
256
9
11.81
247
244.19
3
257
11
12.72
246
244.28
4
257
7
13.38
250
243.62
5
259
11
14.20
248
244.80
6
255
21
14.73
234
240.27
7
257
10
15.76
247
241.24
8
257
25
17.39
232
239.61
9
257
25
21.35
232
235.65
10
254
34
35.42
220
218.58
ACEF Score divided into mild, moderate and severe risk
The area under the ROC curve was 0.625 (95% CI: from 0.58 to 0.67; p < 0.0001) for the ACEF score, of 0.744 (95% CI: 0.70-0.79; p < 0.0001) for InsCor and 0.763 (95%CI: 0.72-0.80; p < 0.0001) for the EuroSCORE (Figure 1). There was an overlap between the ROC curve of the EuroSCORE and that of InsCor. However, the ACEF score showed the lowest area and it did not overlap with that of the other models.
ROC curve for the ACEF score, InsCor and EuroSCORE in assessing the power of discrimination performed in 2565 patients. EURO: EuroSCORE; ACEF Score: Age, Creatinine and Ejection Fraction Score;
Discussion
Risk scores should be linear and simplified formulas for predicting mortality or morbidity at the bedside and without the need for calculators or other personal assistants15.
These instruments are usually evaluated in terms of accuracy (discriminative power), calibration and clinical performance. Many authors have emphasized that the level of precision rarely exceeds an area under the ROC curve of 0.75 (value that is inappropriate for clinical purposes), and that calibration may be inaccurate for low and high risk groups16. Risk scores are developed through statistical methods and subsequently validated in other populations to assess its clinical applicability. They are developed to be used in large populations, such as the EuroSCORE, constructed from 19,030 patients with nearly 450 events. This evidently allows the inclusion of a large number of independent predictors into the model (ten events are considered per predictor)17. However, the publication of the ACEF Score confirms the experimental hypothesis that a risk score can be developed based on a very limited number of risk factors. The evidence that the risk of mortality in elective cardiac surgery can be predicted with only three risk factors seems to be in conflict with the general hypothesis that the higher the number of considered risk factors, the more accurate and better calibrated the model will be. However, a number of clinical, practical and mathematical considerations may explain this apparent paradox.
Wells et al18 concluded that “less is more” in the multivariate analysis. Thus, instead of including many variables, the models could be more consistent and effective when confined to a few variables (good predictors). In this study, however, the three risk factors used in the ACEF Score were also included in the InsCor and EuroSCORE. Perhaps one advantage of the ACEF Score, in addition to its simplicity, is that the variables age and ejection fraction are used in their continuous form instead of categorical, as in the other two models. The inclusion of a large number of independent variables increases the risk of multicollinearity, which, in practice, would be the risk of redundant information in the model19. However, for individual cases, and especially in complex ones, greatly simplifying a model can be risky.
The question would be: national or international score; simple, intermediate or complex one - which one will be easier, cheaper and more appropriate?
After the publication of the administrative database of the Brazilian Unified Health System [Sistema Único de Saúde (SUS)], showing a mortality in cardiac surgery of 8% in Brazil20, efforts were made related to the validation of international risk models21 and the formulation of national models22.
Comparing raw results of an administrative database with a clinical database, and also a voluntary one, such as the Society of Thoracic Surgery (STS), in the United States, is unacceptable. It should be emphasized that the STS registry represents 10% of the total surgeries performed annually in referral hospitals of the United States23.
In this context, the data from the Italian public health service are important. In the capital, Rome, CABG mortality in the same period during which the Brazilian analysis was carried out was 5.4%. When mortality was divided by socioeconomic status (at the same hospitals), mortality in the higher socioeconomic group (economically more favored and more educated) was 4.8%. In the most disadvantaged group (the poorest and least educated), mortality was 8.2% 24.
There is no doubt that SUS includes the range of poorer patients undergoing cardiac surgery in Brazil, where less than 30% of procedures are performed by the private sector25. The current scenario is extremely timely, as it provides space for the search of risk scores that are more accurate for our reality, knowing that the simpler and more effective a model is, the better cost-effectiveness of the system.
For all these reasons, the ACEF Score, validated in Italy, was chosen to be validated in Brazil, following all the recommendations of the authors (on label). However, although the ACEF Score has shown to be comparable to the EuroSCORE, it showed to inferior to the InsCor and EuroSCORE and moreover, it was inadequate for our reality.
On the other hand, the EuroSCORE confirmed its good performance in Brazil6,7. However, as it is more complex and has the same accuracy of the InsCor (areas of overlapping ROC curves), it should be preferred exclusively for individual evaluation.
The EuroSCORE was recently remodeled9 and is now called “EuroSCORE II”. However, this version was not chosen for this study because, in addition to being more complex, it has brought to Brazil10 the same difficulties it showed in several centers worldwide26-28.
In this study, we observed that the ACEF score, even applied on label, showed its deficiency for a population with hypothetically similar characteristics to those of the population that originated it.
Thus, the accuracy of InsCor of ten variables was better than that of the ACEF score of three variables, and similar to the EuroSCORE of 17 variables, showing that intermediate complexity models may be preferred.
Limitations
First, as there was no record of patients, the calculation of ACEF score was carried out retrospectively. However, those in charge of the calculations were not aware of the outcomes. Second, although the registry includes patients from different regions of Brazil, data were collected from a single tertiary center, characterizing it as a single-center study.
Conclusion
The ACEF Score, although simple and practical, failed to predict mortality in patients submitted to coronary artery bypass graft and/or elective heart valve surgery in a Brazilian tertiary care center.
Sources of Funding
There were no external funding sources for this study.
Study Association
This study is not associated with any thesis or dissertation work.
ReferencesMejía OA, Lisboa LA, Dallan LA, Pomerantzeff PM, Trindade EM, Jatene FB, et al. Estratificação de risco cirúrgico como instrumento de inovação em programas de cirurgia cardíaca no Sistema Único de Saúde do Estado de São Paulo: Estudo SP-Score-SUS. Rev Bras Cir Cardiovasc. 2013;28(2):263-9.MejíaOALisboaLADallanLAPomerantzeffPMTrindadeEMJateneFBEstratificação de risco cirúrgico como instrumento de inovação em programas de cirurgia cardíaca no Sistema Único de Saúde do Estado de São Paulo: Estudo SP-Score-SUSRev Bras Cir Cardiovasc2013282263269Ivanov J, Tu JV, Naylor CD. Ready-made, recalibrated, or remodeled? Issues in the use of risk indexes for assessing mortality after coronary artery bypass graft surgery. Circulation. 1999;99(16):2098-104.IvanovJTuJVNaylorCDReady-made, recalibrated, or remodeled? Issues in the use of risk indexes for assessing mortality after coronary artery bypass graft surgeryCirculation1999991620982104Mejía OA, Lisboa LA, Puig LB, Moreira LF, Dallan LA, Pomerantzeff PM, et al. InsCor: a simple and accurate method for risk assessment in heart surgery. Arq Bras Cardiol. 2013;100(3):246-54.MejíaOALisboaLAPuigLBMoreiraLFDallanLAPomerantzeffPMInsCor: a simple and accurate method for risk assessment in heart surgeryArq Bras Cardiol20131003246254Nashef SA, Roques F, Michel P, Gauducheau E, Lemeshow S, Salamon R; the EuroSCORE study group. European system for cardiac operative risk evaluation (EuroSCORE). Eur J Cardiothorac Surg. 1999;16(1):9-13.NashefSARoquesFMichelPGauducheauELemeshowSSalamonRthe EuroSCORE study groupEuropean system for cardiac operative risk evaluation (EuroSCORE)Eur J Cardiothorac Surg1999161913Bernstein AD, Parsonnet V. Bedside estimation of risk as an aid for decision-making in cardiac surgery. Ann Thorac Surg. 2000;69(3):823-8.BernsteinADParsonnetVBedside estimation of risk as an aid for decision-making in cardiac surgeryAnn Thorac Surg2000693823828Moraes F, Duarte C, Cardoso E, Tenório E, Pereira V, Lampreia D, et al. Avaliação do EuroSCORE como preditor de mortalidade em cirurgia de revascularização miocárdica no Instituto do Coração de Pernambuco. Rev Bras Cir Cardiovasc. 2006;21(1):29-34.MoraesFDuarteCCardosoETenórioEPereiraVLampreiaDAvaliação do EuroSCORE como preditor de mortalidade em cirurgia de revascularização miocárdica no Instituto do Coração de PernambucoRev Bras Cir Cardiovasc20062112934Andrade IN, Moraes Neto FR, Oliveira JP, Silva IT, Andrade TG, Moraes CR. Assessment of the EuroSCORE as a predictor for mortality in valve cardiac surgery at the Heart Institute of Pernambuco. Rev Bras Cir Cardiovasc. 2010;25(1):11-8.AndradeINMoraesFRNetoOliveiraJPSilvaITAndradeTGMoraesCRAssessment of the EuroSCORE as a predictor for mortality in valve cardiac surgery at the Heart Institute of PernambucoRev Bras Cir Cardiovasc20102511118Mejía OA, Lisboa LA, Puig LB, Dias RR, Dallan LA, Pomerantzeff PM, et al. The 2000 Bernstein-Parsonnet score and EuroSCORE are similar in predicting mortality at the Heart Institute, USP. Rev Bras Cir Cardiovasc. 2011;26(1):1-6.MejíaOALisboaLAPuigLBDiasRRDallanLAPomerantzeffPMThe 2000 Bernstein-Parsonnet score and EuroSCORE are similar in predicting mortality at the Heart Institute, USPRev Bras Cir Cardiovasc201126116Nashef SA, Roques F, Sharples LD, Nilsson J, Smith C, Goldstone AR, et al. EuroSCORE II. Eur J Cardiothorac Surg. 2012;41(4):734-44.NashefSARoquesFSharplesLDNilssonJSmithCGoldstoneAREuroSCORE IIEur J Cardiothorac Surg2012414734744Lisboa LA, Mejia OA, Moreira LF, Dallan LA, Pomerantzeff PM, Dallan LR, et al. EuroSCORE II and the importance of a local model, InsCor and the future SP-SCORE. Rev Bras Cir Cardiovasc. 2014;29(1):1-8.LisboaLAMejiaOAMoreiraLFDallanLAPomerantzeffPMDallanLREuroSCORE II and the importance of a local model, InsCor and the future SP-SCORERev Bras Cir Cardiovasc201429118Ranucci M, Castelvecchio S, Menicanti L, Frigiola A, Pelissero G. Risk of assessing mortality risk in elective cardiac operations. Age, creatinine, ejection fraction and the law of parsimony. Circulation. 2009;119(24):3053-61.RanucciMCastelvecchioSMenicantiLFrigiolaAPelisseroGRisk of assessing mortality risk in elective cardiac operations. Age, creatinine, ejection fraction and the law of parsimonyCirculation20091192430533061Ranucci M, Castelvecchio S, Conte M, Megliola G, Speziale G, Fiore F, et al. The easier, the better: age, creatinine, ejection fraction score for operative mortality risk stratification in a series of 29,659 patients undergoing elective cardiac surgery. J Thorac Cardiovasc Surg. 2011;142(3):581-6.RanucciMCastelvecchioSConteMMegliolaGSpezialeGFioreFThe easier, the better: age, creatinine, ejection fraction score for operative mortality risk stratification in a series of 29,659 patients undergoing elective cardiac surgeryJ Thorac Cardiovasc Surg20111423581586Lisboa LA, Moreira LF, Mejia OV, Dallan LA, Pomerantzeff PM, Costa R, et al. Evolution of cardiovascular surgery at the Instituto do Coração: analysis of 71,305 surgeries. Arq Bras Cardiol. 2010;94(2):162-8.LisboaLAMoreiraLFMejiaOVDallanLAPomerantzeffPMCostaREvolution of cardiovascular surgery at the Instituto do Coração: analysis of 71,305 surgeriesArq Bras Cardiol2010942162168Mejía OA, Lisboa LA, Dallan LA, Pomerantzeff PM, Moreira LF, Jatene FB, et al. Validation of the 2000 Bernstein-Parsonnet and EuroSCORE at the Heart Institute - USP. Rev Bras Cir Cardiovasc. 2012;27(2):187-94.MejíaOALisboaLADallanLAPomerantzeffPMMoreiraLFJateneFBValidation of the 2000 Bernstein-Parsonnet and EuroSCORE at the Heart Institute - USPRev Bras Cir Cardiovasc2012272187194Hannan EL, Racz M, Culliford AT, Lahey SJ, Wechsler A, Jordan D, et al. Risk score for predicting in-hospital/30-day mortality for patients undergoing valve and valve/coronary artery bypass graft surgery. Ann Thorac Surg. 2013;95(4):1282-90.HannanELRaczMCullifordATLaheySJWechslerAJordanDRisk score for predicting in-hospital/30-day mortality for patients undergoing valve and valve/coronary artery bypass graft surgeryAnn Thorac Surg201395412821290Mejía OA, Lisboa LA. The risk of risk scores and the dream of BraSCORE. Rev Bras Cir Cardiovasc. 2012;27(2):xii-xiii.MejíaOALisboaLAThe risk of risk scores and the dream of BraSCORERev Bras Cir Cardiovasc2012272xiixiiiPeduzzi P, Concato J, Kemper E, Holford TR, Feinstein AR. A simulation study of the number of events per variable in logistic regression analysis. J Clin Epidemiol. 1996;49(12):1373-9.PeduzziPConcatoJKemperEHolfordTRFeinsteinARA simulation study of the number of events per variable in logistic regression analysisJ Clin Epidemiol1996491213731379Wells CK, Feinstein AR, Walter SD. A comparison of multivariable mathematical methods for predicting survival - III. Accuracy of predictions in generating and challenge sets. J Clin Epidemiol. 1990;43(4):361-72.WellsCKFeinsteinARWalterSDA comparison of multivariable mathematical methods for predicting survival - III. Accuracy of predictions in generating and challenge setsJ Clin Epidemiol1990434361372Tu JV, Sykora K, Naylor CD. Assessing the outcomes of coronary artery bypass graft surgery: how many risk factors are enough? Steering Committee of the Cardiac Care Network of Ontario. J Am Coll Cardiol. 1997;30(5):1317-23.TuJVSykoraKNaylorCDAssessing the outcomes of coronary artery bypass graft surgery: how many risk factors are enough? Steering Committee of the Cardiac Care Network of OntarioJ Am Coll Cardiol199730513171323Ribeiro AL, Gagliardi SP, Nogueira JL, Silveira LM, Colosimo EA, Nascimento CA. Mortality related to cardiac surgery in Brazil, 2000-2003. J Thorac Cardiovasc Surg. 2006;131(4):907-9.RibeiroALGagliardiSPNogueiraJLSilveiraLMColosimoEANascimentoCAMortality related to cardiac surgery in Brazil, 2000-2003J Thorac Cardiovasc Surg20061314907909Ikeoka DT, Fernandes VA, Gebara O, Garcia JC, Barros e Silva PG, Rodrigues MJ, et al. Evaluation of the Society of Thoracic Surgeons score system for isolated coronary bypass graft surgery in a Brazilian population. Rev Bras Cir Cardiovasc. 2014;29(1):51-8IkeokaDTFernandesVAGebaraOGarciaJCBarros e SilvaPGRodriguesMJEvaluation of the Society of Thoracic Surgeons score system for isolated coronary bypass graft surgery in a Brazilian populationRev Bras Cir Cardiovasc20142915158Cadore MP, Guaragna JC, Anacker JF, Albuquerque LC, Bodanese LC, Piccoli JC, et al. Proposição de um escore de risco cirúrgico em pacientes submetidos à cirurgia de revascularização miocárdica. Rev Bras Cir Cardiovasc. 2010;25(4):447-56.CadoreMPGuaragnaJCAnackerJFAlbuquerqueLCBodaneseLCPiccoliJCProposição de um escore de risco cirúrgico em pacientes submetidos à cirurgia de revascularização miocárdicaRev Bras Cir Cardiovasc2010254447456Gomes WJ, Mendonça JT, Braile DM. Cardiovascular surgery outcomes opportunity to rediscuss medical and cardiological care in the Brazilian public health system. Rev Bras Cir Cardiovasc. 2007;22(4):III-VI.GomesWJMendonçaJTBraileDMCardiovascular surgery outcomes opportunity to rediscuss medical and cardiological care in the Brazilian public health systemRev Bras Cir Cardiovasc2007224IIIIVIAncona C, Agabiti N, Forastiere F, Arca M, Fusco D, Ferro S, et al. Coronary artery bypass graft surgery: socioeconomic inequalities in access and in 30 day mortality. A population-based study in Rome, Italy. J Epidemiol Community Health. 2000;54(12):930-5.AnconaCAgabitiNForastiereFArcaMFuscoDFerroSCoronary artery bypass graft surgery: socioeconomic inequalities in access and in 30 day mortality. A population-based study in Rome, ItalyJ Epidemiol Community Health20005412930935Piegas LS, Bittar OJ, Haddad N. Myocardial revascularization surgery (MRS): results from national health system (SUS). Arq Bras Cardiol. 2009;93(5):555-60.PiegasLSBittarOJHaddadNMyocardial revascularization surgery (MRS): results from national health system (SUS) Arq Bras Cardiol2009935555560Chalmers J, Pullan M, Fabri B, McShane J, Shaw M, Mediratta N, et al. Validation of EuroSCORE II in a modern cohort of patients undergoing cardiac surgery. Eur J Cardiothorac Surg. 2013;43(4):688-94.ChalmersJPullanMFabriBMcShaneJShawMMedirattaNValidation of EuroSCORE II in a modern cohort of patients undergoing cardiac surgeryEur J Cardiothorac Surg2013434688694Carnero-Alcázar M, Silva Guisasola JA, Reguillo Lacruz FJ, Maroto Castellanos LC, Cobiella Carnicer J, Villagrán Medinilla E, et al. Validation of EuroSCORE II on a single-center 3800 patient cohort. Interact Cardiovasc Thorac Surg. 2013;16(3):293-300.Carnero-AlcázarMSilva GuisasolaJAReguillo LacruzFJMaroto CastellanosLCCobiella CarnicerJVillagrán MedinillaEValidation of EuroSCORE II on a single-center 3800 patient cohortInteract Cardiovasc Thorac Surg2013163293300Kunt AG, Kurtcephe M, Hidiroglu M, Cetin L, Kucuker A, Bakuy V, et al. Comparison of original EuroSCORE, EuroSCORE II and STS risk models in a Turkish cardiac surgical cohort. Interact Cardiovasc Thorac Surg. 2013;16(5):625-9.KuntAGKurtcepheMHidirogluMCetinLKucukerABakuyVComparison of original EuroSCORE, EuroSCORE II and STS risk models in a Turkish cardiac surgical cohortInteract Cardiovasc Thorac Surg2013165625629Age, Creatinine and Ejection Fraction Score no Brasil: Comparação com o InsCor e o EuroSCOREMejíaOmar Asdrúbal VilcaMatrangoloBruna La ReginaTitingerDavid ProvenzaleFariaLeandro Batisti deDallanLuís Roberto PalmaGalasFilomena Regina BarbosaLisboaLuiz Augusto FerreiraDallanLuís Alberto OliveiraJateneFabio BiscegliUniversidade de São PauloFaculdade de MedicinaHospital das ClínicasSão PauloSPBrasilInstituto do Coração - Hospital das Clínicas, Faculdade de Medicina - Universidade de São Paulo (USP), São Paulo, SP – BrasilUniversidade de São PauloCorrespondência: Omar Asdrúbal Vilca Mejía, Instituto do Coração – InCor. Av. Dr. Enéas de Carvalho Aguiar, 44 - 2º andar – Bloco II - Sala 11 Cerqueira César. CEP 05403-900, São Paulo, SP – Brasil. E-mail: omarvmejia@incor.usp.br
Declaro não haver conflito de interesses pertinentes.
ResumoFundamento:
Escores de risco para cirurgia cardíaca não podem continuar sendo neglicenciados.
Objetivo:
Avaliar o desempenho do Age, Creatinine and Ejection Fraction Score (ACEF Score) na predição de mortalidade dos pacientes submetidos à cirurgia de revascularização miocárdica e/ou valvar eletiva, e compará-lo a outros escores.
Métodos:
Estudo de coorte prospectivo no banco de um centro terciário brasileiro. Foram avaliados 2.565 pacientes operados de maneira eletiva entre maio de 2007 e julho de 2009. Para uma análise mais detalhada, o desempenho do ACEF Score foi comparado ao do InsCor e ao do EuroSCORE por meio de testes de correlação, calibração e discriminação.
Resultados:
Os pacientes foram estratificados em leve, moderado e grave para todos os modelos. A calibração foi inadequada para o ACEF Score (p = 0,046) e adequada para o InsCor (p = 0,460) e o EuroSCORE (p = 0,750). Na discriminação, a área abaixo da curva ROC apresentou-se questionável para o ACEF Score (0,625) e apropriada para o InsCor (0,744) e o EuroSCORE (0,763).
Conclusão:
Embora simples e prático, o ACEF Score, ao contrário do InsCor e do EuroSCORE, não se mostrou acurado para predizer mortalidade nos pacientes submetidos à cirurgia de revascularização miocárdica e/ou valvar eletiva em centro terciário brasileiro. (Arq Bras Cardiol. 2015; [online].ahead print, PP.0-0)
Palavras-chaveProcedimentos Cirúrgicos Cardíacos / mortalidadeRevascularização MiocárdicaProbabilidadeDoenças das Valvas Cardíacas / cirurgiaEstudos de CoortesIntrodução
A cirurgia cardíaca representa um grande impacto no sistema de saúde pela utilização considerável de recursos humanos e financeiros. Assim, a estratificação do risco torna-se cada vez mais importante1.
Na prática clínica, existem três formas de utilizar um escores de risco em uma população específica. A mais simples, mas também a menos ideal, é a aplicação imediata de um escore externo, sem nenhuma adaptação do modelo. A recalibração, que mantém as mesmas variáveis do modelo, tem seus pesos ajustados com base em seus próprios dados. O remodelamento é a escolha de novas variáveis em função dos fatores de risco locais. Sem dúvidas, essa última opção oferece a melhor acurácia e o melhor desempenho2.
No Brasil, a formulação do InsCor3 de dez variáveis, produto do remodelamento de dois modelos internacionais4,5, traz informações sobre o impacto dos fatores de risco locais. No entanto, o EuroSCORE, de 17 variáveis, permanece o mais utilizado no país6-8. Com o tempo, controvérsias relacionadas à superestimação do EuroSCORE levaram ao desenvolvimento do EuroSCORE II9. Esse modelo, ainda mais complexo, teve problemas relacionados à sua validação externa, inclusive no Brasil10, o que levou a repensar sobre a escolha de escores internacionais e pela preferência de modelos cada vez mais simples.
O Age, Creatinine and Ejection Fraction Score (ACEF Score) foi proposto em 2009 para predizer mortalidade em pacientes adultos submetidos à cirurgia cardíaca eletiva11. A característica principal desse escore é sua praticidade, pois a razão entre a idade e a fração de ejeção é a base do cálculo, somando-se um ponto adicional quando a creatinina pré-operatória for > 2,0 mg/dL. O ACEF Score foi desenvolvido e validado unicamente na Itália12, onde obteve boa acurácia, excelente calibração e parcimônia na aplicação clínica. Esse modelo, que obteve desempenho similar ao do EuroSCORE, nunca foi validado fora da Itália, nem muito menos comparado com algum modelo brasileiro.
O objetivo deste estudo foi avaliar o desempenho do ACEF Score e comparar seu desempenho com o InsCor e o EuroSCORE na predição de mortalidade dos pacientes submetidos à cirurgia de revascularização miocárdica e/ou valvar eletiva em centro terciário brasileiro.
MétodosAmostra
Estudo retrospectivo e observacional realizado a partir de banco de dados prospectivo do Instituto do Coração (InCor) do Hospital das Clínicas da Faculdade de Medicina da Universidade de São Paulo (HC-FMUSP).
Antes de iniciar esta análise, a hipótese de que o registro incluía dados para todas as variáveis dos modelos escolhidos teve que ser confirmada. Assim, para a realização da validação estatística, o tamanho da amostra deveria incluir, no mínimo, cem óbitos. Dados publicados pelo InCor mostraram uma mortalidade de 4,8% para cirurgia coronária eletiva e de 8,4% para cirurgia valvar eletiva13; desse modo, o número mínimo de pacientes seria de 2.084. Optamos, então, pelo número de pacientes operados consecutivamente de forma eletiva entre maio de 2007 e julho de 2009, o que perfez um total de 2.565 pacientes.
Critérios de inclusão
Os critérios de inclusão no estudo foram ter idade ≥ 18 anos e ter passado por cirurgia valvar (troca ou plástica), Cirurgia de Revascularização Miocárdica (CRM; com ou sem a utilização de circulação extracorpórea) ou cirurgia associada (CRM e cirurgia valvar), de forma eletiva, no período estabelecido.
Coleta, definição e organização dos dados
A coleta de dados dos pacientes incluídos neste registro foi realizada por um médico pós-graduando e supervisionado por dois médicos assistentes do Departamento de Cirurgia Cardiovascular do InCor. Na época, uma planilha foi confeccionada para contemplar todas as variáveis descritas pelos modelos 2000 Bernstein-Parsonnet e EuroSCORE14. Nesta análise, foram coletadas 60 variáveis pré-operatórias por paciente e colocadas numa interface criada em Excel. Após o registro ser avaliado, observou-se que ele também poderia proporcionar informação para a validação do ACEF Score − e, mais ainda, poderia comparar seu desempenho ao do InsCor e do EuroSCORE.
O valor do ACEF Score foi calculado por paciente seguindo a equação disponível na publicação do modelo.
O valor aditivo do InsCor foi calculado a partir de um gráfico com sistema de pontuação própria e o do EuroSCORE, a partir do sitehttp://www.euroscore.org/calc.html. Foram respeitadas todas as definições atribuídas às variáveis dos modelos (Quadro 1) junto a seus respectivos valores e classificadas segundo sua importância com o evento morte. O seguimento se limitou à fase hospitalar, tendo como desfecho primário a mortalidade hospitalar, que compreendeu o período entre a cirurgia e a alta hospitalar. Para otimização e completude dos dados, todas as informações registradas no Departamento de Cirurgia Cardiovascular foram confinadas ao Serviço de Informática do Incor.
Modelos e suas respectivas variáveis
ACEF Score
InsCor
EuroSCORE
Idade, fração de ejeção e creatinina = 2 mg/dL
Idade acima de 70 anos, sexo feminino, cirurgia associada coronária + valva, infarto recente, reoperação, cirurgia de valva aórtica, cirurgia de valva tricúspide, creatinina > 2 mg/dL, fração de ejeção < 30%, eventos pré-operatórios (uso de inotrópico pré-operatórios, choque cardiogênico, ressuscitação cardíaca, uso de balão intra-aórtico, Insuficiência renal aguda, massagem cardíaca, intubação orotraqueal, taquicardia ou fibrilação ventricular)
Idade, gênero, DPOC, doença vascular periférica, disfunção neurológica, creatinina, endocardite, cirurgia cardíaca prévia, estado crítico pré-operatório (uso de inotrópico pré-operatórios, choque cardiogênico, ressuscitação cardíaca e uso de balão intra-aórtico), angina instável, infarto do miocárdio recente, fração de ejeção do ventrículo esquerdo, hipertensão pulmonar (PSAP > 60 mmHg), emergência, cirurgia associada, cirurgia na aorta e CIV pós-infarto
Para avaliar o desempenho do ACEF Score, do EuroSCORE e do InsCor na predição de mortalidade, foi realizada a validação preditiva dos modelos em 2.565 pacientes. A validação foi feita mediante testes de calibração e discriminação. A calibração foi calculada utilizando o teste de Hosmer-Lemeshow (H-L), que mostra o grau em que o modelo se adapta aos dados. Desse modo, ele tem uma interpretação diferente, se o teste de H-L não é significativo (p > 0,05), o modelo tem ajuste adequado. Modelos bem ajustados não mostram significância no teste, indicando que a previsão do modelo não é significativamente diferente dos valores observados.
A discriminação que distingue entre pacientes de baixo e alto risco foi medida pela área abaixo da curva Característica de Operação do Receptor (ROC, sigla do inglês Receiver Operating Characteristic). As variáveis contínuas foram expressas como média ± desvio padrão, e as variáveis categóricas, como percentagens. O desempenho dos modelos foi medido pela comparação entre mortalidade observada e esperada nos grupos de risco estabelecidos pelos modelos. O teste exato de Fisher foi utilizado para as tabelas de contingência. Valor de p < 0,05 foi considerado significativo. A análise estatística foi realizada com o auxílio do software Statistical Package for the Social Sciences(SPSS), Statistics Desktop, versão 22.0, para Windows (IBM Corporation Armonk, Nova Iorque, Estados Unidos).
Ética e Termo de Consentimento
O Termo de Consentimento Livre e Esclarecido foi dispensado por incluir unicamente dados sem identificação.
ResultadosCasuística
Dos 2.565 pacientes analisados, 167 pacientes (6,5%) morreram. A média das idades foi de 59,62 ± 13,35 anos, e 913 (35,59%) pacientes eram do sexo feminino. O valor médio da fração de ejeção foi de 56,62% ± 12,99%. O valor médio dos escores na amostra foi de 1,18 ± 0,54, 3,48 ± 3,31 e 3,78 ± 2,87 para o ACEF Score, InsCor e EuroSCORE, respectivamente. Foram realizadas 1.130 (44,1%) CRM isoladas; 679 (26,5%) cirurgias da valva mitral; 580 (22,6%) cirurgias da valva aórtica e 176 (6,86%) CRM + cirurgia valvar. Assim mesmo, foram registrados 449 (17,5%) casos de reoperação e 100 (3,9%) pacientes com creatinina > 2 mg/dL.
Adequacidade dos modelos
Houve correlação positiva alta entre EuroSCORE e InsCor (Spearman, r = 0,770; p <0,0001), moderada entre EuroSCORE e ACEF Score (Spearman, r = 0,527; p < 0,0001) e baixa entre InsCor e ACEF Score (Spearman, r = 0,301; p < 0,0001) para predizer mortalidade na amostra estudada.
Calibração
O ACEF Score apresentou associação com óbito (p < 0,0001). No entanto, o teste H-L não mostrou um bom ajuste do modelo (p = 0,046) (Tabela 1). Para uma melhor análise, o ACEF Score foi dividido em três categorias (Tabela 2). Por outro lado, o InsCor, além de mostrar associação com óbito (p < 0,0001), apresentou bom ajuste (p = 0,460) no teste H-L, (Tabela 3). Na tabela 4, o InsCor foi dividido em três categorias. Ainda assim, o EuroSCORE teve associação com óbito (p < 0,0001) e bom ajuste (p = 0,750) no teste H-L (Tabela 5). Na tabela 6, o EuroSCORE foi dividido em três categorias.
Associação entre o ACEF Score, óbito e o teste de Hosmer-Lemeshow
Grupo
Total
Óbito
Sim
Não
Observado
Esperado
Observado
Esperado
1
256
14
10,26
242
245,74
2
256
9
11,81
247
244,19
3
257
11
12,72
246
244,28
4
257
7
13,38
250
243,62
5
259
11
14,20
248
244,80
6
255
21
14,73
234
240,27
7
257
10
15,76
247
241,24
8
257
25
17,39
232
239,61
9
257
25
21,35
232
235,65
10
254
34
35,42
220
218,58
ACEF Score dividido em risco leve, moderado e grave
Risco
n
Percentagem observada
IC 95%
Percentagem esperada
LI
IC 95%
LI
LS
LS
Valor de p
Leve
769
4,4
3,0
5,9
4,6
3,1
6,0
Moderado
1.028
4,8
3,5
6,1
5,6
4,2
7,1
0,046
Grave
768
10,9
8,7
13,1
9,6
7,5
11,7
IC 95%: intervalo de confiança de 95%; LI: limite inferior; LS: limite superior.
Associação entre o InsCor, óbito e o teste de Hosmer-Lemeshow
Grupo
Total
Óbito
Sim
Não
Observado
Esperado
Observado
Esperado
1
641
14
15,76
627
625,24
2
601
17
22,54
584
578,46
3
287
11
13,26
276
273,74
4
162
7
9,20
155
152,80
5
402
33
28,00
369
374,00
6
293
37
31,54
256
261,46
7
179
48
46,69
131
132,31
InsCor dividido em risco leve, moderado e grave
Risco
n
Percentagem observada
IC 95%
Percentagem esperada
LI
IC 95%
LI
LS
LS
Valor de p
Leve
1.242
2,5
1,6
3,4
3,1
2,2
4,1
Moderado
851
6,0
4,4
7,6
5,9
4,3
7,5
0,460
Grave
472
18,0
14,5
21,5
16,5
13,2
19,9
IC 95%: intervalo de confiança de 95%; LI: limite inferior; LS: limite superior.
Associação entre o EuroSCORE, óbito e o teste de Hosmer-Lemeshow
Grupo
Total
Óbito
Sim
Não
Observado
Esperado
Observado
Esperado
1
294
5
3,83
289
290,17
2
377
10
6,79
367
370,21
3
280
6
6,96
274
273,04
4
383
11
13,11
372
369,89
5
332
15
15,60
317
316,40
6
228
11
14,63
217
213,37
7
232
18
20,19
214
211,81
8
268
40
35,73
228
232,27
9
171
51
50,18
120
120,82
EuroSCORE dividido em risco leve, moderado e grave
Risco
n
Percentagem observada
IC 95%
Percentagem esperada
LI
IC 95%
LI
LS
LS
Valor de p
Leve
951
2,2
1,3
3,1
1,9
1,0
2,8
Moderado
943
3,9
2,7
5,2
4,6
3,2
5,9
0,750
Grave
671
16,2
13,5
19,0
15,8
13,0
18,6
IC 95%: intervalo de confiança de 95%; LI: limite inferior; LS: limite superior.
Discriminação
A área abaixo da curva ROC foi de 0,625 (IC 95% 0,58-0,67; p < 0,0001) para o ACEF Score, de 0,744 (IC 95% 0,70-0,79; p < 0,0001) para o InsCor e de 0,763 (IC 95% 0,72-0,80; p < 0,0001) para o EuroSCORE (Figura 1). Observou-se sobreposição entre as curvas ROC do EuroSCORE e do InsCor. No entanto, o ACEF Score apresentou a menor área e esta não se sobrepôs a dos outros modelos.
Curva ROC para o ACEF score, InsCor e EuroSCORE na avaliação do poder de discriminação realizada em 2565 pacientes. EURO: EuroSCORE; ACEF Score: Age, Creatinine and Ejection Fraction Score.
Discussão
Escores de risco devem ser fórmulas lineares e simplificadas para predição de mortalidade ou morbidades à beira do leito e sem a necessidade de calculadoras ou de outros assistentes pessoais15.
Esses instrumentos são normalmente avaliados em termos de precisão (poder discriminatório), calibração e desempenho clínico. Muitos autores têm destacado que o nível de precisão raramente ultrapassa uma área sob a curva ROC de 0,75 (valor que é inadequado para fins clínicos), e que a calibração pode ser imprecisa para os grupos de baixo e alto risco16. Escores de risco são desenvolvidos por meio de métodos estatísticos e validados posteriormente em outras populações, para avaliar sua aplicabilidade clínica. Eles são desenvolvidos para serem utilizados em grandes populações, como é o caso do EuroSCORE, construído a partir de 19.030 pacientes com quase 450 eventos. Isso, evidentemente, permite a inclusão de um número muito grande de preditores independentes no modelo (consideram-se dez eventos por preditor)17. Entretanto, a publicação do ACEF Score confirma a hipótese experimental de que um escore de risco pode ser desenvolvido com base em um número muito limitado de fatores de risco. A evidência de que o risco de mortalidade em cirurgias cardíacas eletivas pode ser previsto com apenas três fatores de risco parece entrar em conflito com a hipótese geral de que quanto mais fatores de risco considerados, mais preciso e melhor calibrado será o modelo. No entanto, uma série de considerações clínicas, práticas e matemáticas pode justificar esse aparente paradoxo.
Wells e cols.18 concluíram que “menos é mais” na análise multivariada. Assim, em vez de incluir muitas variáveis, modelos poderiam ser mais consistentes e eficazes, quando confinados a poucas variáveis (bons preditores). Neste estudo, contudo, os três fatores de risco utilizados na pontuação do ACEF Score foram também incluídos no InsCor e EuroSCORE. Talvez uma vantagem do ACEF Score, além de sua simplicidade, seja que as variáveis idade e fração de ejeção são utilizadas em sua forma contínua − ao invés da forma categórica dos outros dois modelos. A inclusão de um grande número de variáveis independentes aumenta o risco de multicolinearidade, o que, em termos práticos, seria o risco de informação redundante no modelo19. No entanto, para casos individuais e, principalmente, nos complexos, simplificar muito um modelo pode ser arriscado.
A pergunta seria: escore nacional ou internacional; simples, intermediário ou complexo − o que será mais fácil, barato e apropriado?
Após publicação do banco de dados administrativo do Sistema Único de Saúde (SUS), mostrando uma mortalidade em cirurgia cardíaca de 8% no Brasil20, foram feitos esforços relacionados à validação de modelos de risco internacionais21 e à formulação de modelos nacionais22.
Comparar resultados brutos de um banco de dados administrativo com um banco de dados clínico, e ainda voluntário, como o da Society Thoracic Surgery(STS), nos Estados Unidos, é inaceitável. Ressalte-se que o registro do STS representa 10% do total das cirurgias realizadas anualmente nos hospitais de referência dos Estados Unidos23.
Nesse contexto, são importantes os dados do serviço público de saúde da Itália. Na região da capital, Roma, a mortalidade em CRM no mesmo período em que se realizou a análise brasileira foi de 5,4%. Quando se dividiu a mortalidade por status socioeconômico (nos mesmos hospitais), a mortalidade no grupo socioeconômico mais elevado (mais favorecidos economicamente e mais instruídos) foi de 4,8%. No grupo mais desfavorecido (os mais pobres e menos instruídos), a mortalidade foi de 8,2%24.
Não existem dúvidas de que o SUS inclui a faixa de pacientes mais carentes submetidos à cirurgia cardíaca no Brasil, onde menos de 30% dos procedimentos são realizados pelo setor privado25. O cenário atual é extremamente oportuno, pois propicia espaço para a procura de escores de risco mais acurados em nossa realidade, sabendo que quanto mais simples e eficaz um modelo, melhor custo-efetividade terá o sistema.
Por todas essas razões, o ACEF Score, validado na Itália, foi escolhido para ser validado no Brasil, seguindo todas as recomendações de seus autores (on label). No entanto, embora o ACEF Score tenha se mostrado comparável ao EuroSCORE, ele se revelou inferior ao InsCor e ao EuroSCORE e, inclusive, foi inadequado para nossa realidade.
Por outro lado, o EuroSCORE confirmou seu bom desempenho no Brasil6,7. No entanto, por ser mais complexo e apresentar a mesma acurácia que o InsCor (áreas das curvas ROC sobrepostas), deve ser preferido unicamente para avaliações individuais.
O EuroSCORE foi recentemente remodelado9 e passou a ser chamado “EuroSCORE II”. No entanto, essa versão não foi escolhida para este estudo, porque, além de ser mais complexa, ela trouxe para o Brasil10 as mesmas dificuldades que apresentou em vários centros no mundo26-28.
Neste estudo, pudemos observar que o ACEF Score, mesmo aplicado on label, mostrou sua deficiência para uma população hipoteticamente com características similares às da população que o originou.
Assim, a acurácia do InsCor de dez variáveis foi melhor que à do ACEF Score de três variáveis e similar à do EuroSCORE de 17 variáveis, mostrando que modelos de complexidade intermediária possam ser preferidos.
Limitações
Primeiro, como não havia registro de pacientes, o cálculo do ACEF Score foi realizado retrospectivamente. No entanto, os responsáveis pelo cálculo não tinham conhecimento dos desfechos. Segundo, embora seja um registro com pacientes provenientes de várias regiões do Brasil, os dados foram coletados de um único centro terciário, caracterizando o estudo como unicêntrico.
Conclusão
O ACEF Score, embora simples e prático, não conseguiu predizer mortalidade nos pacientes submetidos à cirurgia de revascularização miocárdica e/ou valvar eletiva em centro terciário brasileiro.
Fontes de financiamento
O presente estudo não teve fontes de financiamento externas.
Vinculação acadêmica
Não há vinculação deste estudo a programas de pós‑graduação.