Arq. Bras. Cardiol.Arquivos Brasileiros de CardiologiaArq. Bras. Cardiol.0066-782X1678-4170Sociedade Brasileira de CardiologiaG6hG5TcGRnCMV38zBW5ZkdpS0066-782X2014000100016S0066-782X20140001000160016S0066-782X201400010001610.5935/abc.20130251Carta Ao EditorAssociação Não é o Mesmo que AcuráciaCorreiaLuis Cláudio LemosBarbosaCarolina EstevesEscola Bahiana de Medicina e Saúde
PúblicaSalvadorBABrasilEscola Bahiana de Medicina e Saúde Pública,
Salvador, BA - BrasilCorrespondência: Luis Cláudio Lemos Correia, Av. Princesa Leopoldina,
19/402, Graça. CEP 40150-080, Salvador, BA - Brasil. E-mail:
lccorreia@cardiol.br, lccorreia@terra.com.br120141021105106300720130309201304092013This is an Open Access article distributed under the terms of the Creative
Commons Attribution Non-Commercial License which permits unrestricted
non-commercial use, distribution, and reproduction in any medium, provided the
original work is properly cited. AcuráciaEscore GraceEscore TIMIAnatomia coronarianaPrezado Editor,
Em artigo recente, dos Santos e cols. concluíram que em pacientes com síndromes
coronarianas agudas "os escores de risco se correlacionam com gravidade da doença
coronária"1. Essa aparente conclusão positiva
esconde o baixo desempenho desses escores em predizer doença coronariana obstrutiva, por
duas razões. Primeiro, diante de uma situação diagnóstica (presença de doença
coronariana ≥ 50%), o enfoque clínico deve ser em acurácia; segundo, associação
(descrito no artigo como correlação) não garante acurácia.
O enfoque principal desse trabalho deveria ser as medidas de acurácia, como área abaixo
da curva ROC, que variaram de 0,56 a 0,70. Embora estatisticamente significantes, esses
valores indicam baixa acurácia do ponto de vista diagnóstico. Corroborando esses
achados, em recente artigo publicado neste mesmo periódico, nosso grupo concluiu que "o
grau de associação [entre escores e anatomia coronária] não é suficiente para que os
escores de risco sejam preditores acurados dos resultados da angiografia"2.
As diferentes conclusões em dois trabalhos de achados semelhantes se deve à percepção de
que significância estatística (associação verdadeira) e relevância clínica (acurácia)
não representam exatamente o mesmo fenômeno.
Referências1. dos Santos ES, Aguiar Filho Lde F, Fonseca DM, Londero HJ, Xavier RM,
Pereira MP, et al. Correlation of risk scores with coronary anatomy in
non-STelevation acute coronary syndrome. Arq Bras Cardiol.
2013;100(6):511-7.SantosES dosAguiarL de FFilhoFonsecaDMLonderoHJXavierRMPereiraMPet alCorrelation of risk scores with coronary anatomy in
non-STelevation acute coronary syndromeArq Bras Cardiol201310065115172. Barbosa CE, Viana M, Brito M, Sabino M, Garcia G, Maraux M, et al.
Accuracy of the GRACE and TIMI scores in predicting the angiographic severity of
acute coronary syndrome. Arq Bras Cardiol. 2012;99(3):818-24.BarbosaCEVianaMBritoMSabinoMGarciaGMarauxMet alAccuracy of the GRACE and TIMI scores in predicting the
angiographic severity of acute coronary syndromeArq Bras Cardiol2012993818824Carta-respostaSantosElizabete Silva dosAguiarLuciano de FigueiredoFilhoMinuzzoLuizSouzaRoberta deTimermanAri
Quando no estudo de Santos e cols.1 conclui-se
que os escores de risco se correlacionam com a anatomia coronariana, levam-se em
consideração todas as análises realizadas: análise estatística de correlação utilizando
o método não paramétrico de Spearman2 e a
habilidade preditiva desses em discriminar quem terá ou não a possibilidade de lesão
coronariana ≥ 50%, que foi determinada, inicialmente, pelo teste não paramétrico de
Mann-Whitney2 e, posteriormente, avaliada pela
estatística-C (área sob a curva ROC)3. Como apresentado nos resultados, o estudo enfatiza as duas análises:
avaliação da existência de relação entre os escores de risco e a anatomia coronariana
(Tabela 3)1 e a habilidade preditiva dos escores
em discriminar quem terá ou não lesão coronariana ≥ 50% (Gráfico 1)1. Portanto, a palavra "correlação", citada no manuscrito1, foi utilizada como a "relação entre os escores de
risco e a anatomia coronária".
Os escores de risco TIMI4 e GRACE5,6 não foram desenvolvidos primariamente para determinar a habilidade
preditiva de lesão coronariana, e sim para eventos clínicos adversos. Portanto, não se
pode esperar um forte poder de discriminação desses quando se avalia lesão coronariana ≥
50% ou qualquer outra variável diferente dos eventos clínicos específicos do modelo
original. Apesar dessa observação, ainda assim, eles apresentaram habilidade que não
pode ser desprezível7 para discriminar quem terá
ou não lesão coronariana ≥ 50%: escore de risco TIMI área sob a curva
ROC 0,704; escore GRACE hospitalar área sob a curva
ROC 0,623; escore GRACE em seis meses área sob a curva
ROC 0,562.
Uma interessante observação é que para o escore de risco TIMI a área sob a curva
ROC no estudo de Santos e cols.1 foi maior que para os eventos específicos do modelo original de
desenvolvimento (área sob a curva ROC de 0,65)4. Da mesma forma, o escore de risco TIMI, apesar de sua limitada
habilidade preditiva7 para eventos clínicos
adversos, em decorrência de sua importância clínica e praticidade, é um dos modelos mais
utilizados no mundo e recomendado pelas diretrizes nacionais e internacionais.
Atenciosamente,
Elizabete Silva dos Santos
Luciano de Figueiredo Aguiar Filho
Luiz Minuzzo
Roberta de Souza
Ari Timerman
Referências 1. dos Santos ES, Aguiar Filho Lde F, Fonseca DM Fonseca, Londero HJ,
Xavier RM, et al. Correlação dos escores de risco com a anatomia coronária na
síndrome coronária aguda sem supra de ST. Arq Bras Cardiol.
2013;100(6):511-7.SantosES dosAguiarLde FFilhoFonsecaDM FonsecaLonderoHJXavierRMet alCorrelação dos escores de risco com a anatomia
coronária na síndrome coronária aguda sem supra de STArq Bras Cardiol201310065115172. Siegel S, Castellan NJ. Nonparametric statistics. 2nd ed. New
York: McGraw-Hill; 1988.SiegelSCastellanNJNonparametric statistics2nd edNew YorkMcGraw-Hill19883. Fletcher RH, Fletcher SW, Wagner EH. Epidemiologia clínica - bases
científicas da conduta médica. 2ª ed. Porto Alegre: Artes Médicas;
2009.FletcherRHFletcherSWWagnerEHEpidemiologia clínica - bases científicas da conduta
médica2ª edPorto AlegreArtes Médicas20094. Antman EM, Cohen M, Bernink PJ, McCabe CH, Horacek T, Papuchis G,
et al. The TIMI risk score for unstable angina/non-ST elevation MI: a method for
prognostication and therapeutic decision making. JAMA.
2000;284(7):835-42.AntmanEMCohenMBerninkPJMcCabeCHHoracekTPapuchisGet alThe TIMI risk score for unstable angina/non-ST
elevation MI: a method for prognostication and therapeutic decision
makingJAMA200028478358425. Granger CB, Goldberg RJ, Dabbous O, Pieper KS, Eagle KA, Cannon
CP, et al; Global Registry of Acute Coronary Events Investigators. Predictors of
hospital mortality in the global registry of acute coronary events. Arch Intern
Med. 2003;163(19):2345-53.GrangerCBGoldbergRJDabbousOPieperKSEagleKACannonCPet alGlobal Registry of Acute Coronary Events InvestigatorsPredictors of hospital mortality in the global
registry of acute coronary eventsArch Intern Med200316319234523536. Eagle KA, Lim MJ, Dabbous OH, Pieper KS, Goldberg RJ, Van de Werf
F, et al; GRACE Investigators. A validated prediction model for all forms of acute
coronary syndrome: estimating the risk of 6-month postdischarge death in an
international registry. JAMA. 2004;291(22):2727-33.EagleKALimMJDabbousOHPieperKSGoldbergRJVan de WerfFet alGRACE InvestigatorsA validated prediction model for all forms of acute
coronary syndrome: estimating the risk of 6-month postdischarge death in an
international registryJAMA200429122272727337. Ohman EM, Granger CB, Harrington RA, Lee KL. Risk stratification
and therapeutic decision making in acute coronary syndromes. JAMA.
2000;284(7):876-8.OhmanEMGrangerCBHarringtonRALeeKLRisk stratification and therapeutic decision making
in acute coronary syndromesJAMA20002847876878Letter To The EditorAssociation is Not the Same as AccuracyCorreiaLuis Cláudio LemosBarbosaCarolina EstevesEscola Bahiana de Medicina e Saúde
PúblicaSalvadorBABrazilEscola Bahiana de Medicina e Saúde Pública,
Salvador, BA - BrazilMailing Address: Luis Cláudio Lemos Correia, Av. Princesa Leopoldina,
19/402, Graça. Postal Code 40150-080, Salvador, BA - Brazil. E-mail:
lccorreia@cardiol.br, lccorreia@terra.com.brAccuracyGrace scoreTIMI scoreCoronary anatomyDear Editor,
In a recent article, dos Santos et al. have concluded that, for patients with acute
coronary syndromes, risk scores correlated with coronary artery disease severity1. That apparently positive conclusion hides the
poor performance of those scores to predict obstructive coronary artery disease due
to two reasons. Firstly, in face of a diagnostic situation (presence of coronary
artery disease ≥ 50%), the clinical focus should be on accuracy. Secondly,
association (described in the article as correlation) does not ensure accuracy.
The major focus of that study should have been accuracy measures, such as area under
the ROC curve, ranging from 0.56 to 0.70. Although statistically significant, those
values indicate low accuracy from the diagnostic viewpoint. Corroborating those
findings, in a recently published article in this same journal, our group has
concluded that the degree of association (between scores and coronary anatomy) is not
sufficient for risk scores to accurately predict the results of angiography2.
The different conclusions from two studies of similar findings is due to the
perception that statistical significance (true association) and clinical relevance
(accuracy) do not exactly represent the same phenomenon.
ReplySantosElizabete Silva dosAguiar FilhoLuciano de FigueiredoMinuzzoLuizSouzaRoberta deTimermanAri
When Santos et al1 have concluded that risk
scores correlate with coronary anatomy, they considered all analyses performed:
statistical correlation analysis with the non parametric Spearman test2 and the predictive ability of those scores to
discriminate individuals who might and might not have a coronary artery lesion ≥ 50%,
which was initially determined by using the non-parametric Mann-Whitney test2, and was later assessed by using C statistics
(area under the ROC curve)3. As shown in the
results, that study emphasizes both analyses: assessment of the existence of a
relationship between risk scores and coronary anatomy (Table 3)1 and the predictive ability of the scores to discriminate who might
have coronary lesion ≥ 50% (Chart 1)1. Thus, the
word "correlation" cited in the manuscript1 was
used as the "relationship between risk scores and coronary anatomy".
The TIMI4 and GRACE5,6 risk scores
have not been primarily developed to predict coronary lesion, but adverse clinical
events. Thus, they are not supposed to have a strong discriminatory power to assess
coronary lesion ≥ 50% or any other variable different from the specific clinical events
of the original model. Nevertheless, they showed an ability that cannot be
overlooked7 to discriminate who will or will
not have coronary lesion ≥ 50% as follows: TIMI risk score, area under the ROC curve =
0.704; hospital GRACE score, area under the ROC curve = 0.623; 6-month GRACE score, area
under the ROC curve = 0.562.
It is worth noting that, for the TIMI risk score, the area under the ROC curve in the
study by Santos et als.1 was greater than that
for the specific events of the original model of development (area under the ROC curve =
0.65)4. Similarly, the TIMI risk score,
despite its limited predictive ability7 for
adverse clinical events, due to its clinical relevance and practicality, is one of the
most used models worldwide, recommended by national and international guidelines.