abcArquivos Brasileiros de CardiologiaArq. Bras. Cardiol.0066-782X1678-4170Sociedade Brasileira de Cardiologia - SBCSão Paulo, SP, BrazilCFPzqsLZV3ZxqKWZdLM3gSGS0066-782X2013000600013S0066-782X(13)1000060001310.5935/abc.20130120Carta ao EditorAspectos metodológicos na utilização da análise de regressão logística múltiplaSollaDavi Jorge FontouraFilgueiras-FilhoNivaldo MenezesSilvany-NetoAnibalServiço de Atendimento Móvel de UrgênciaSalvadorBahiaUniversidade Federal da BahiaFaculdade de Medicina Brazil0620131006583584This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License.05072013
CARTA AO EDITOR
Aspectos metodológicos na utilização da análise de regressão logística múltipla
IIFaculdade de Medicina, Universidade Federal da Bahia, Salvador, BA - Brasil
Correspondência
Palavras-chave: Análise de regressão, Análise multivariada, Modelos logísticos.
Prezado editor,
Gostaríamos de tecer algumas considerações quanto à análise estatística dos preditores de óbito no artigo de Caluza e cols.1, mesmo observando sua natureza de projeto inicial/piloto.
Não ficou claro quais variáveis foram incluídas no modelo inicial e qual método foi utilizado para selecionar aquelas significantes no modelo ajustado final (backward, forward, full model ou variantes).
Em razão da boa evolução dos pacientes (mortalidade intra-hospitalar de 6,8%) e do tamanho amostral relativamente pequeno (n = 205), o número de óbitos foi baixo (n = 14). É um excelente resultado clínico, mas impõe cuidados na regressão logística. O modelo final apresentou seis variáveis significantes (talvez o modelo inicial contivesse ainda mais covariáveis), com uma relação Eventos Por Variável (EPV) de, no máximo, 2,3 (14/6). Uma baixa relação EPV resulta num modelo instável, com aumento de viés, variabilidade e superestimativa dos coeficientes de regressão e Intervalos de Confiança (IC) inverossímeis2,3. O pior cenário4 seria justamente com 2 a 4 EPV, < 30 desfechos e baixas prevalência/incidência (< 10%) das variáveis preditoras (Acidente Vascular Cerebral - AVC - prévio [7,8%], Bloqueio Atrioventricular Total - BAVT - [6,8%], balão intra-aórtico - BIA - [5,8%] e choque cardiogênico [7,3%]).
A artéria relacionada ao infarto ocluída e o índice de fluxo tecidual (blush) zero na injeção inicial na artéria relacionada ao infarto foram variáveis inseridas paralelamente no modelo. Foi verificada multicolinearidade entre estas? Exceto no enchimento por colaterais, toda artéria ocluída terá índice de fluxo tecidual zero, resultando numa alta redundância, com redução da confiabilidade dos coeficientes de regressão e amplificação dos erros-padrão5.
O uso de BIA comporta-se muito mais como marcador de risco que propriamente fator de risco, não estando na via causal do desfecho analisado. Sua inclusão na análise dos preditores de óbito é questionável, dado o potencial para influenciar as demais covariáveis.
Ainda quanto ao BIA, considerando a presença da variável choque cardiogênico no modelo multivariável, seria interessante verificar se também não houve considerável redundância, uma vez que essa complicação é das principais indicações ao BIA.
Por fim, não foi feito (ou relatado) o diagnóstico (análise de resíduos e de influência) da regressão logística bem como os IC das Odds Ratio (OR ), itens fundamentais para avaliar o ajuste do modelo e que facilitariam a elucidação dos questionamentos acima.
Conforme colocado em outra Carta ao Editor, qualquer crítica à análise estatística desse trabalho não diminui a relevância da implementação de uma rede regionalizada de atenção ao Infarto Agudo do Miocárdio com Supradesnível do Segmento ST (IAMCSST). Trata-se de um modelo de organização do cuidado, que merece ser replicado pelo Brasil.
Davi Jorge Fontoura Solla
Rua Marechal Floriano, 41, apto. 101, Canela
CEP 40110-010, Salvador, BA - Brasil
E-mail:
davisolla@hotmail.com,
davisolla@gmail.com
Artigo recebido em 21/12/12; revisado em 21/12/12; aceito em 21/02/13.
Carta-resposta
Agradecemos as perguntas feitas1 sobre a análise estatística do artigo2, apropriadamente formuladas, e concordamos que a sistematização do tratamento do Infarto Agudo do Miocárdio (IAM) com supra, em redes, é indiscutivelmente uma solução para propiciar melhora imediata nos resultados brasileiros em geral.
As preocupações colocadas são as mesmas que tivemos porque, como também inferido no próprio artigo, uma amostra de 205 casos não proporciona dados indiscutivelmente confiáveis. Exatamente por isso não detalhamos nem citamos pontos específicos da análise multivariada e da regressão logística. Utilizamos o programa SPSS-20 , bicaudado, backward, sabendo que amostra pequena, pontos fora da curva, modelo inapropriado e múltiplos pontos para análise podem eventualmente distorcer resultados nessa situação. O número de Eventos Por Variável (EPV) pode também influenciar os resultados obtidos; obtivemos Intervalos de Confiança (IC) muito variáveis, como, por exemplo, fração de ejeção com Odds Ratio (OR) de 0,90 e IC de 0,35 a 0,94, e blush com OR de 9,45 e IC de 1,21 a 59,45. Também concordamos, como colocado, que, quando estamos falando de Killip avançado e choque cardiogênico (balão intra-aórtico como marcador ) ou fluxo TIMI baixo e blush miocárdico, há superposição de colinearidade e interação, cabendo ao condutor do estudo escolher qual item se aplica melhor à situação, de modo a obter o que possui menor variabilidade e, portanto, maior confiabilidade, sempre havendo alguma interação nessa ordem de variáveis. Discordamos completamente (e respeitosamente), entretanto, da colocação de que houve baixa prevalência de eventos: como um registro com pacientes não selecionados, tivemos, nesta população, 31,7% de diabéticos, 7,8% de Acidente Vascular Cerebral (AVC) prévio, 11,2% de disfunção renal preexistente; nesta população ocorreu 6,8% de Bloqueio Atrioventricular Total (BAVT) e 7,3% de choque cardiogênico, proporção maior de problemas e complicações do que em muitos dos estudos de IAM com supra, como referido em textos de diretrizes3-6, condizente com a amostra de um registro. Ocorreu, isso sim, que a amostra era pequena e a proporção de óbitos também.
Um fato suplementar, importante, e que nos deixa confiantes em relação ao publicado, é que hoje, com 620 casos (três vezes o tamanho da amostra dos Arquivos) no registro, os dados de mortalidade e da análise estatística do artigo continuam, de modo geral, muito próximos do publicado. Um novo artigo, envolvendo os riscos relacionados com mortalidade e com análise mais detalhada, que segue o sugerido nas perguntas acima, já está pronto e prestes a ser enviado para publicação.
Atenciosamente,
Ana Christina Vellozo Caluza
Antonio Carlos Carvalho
Pelos demais autores do artigo
Referências
1. Caluza AC, Barbosa AH, Gonçalves I, Oliveira CA, Matos LN, Zeefried C, et al. Rede de infarto com supradesnivelamento de ST: sistematização em 205 casos diminui eventos clínicos na rede pública. Arq Bras Cardiol. 2012;99(5):1040-8.Rede de infarto com supradesnivelamento de ST: sistematização em 205 casos diminui eventos clínicos na rede públicaArq Bras Cardiol201210408599CaluzaACBarbosaAHGonçalvesIOliveiraCAMatosLNZeefriedC2. Peduzzi P, Concato J, Kemper E, Holford TR, Feinstein AR. A simulation study of the number of events per variable in logistic regression analysis. J Clin Epidemiol. 1996;49(12):1373-9.A simulation study of the number of events per variable in logistic regression analysisJ Clin Epidemiol1996137391249PeduzziPConcatoJKemperEHolfordTRFeinsteinAR3. Harrel FE Jr, Lee KL, Mark DB. Multivariable prognostic models: issues in developing models, evaluating assumptions and adequacy, and measuring and reducing errors. Stat Med. 1996;15(4):361-87.Multivariable prognostic models: issues in developing models, evaluating assumptions and adequacy, and measuring and reducing errorsStat Med199636187415Harrel JrFELeeKLMarkDB4. Vittinghoff E, McCulloch CE. Relaxing the rule of ten events per variable in logistic and Cox regression. Am J Epidemiol. 2007;165(6):710-8.Relaxing the rule of ten events per variable in logistic and Cox regressionAm J Epidemiol200771086165VittinghoffEMcCullochCE5. Kleinbaum DG, Kupper LL, Nizam A, Muller KE. Applied regression analysis and other multivariable methods. 4th ed. Belmont: Thomson Brooks/cole; 2008.Applied regression analysis and other multivariable methods2008KleinbaumDGKupperLLNizamAMullerKE1. Solla DJ, Figueiras NM, Silvany-Neto A. Aspectos metodológicos na utilização da análise de regressão logista múltipla. Análise de regressão logística múltipla. Arq Bras Cardiol. 2013;xx(xx):xx.Aspectos metodológicos na utilização da análise de regressão logista múltipla: Análise de regressão logística múltiplaArq Bras Cardiol2013xxxxxxSollaDJFigueirasNMSilvany-NetoA2. Caluza AC, Barbosa AH, Gonçalves I, Oliveira CA, Matos LN, Zeefried C, et al. Rede de infarto com supradesnivelamento de ST: sistematização em 205 casos diminui eventos clínicos na rede pública. Arq Bras Cardiol. 2012;99(5):1040-8.Rede de infarto com supradesnivelamento de ST: sistematização em 205 casos diminui eventos clínicos na rede públicaArq Bras Cardiol201210408599CaluzaACBarbosaAHGonçalvesIOliveiraCAMatosLNZeefriedC3. Steg G, James SK, Atar D, Badano LP, Blömstrom-Lundqvist C, Borger MA, et al; Task Force on the management of ST segment elevation acute myocardial infarction of the European Society of Cardiology (ESC). ESC Guidelines for the Management of acute myocardial infarction in patients presenting with ST-segment elevation. Eur Heart J. 2012;33(15):2-51.ESC Guidelines for the Management of acute myocardial infarction in patients presenting with ST-segment elevationEur Heart J20122511533StegGJamesSKAtarDBadanoLPBlömstrom-LundqvistCBorgerMA4. O'Gara PT, Kushner FG, Ascheim DD, Casey DE Jr, Chung MK, de Lemos JA, et al; American College of Cardiology Foundation/American Heart Association Task Force on Practice Guidelines. 2013 ACCF/AHA guideline for the management of ST-elevation myocardial infarction: a report of the American College of Cardiology Foundation / American Heart Association Task Force on Practice Guidelines. Circulation. 2013;127(4):e-362-425.2013 ACCF/AHA guideline for the management of ST-elevation myocardial infarction: a report of the American College of Cardiology Foundation / American Heart Association Task Force on Practice GuidelinesCirculation2013e4127O'Gara PTKushnerFGAscheimDDCasey JrDEChungMKde LemosJA5. Goldstein P, Wiel E. Management of prehospital thrombolytic therapy in ST segment elevation acute coronary syndrome (<12 hours). Minerva Anestesiol. 2005;71(6):297-302.Management of prehospital thrombolytic therapy in ST segment elevation acute coronary syndrome (<12 hours)Minerva Anestesiol2005297302671GoldsteinPWielE6. El Khoury C, Sibellas F, Bonnefoy E. Is There Still A Role For Fibrinolysis in ST-elevation myocardial infarction? Curr Treat Options Cardiovasc Med. 2013;15(1):41-60.Is There Still A Role For Fibrinolysis in ST-elevation myocardial infarctionCurr Treat Options Cardiovasc Med20134160115El KhouryCSibellasFBonnefoyELetter to the EditorMethodological aspects in the use of multiple logistic regression analysis
LETTER TO THE EDITOR
Methodological aspects in the use of multiple logistic regression analysis
We would like to present a few considerations pursuant to the statistical analysis of the predictors of death in the article by Caluza et al1, even though observing its nature of initial/pilot project.
It has not remained clear which variables were included in the initial model and which method was used to select those significant variables in the final adjusted model (backward, forward, full model or variants).
By virtue of the fine progression of the patients (in-hospital mortality of 6.8%) and of the relatively small sample size (n = 205), the number of deaths was low (n = 14). That is an excellent clinical result, but it imposes caution upon the logistic regression. The final model has presented six significant variables (perhaps the initial model might have had even more co-variables), with a maximum Events Per Variable (EPV) ratio of 2.3 (14/6). A low ratio of EPV results in an unstable model, with an increase in bias, variability, and overrating of the coefficients of regression and unverisimilar Confidence Intervals (CI)2,3. The worst case scenario4 would exactly be with 2 to 4 EPV, < 30 outcomes, and low prevalence/incidence (< 10%) of the predictors (previous Cerebral Vascular Accident - CVA - [7.8%], Total Atrioventricular Block - total AV block - [6.8%], intra-aortic balloon pump - IABP - [5.8%], and cardiogenic shock [7.3%]).
The occluded artery related to the infarction and the zero tissue flow grade (blush) upon the initial injection in the artery related to the infarction were variables inserted in a parallel fashion in the model. Has multi-co-linearity been verified among these? Except in the filling by collaterals, the entire occluded artery will have zero tissue flow grade, resulting in a high redundancy, with a reduction in the reliability of the coefficients of regression and amplification of the standard errors5.
The use of the IABP performs much more as a risk marker than actually as a risk factor, not being in the causal pathway of the outcome analyzed. Its inclusion in the analysis of the predictors of death is questionable, given the potential to influence the other co-variables.
Still pertinent to the IABP, considering the presence of the cardiogenic shock variable in the multivariate model, it would be interesting to verify whether considerable redundancy has not taken place as well, hence that complication is one of the main indications for the IABP.
Finally, the residual diagnostics of the logistic regression has either not been made or reported, as well as the CI of the Odds Ratio (OR) - fundamental items to assess the adjustment of the model, and which would facilitate the elucidation of the questions above.
As has been mentioned in another Letter to the Editor, any criticism to the statistical analysis of that work does not cloud the relevance of implementing a regionalized network of care to the Acute Myocardial Infarction with ST Segment Elevation (Acute STEMI). This is about an organization model of the care, which deserves to be replicated by Brazil.
References
Davi Jorge Fontoura Solla
Rua Marechal Floriano, 41, apto. 101, Canela
Postal Code 40110-010, Salvador, BA - Brazil
E-mail:
davisolla@hotmail.com,
davisolla@gmail.com
Manuscript received December 21, 2012; revised manuscript December 21, 2012; accepted February 21, 2013.
Reply
We appreciate the questions asked1 on the statistical analysis of the article2, which were adequately formulated, and we agree that the systematization in networks of the treatment of the Acute Myocardial Infarction (AMI) with elevation is unarguably a solution to favor the immediate improvement in the Brazilian results as a whole.
The concerns presented and those we have had are the same because, as also inferred from the very article, a sample of 205 cases does not provide unarguably reliable data. That is exactly why we have not provided detail or mentioned specific points of the multivariate analysis and of the logistic regression. We have used the SPSS-20 software, two-tailed, backward, whilst knowing that a small sample, points outside the curve, an inappropriate model, and multiple points for analysis may eventually distort results in that situation. The number of Events Per Variable (EPV) may also affect the results obtained; we have attained Confidence Intervals (CI) which were too variable, such as, for example, ejection fraction with an Odds Ratio (OR) of 0.90 and a CI from 0.35 to 0.94, and blush with an OR of 9.45 and a CI from 1.21 to 59,45. We also agree - as has been mentioned - that, when we speak of advanced Killip and cardiogenic shock (intra-aortic balloon pump as a marker) or low TIMI flow and myocardial blush, there is an overlap of co-linearity and interaction, whilst it is up to the conductor of the study to choose which item applies better to the situation, in order to obtain the one which has the lowest variability and, therefore, the greatest reliability, with some interaction in that order of variables always being there. However, we respectfully and completely disagree with the argument of there having been a low prevalence of events: as a record with unscreened patients, we have had, in this population, 31.7% of diabetic subjects, 7.8% of previous Cerebral Vascular Accident (CVA), 11.2% of pre-existing renal dysfunction; in this population, 6.8% of Total Atrioventricular Block (total AV block) and 7.3% of cardiogenic shock have occurred - a proportion of problems and complications which is greater than those in many of the studies of AMI with elevation, as mentioned in texts of guidelines3-6, befitting with the sample of a record. It has rather occurred that the sample was small, and so was the proportion of deaths.
An important, supplementary fact - and which makes us confident in relation to that which has been published - is that, today, with 620 cases (three times the size of the sample of the Arquivos) in the record, the data of mortality and of the statistical analysis of the article remain, in general, very close to that which has been published. A new article, involving the risks related to mortality and with analysis in further detail, which follows the suggestions of the questions above, is already finished and on the verge of being sent for publishing.
Artigo recebido em 21/12/12; revisado em 21/12/12; aceito em 21/02/13.
Carta-resposta
Agradecemos as perguntas feitas1 sobre a análise estatística do artigo2, apropriadamente formuladas, e concordamos que a sistematização do tratamento do Infarto Agudo do Miocárdio (IAM) com supra, em redes, é indiscutivelmente uma solução para propiciar melhora imediata nos resultados brasileiros em geral.
As preocupações colocadas são as mesmas que tivemos porque, como também inferido no próprio artigo, uma amostra de 205 casos não proporciona dados indiscutivelmente confiáveis. Exatamente por isso não detalhamos nem citamos pontos específicos da análise multivariada e da regressão logística. Utilizamos o programa SPSS-20 , bicaudado, backward, sabendo que amostra pequena, pontos fora da curva, modelo inapropriado e múltiplos pontos para análise podem eventualmente distorcer resultados nessa situação. O número de Eventos Por Variável (EPV) pode também influenciar os resultados obtidos; obtivemos Intervalos de Confiança (IC) muito variáveis, como, por exemplo, fração de ejeção com Odds Ratio (OR) de 0,90 e IC de 0,35 a 0,94, e blush com OR de 9,45 e IC de 1,21 a 59,45. Também concordamos, como colocado, que, quando estamos falando de Killip avançado e choque cardiogênico (balão intra-aórtico como marcador ) ou fluxo TIMI baixo e blush miocárdico, há superposição de colinearidade e interação, cabendo ao condutor do estudo escolher qual item se aplica melhor à situação, de modo a obter o que possui menor variabilidade e, portanto, maior confiabilidade, sempre havendo alguma interação nessa ordem de variáveis. Discordamos completamente (e respeitosamente), entretanto, da colocação de que houve baixa prevalência de eventos: como um registro com pacientes não selecionados, tivemos, nesta população, 31,7% de diabéticos, 7,8% de Acidente Vascular Cerebral (AVC) prévio, 11,2% de disfunção renal preexistente; nesta população ocorreu 6,8% de Bloqueio Atrioventricular Total (BAVT) e 7,3% de choque cardiogênico, proporção maior de problemas e complicações do que em muitos dos estudos de IAM com supra, como referido em textos de diretrizes3-6, condizente com a amostra de um registro. Ocorreu, isso sim, que a amostra era pequena e a proporção de óbitos também.
Um fato suplementar, importante, e que nos deixa confiantes em relação ao publicado, é que hoje, com 620 casos (três vezes o tamanho da amostra dos Arquivos) no registro, os dados de mortalidade e da análise estatística do artigo continuam, de modo geral, muito próximos do publicado. Um novo artigo, envolvendo os riscos relacionados com mortalidade e com análise mais detalhada, que segue o sugerido nas perguntas acima, já está pronto e prestes a ser enviado para publicação.