Conception and design of the research, Writing of the manuscript and Critical revision of the manuscript for intellectual content: Correia LCL, Rassi Junior A.
No potential conflict of interest relevant to this article was reported.
The ongoing ISCHEMIA trial (International Study of Comparative Health Effectiveness with Medical and Invasive Approaches, NCT01471522),
The findings of recent trials such as COURAGE (Clinical Outcomes Utilizing Revascularization and Aggressive Drug Evaluation), BARI 2D (Bypass Angioplasty Revascularization Investigation 2 Diabetes), and FAME 2 (Fractional Flow Reserve versus Angiography for Multivessel Evaluation) fail to show any difference in mortality or myocardial infarction (MI) between patients with SIHD who were treated invasively compared with those who were treated with optimal medical therapy (OMT). However, these trials had a substantial proportion of patients with no significant myocardial ischemia, potentially underestimating the beneficial effect of revascularization. Therefore, the ISCHEMIA trial was set to resolve this issue by including only patients with moderate-to-severe ischemia inducible at stress imaging.
The primary aim of the ISCHEMIA
Recently we learned that the protocol of the ISCHEMIA trial published on ClinicalTrials.gov had a major modification in January 2018, only 11 months before the estimated completion of this 7-year trial. The primary endpoint was changed from the composite of cardiovascular death or nonfatal MI (2012 version) to a 5-component endpoint that also includes resuscitated cardiac arrest, hospitalization for unstable angina and hospitalization for heart failure (January 2018 version).
Then, in February 2018, the full version of the 2012 ISCHEMIA protocol was published on ClinicalTrials.gov. This version of the protocol stated that if the incidence of the primary endpoint pooled across randomized groups is lower than expected, an independent advisory panel can decide to extend the follow-up period or change the primary endpoint.
Strict adherence to study protocol is a cornerstone of the trial methodology. Extending follow-up improves precision towards the true effect and conserves the primary hypothesis of the trial. By contrast, the current wisdom in randomized clinical trials is that once the primary endpoint is selected, the trial should proceed with no further changes. Although trialists recognize that there may be appropriate reasons for modifying endpoints after the trial has started,
A change in primary endpoint is considered appropriate and unbiased when the decision is based on external information, independent of the trial data, such as the results of other studies. On the other hand, modification based on data from the trial itself will have a detrimental effect on the validity of the trial’s findings. A decision based on the pool incidence of events permits reasonable prediction of the main result and induces operational bias.
The decision to modify the primary endpoint of ISCHEMIA discards the original hypothesis and misses the elephant in the room: the incidence of death or MI was lower than expected, suggesting that the prognosis of patients with stable coronary disease is quite satisfactory. Such a good overall prognosis may reduce statistical power, but also makes futile the choice for an invasive procedure expected to protect patients from an unlikely outcome, at the expense of physical and mental stress, unintended consequences and monetary costs. In fact, the need for a higher than expected statistical power indicates the intention to detect an absolute risk reduction that may be clinically irrelevant.
The new components added to the composite primary endpoint also have implications for the trial’s findings. The original outcomes of cardiovascular death or MI are unequivocal, whereas hospitalization for angina or heart failure is mediated by a physician’s reaction to a clinical scenario. In an open study such as ISCHEMIA, it is possible that the knowledge that the patient was not revascularized could lower the physician's threshold for admitting patients due to symptoms.
Although unstable angina and MI belong to the same spectrum of pathophysiological processes collectively described as acute coronary syndromes, the diagnosis of unstable angina involves significant subjectivity on the part of the treating clinician, the investigator, and adjudication committees.
Heart failure is a heterogeneous syndrome related not only to atherosclerosis but also to hypertension, renal disease, and other causes that are generally not discernible from the records available to the study adjudicators. It is also often difficult to distinguish heart failure from other causes of acute dyspnea.
In conclusion, it is highly questionable whether improving statistical power at the cost of impairing validity and relevance justifies this protocol modification. Changing the primary endpoint of a trial often evokes cynicism from the medical community and a study that uses a less relevant end point may not provide answers to clinically important questions. Time will tell whether such a strategy was a wise decision.
There were no external funding sources for this study.
This study is not associated with any thesis or dissertation work.
Concepção e desenho da pesquisa, Redação do manuscrito e Revisão crítica do manuscrito quanto ao conteúdo intelectual importante: Correia LCL, Rassi Junior A.
Declaro não haver conflito de interesses pertinentes.
O estudo ISCHEMIA (
Resultados de estudos prévios, tais como o COURAGE (
O principal objetivo do estudo ISCHEMIA
Recentemente, soubemos que o protocolo do estudo ISCHEMIA publicado no ClinicalTrials.gov sofreu uma importante modificação em janeiro de 2018, apenas 11 meses antes do período estimado de conclusão do estudo (7 anos). O desfecho primário composto foi modificado de morte cardiovascular ou infarto não fatal (versão 2012) para um desfecho de 5 componentes que incluiu parada cardíaca com ressuscitação, internação por angina instável e internação por insuficiência cardíaca (versão de janeiro de 2018).
Em fevereiro de 2018, a versão completa do protocolo do estudo ISCHEMIA 2012 foi publicado no ClinicalTrials.gov. Nessa versão, afirmou-se que se a incidência do desfecho primário nos grupos randomizados fosse menor que a esperada, um comitê consultivo poderia decidir prolongar o acompanhamento ou modificar o desfecho primário.
Adesão rigorosa ao protocolo é um aspecto essencial da metodologia de um ensaio clínico. Estender o período de acompanhamento melhora a precisão do efeito real e preserva a hipótese principal do estudo. No entanto, uma vez que o desfecho primário é selecionado, o ensaio deve proceder sem alterações. Apesar de os pesquisadores afirmarem que a reformulação dos desfechos poderia vir a ser necessária após o início do estudo,
A decisão de mudar o desfecho primário é considerada apropriada e livre de viés quando realizada com base em informações externas, independentes dos dados do estudo, como, por exemplo, resultados de outros estudos. Por outro lado, a modificação no desfecho primário baseada em dados do próprio promove efeito negativo sobre a validade dos resultados encontrados. Uma decisão tomada com base no incidência geral de eventos permite uma predição razoável do resultado principal e induz ao viés operacional.
A decisão de modificar o desfecho primário do estudo ISCHEMIA abandona a hipótese original do trabalho e ignora o elefante na sala – o fato de que a incidência de morte e infarto foi mais baixa que a esperada, sugerindo que o prognóstico de pacientes com doença coronariana estável é bom, independente da isquemia moderada-grave. Esse bom prognóstico reduz poder estatístico, mas também torna fútil a escolha por um procedimento invasivo a fim de proteger os pacientes de um desfecho pouco provável, à custa de estresse físico e emocional, consequências não intencionais, e custos financeiros. De fato, a necessidade de um poder estatístico superior ao esperado indica a intenção de detectar uma redução de risco absoluto que pode ser clinicamente irrelevante.
Os novos componentes do desfecho primário composto também têm implicações para os achados do estudo. Os desfechos originais de morte cardiovascular e infarto são objetivos, ao passo que a hospitalização por angina ou insuficiência cardíaca é mediada pela reação do médico à situação clínica. Em um estudo aberto tal como o ISCHEMIA, é possível que o conhecimento de que o paciente não tenha sido revascularizado possa influenciar na decisão (diminuindo seu “limiar”) do médico pela admissão de pacientes por sintomas.
Apesar de angina instável e infarto pertencerem ao mesmo espectro de processos fisiopatológicos coletivamente descritos como síndromes coronárias agudas, o diagnóstico de angina instável envolve importante subjetividade por parte do médico responsável, do pesquisador e de comitês de julgamento.
A insuficiência cardíaca é uma síndrome heterogênea relacionada não só à aterosclerose como também à hipertensão, doença renal, e outras causas geralmente não discerníveis a partir dos registros disponíveis aos investigadores. Além disso, a distinção entre insuficiência cardíaca e outras causas de dispneia aguda é geralmente difícil.
Em conclusão, é questionável se melhorar o poder estatístico à custa de prejudicar a validade e a relevância justifica a modificação do protocolo. Mudar o desfecho primário de um ensaio geralmente desperta cinismo por parte da comunidade médica, e um estudo que utiliza um desfecho menos relevante pode não fornecer respostas a questões clinicamente importantes. Só o tempo dirá se tal estratégia foi uma decisão sábia.
O presente estudo não teve fontes de financiamento externas.
Não há vinculação deste estudo a programas de pós-graduação.