Arq Bras Cardiol abc Arquivos Brasileiros de Cardiologia Arq. Bras. Cardiol. 0066-782X 1678-4170 Sociedade Brasileira de Cardiologia - SBC KQzxJr9hqX9MjqpNmFtYQvh S0066-782X2016000400333 10.5935/abc.20160052 Review Article Network Meta-analysis to Synthesize Evidence for Decision Making in Cardiovascular Research Roever Leonardo 1 Biondi-Zoccai Giuseppe 2 3 Universidade Federal de Uberlândia Departmento de Pesquisa Clínica Uberlândia MG Brazil Universidade Federal de Uberlândia - Departmento de Pesquisa Clínica, Uberlândia, MG - Brazil Universidade Federal de Uberlândia Sapienza University of Rome Department of Medico-Surgical Sciences and Biotechnologies Latina Italy Department of Medico-Surgical Sciences and Biotechnologies, Sapienza University of Rome, Latina - Italy Sapienza - Università di Roma IRCCS Neuromed Department of AngioCardioNeurology Pozzilli Italy Department of AngioCardioNeurology, IRCCS Neuromed, Pozzilli - Italy Mailing Address: Leonardo S. Roever-Borges, Universidade Federal de Uberlândia. Av. Pará, 1720, Umuarama. Postal code 38400-902, Uberlândia, MG - Brazil. E-mail: leonardoroever@hotmail.com

Author contributions

Conception and design of the research, Acquisition of data, Writing of the manuscript and Critical revision of the manuscript for intellectual content: Roever L, Biondi-Zoccai G.

Potential Conflict of Interest

No potential conflict of interest relevant to this article was reported.

 04 2016 106 4 333 337 08 09 2015 29 09 2015 19 10 2015 This is an Open Access article distributed under the terms of the Creative Commons Attribution License, which permits unrestricted use, distribution, and reproduction in any medium, provided the original work is properly cited. Abstract

Clinical decision-making requires synthesis of evidence from literature reviews focused on a specific theme. Evidence synthesis is performed with qualitative assessments and systematic reviews of randomized clinical trials, typically covering statistical pooling with pairwise meta-analyses. These methods include adjusted indirect comparison meta-analysis, network meta-analysis, and mixed-treatment comparison. These tools allow synthesis of evidence and comparison of effectiveness in cardiovascular research.

 Keywords Meta-Analysis Evidence-Based Medicine Review Research Cardiovascular Diseases Comparative Study Introduction

Clinical decision-making requires a balanced judgment between tasks, skills, resources, and values. This is largely beyond the reach of most researchers, and often depends on external factors that cannot be easily modulated (such as economic resources or religious beliefs).1-5

Systematic reviews seem to be particularly useful when combining homogenous randomized controlled trials (RCTs) and pairwise meta-analysis. Computational methods used for pairwise meta-analysis have seen momentous improvements over time, and now include patient-level approach, meta-regression, and adjustment for small study effects. The simple term network meta-analysis includes all methods of synthesis encompassing extensive evidence, indirect comparisons, mixed-treatment comparison, and multiple treatment meta-analysis.5,6

This article aims to summarize the key features of network meta-analysis and its potential impact on cardiovascular decision-making.

Evidence base Hierarchy of evidence

Evidence-based medicine emphasizes the importance of systematic research of current evidence that follows a specific hierarchy in clinical evidence, basic (bench, in vitro, or animal) distinctive scientific experiments, studies with healthy volunteers, case reports and patients series, cross-sectional studies, case-control studies, cohort studies, and RCTs. This hierarchy is mirrored by a hierarchy in secondary research (i.e., synthesis of evidence) which includes qualitative assessments, systematic reviews, study-level pairwise meta-analyses, study-level meta-regression analyses, and finally, patient-level meta-analyses (Figure 1).7,8 A tertiary level of evidence and research consists of umbrella reviews, overviews of reviews, and meta-epidemiological studies.

Evidence hierarchy of primary research and secondary research in cardiovascular medicine.

From pairwise meta-analysis to network meta-analysis

Decision making is more complex than a pairwise meta-analysis since it moves from a two-dimensional to a multidimensional analytical framework. Several methods are being developed, such as adjusted indirect comparison, multitreatment meta-analysis, multi-arm meta-analysis, multivariable meta-analysis, network meta-analysis, and mixed-treatment comparison.

A pairwise meta-analysis can be defined as a pooled-weighted estimate of homogeneous trials comparing two treatments head to head (e.g., A and B), with typically proportional weights, to study accurately the size or number of events (Figure 2). And what should we do when we have two separate sets of trials, a first comparing A versus B, and a second comparing A versus C? We perform an adjusted indirect comparison under the assumption that patients, interventions, and outcomes measured in both sets of tests are similar. And what if we then recognize that of the studies comparing A versus B and B versus C, only a few compared A versus C? Should we then discard all the information resulting from the indirect comparison, or could we explore the information and provide effect estimates, therefore, more precise and accurate of A versus C, based on both direct and indirect evidence? This is precisely what a network meta-analysis does; it combines direct and indirect evidence (where available) to provide more precise and accurate (therefore, valid both internally and externally) effect estimates to guide decision making in complex scenarios.

Conceptual framework moving from univariate meta-analysis (top left panel) to pairwise meta-analysis (top right panel), network meta-analysis (bottom left panel), and multivariate meta-analysis (bottom right panel). A, B, C, and D represent competing treatments for the same condition; continuous lines represent direct comparisons stemming from head-to-head randomized trials; dashed lines represent indirect comparisons; and different colors represent different endpoints of interest.

Reviewing process Designing and registering the review

Reviews should be designed before the data are effectively retrieved, and the evaluation protocol should be published as soon as finalized in a dedicated repository site. Several guidelines are available to design, conduct, and report a systematic peer review and network meta-analysis.9,10

Searching, selecting, abstracting, and appraising evidence

The search should be performed in various databases (MEDLINE / PubMed, Cochrane Library, Europe PubMed Central, SciELO, LILACS, Embase, and others) to appropriate evidence. The selection of the studies is an important step in any systematic review. The studies should have moderate to high methodological quality and, at the same time that they are different trials based on convenience samples, they should represent similar views on a continuum of the clinical condition and a specific management strategy or set of strategies. Finally, all studies included in the review should be assessed for internal validity.11-14

Choosing the framework, package, model, and statistic Choosing the statistical framework

Most biostatistical inferences are based on a frequentist approach with its defining resources: null hypothesis, alternative hypothesis, hypothesis testing, p value, and confidence interval. Therefore, they can be limited by computational problems in case of a complex evidence network. The Bayesian framework has been the dominant framework for network meta-analysis for allowing more flexible modeling and adjustment for less-than-simple evidence networks.15-22 Despite the arguments above, recent developments in theoretical work and improvements in computational efficiency have largely bridged the gap between frequentist and Bayesian analysis in terms of precision, accuracy, and flexibility. Thus, similar results are obtained with state-of-the-art methods, regardless of the use of frames or a frequentist-Bayesian approach.

 Choosing the statistical package

To date, WinBUGS has been the most widely used package; it is relatively easy to command and is expressly designed for flexible Bayesian modeling and analysis. R has also been increasingly used, as it can activate WinBUGS routines, and may offer important tools for specific computations or sensitivity analyses. R can also be employed for frequentist network meta-analysis. Stata (StataCorp, College Station, TX, USA) and SAS (SAS, Cary, NC, USA) have also been adopted.20

Choosing the statistical model and between fixed and random effects

Relatively common events may best be analyzed with a binomial model, whereas uncommon events or those occurring over variable periods of time can be handled most effectively with a Poisson model.

 Choosing the appropriate statistics

Odds ratios, relative risks, risk differences, numbers needed to treat, probabilities of being best, rankograms, and surface under the cumulative ranking curves can all be generated from a binomial model.19,20 Relative risks are easier to understand but suffer from a forced reduction when in the fraction of the two risks, the numerator approaches one. Both odds ratios and relative risks disregard the duration of follow-up, and hazard ratios should be preferred and considered more reliable when the follow-up is not uniform.23,24

The choice of risk estimator, probability of being best, rankograms, and surface under the cumulative ranking curve are now considered even more important in helping the reader identify which treatment or group of treatments should be considered most likely better than the others.25

Incorporating moderators: network meta-regression

One of the strong features of a meta-analysis is its ability to assess interaction effects with meta-regression, thus quantifying the impact of moderators or covariates in estimating the effect. Network meta-analysis is suitable for meta-regression, given its characteristics of flexible modeling.24-26

Appraising between-study heterogeneity

Evaluation of the homogeneity of similar studies is a key aspect of any systematic review. Standard methods to assess the heterogeneity between studies in pairwise meta-analysis calculations include the Cochran's Q and I-squared statistics. If the p value stemming from the Cochran's Q statistic is <0.05, then play of chance alone is an unlikely explanation for the variability in effect estimates stemming from individual studies. I-squared is interpreted as showing absent or mild between-study inconsistency if < 25%, moderate inconsistency if < 50%, and moderate to severe inconsistency for values > 50%.4,5

Appraising inconsistency between direct and indirect estimates

The most important underlying assumption of meta-analysis network is that the studies are similar enough to be considered together. Evaluation of inconsistencies in direct and indirect estimates is essential to support the validity of any network meta-analysis. Several approaches are available, but in simple terms, any meta-analysis network in which the direct and indirect estimates differ substantially should be viewed with caution or completely ignored.17

Appraising small study effects and publication bias

Small study effects may distort the overall assessment of the clinical evidence, providing estimates of inaccurate or biased effect. This is most often due to publication bias or other factors. Therefore, the assessment of small study effects is critical to support the validity of any network meta-analysis.27

A network meta-analysis dominated by small studies cannot be considered valid, and its results should be probably disregarded or, at best, used to generate hypotheses. Several approaches have been suggested to test for small study effects, including inspection of funnel plots after correction for subgroup summary estimates, regression testing, and the Copas method.17,28

Combining multiple effect estimates: multivariate network meta-analysis

Multivariate meta-analysis is performed on separate sets of analysis, so the reader is left with the difficult choice of considering which end point is more meaningful. One solution is to create a net composite end point (e.g., nonfatal stroke, nonfatal bleeding, myocardial infarction, or death). This approach has limited benefits in terms of increased precision and forces us to consider all compounded end point components as equally important. When the results obtained with competing risks are used, there is also a risk of heterogeneous or spurious average effects (for example, when bleeding and thrombotic events are combined).

Multivariate meta-analysis is a specific application of multivariate analysis to define meta-analysis when a set of dependent variables is analyzed simultaneously, and thus when comparing different treatments, the only treatment that is most likely and more consistently capable of providing a clinical improvement may be identified. This approach is beneficial when a specific hierarchy between the different results is lacking, and when every single result, if considered isolated, has no clinical relevance to guide decision making on their own.4

A relevant question is whether, when assembled, end points that were only evaluated in secondary analyses may be trusted like end points that were the primary outcomes of the included studies. The risk of distortion due to reporting bias is higher in the first case, as is the risk of type I error.

 Moving from study-level to patient-level data: individual patient network meta-analysis

Meta-analysis has always been criticized for using mostly study-level or aggregated data, and lacking originality and ecological risk. Individual patient-level meta-analysis overcomes this limitation and has many other advantages: it may improve internal validity, test subgroup hypothesis, and evaluate covariates of interest.

Network meta-analysis may be performed at both study level and patient level using an approach of one or two stages depending on the framework, package, model, and statistics of preference. While more challenging, especially in terms of logistics and cooperativeness, patient-level network meta-analysis should be considered the standard reference for any evidence synthesis effort.

 State-of-the-art reporting of network meta-analyses

Network meta-analyses have been the focus of many standardization efforts in order to increase their robustness and validity while increasing its usability among decision makers.5 State-of-the-art reports should consist of explicit information about the methods, clarify the evidence network, include sound analytical methods, appraise the validity of the homogeneity and consistency assumptions, and lack substantial small study effects. Sensitivity analyses are crucial to ensure the reader of any network meta-analysis that the results are similar in statistical direction and magnitude despite different assumptions or computational methods.

 Future perspectives Moving from evidence synthesis to action

The results of a network meta-analysis should be used to guide decision making, define how to best interpret the results of the evaluation and apply them in clinical practice, and to fully implement the intervention in details with the most favorable risk-benefit balance. This is best done by absolute risk estimates, numbers needed to treat, and rankograms, basing judgment on credible or confidence intervals, rather than on point estimates, while recognizing the simultaneous effect of a particular intervention on various end points.13 With this, when two or more interventions seem to have a similar beneficial risk-benefit profile, the one easier or cheaper to implement should be favored.

 The future of network meta-analysis: toward accessibility and integration

The future of network meta-analysis depends on the difficult process of navigating between the Scylla of state-of-the-art processes of conducting a valid systematic review and the Charybdis of effective dissemination and successful implementation by decision makers and stakeholders. Research and clinical practice have been dominated over the past decades by simple and easy to use tools providing new solutions to complex problems. An excellent resource for clinical research methods is survival analysis using the Kaplan-Meier method, with its precise, accurate, and robust results in everyday research, despite its application in a multitude of very different and sometimes difficult contexts.

In the future, network meta-analysis and synthesis evidence will be possible with the concomitant application of simple, yet robust packages to perform network meta-analysis on various platforms such as tablets and smartphones, and the creation of intelligent trial repositories that can upload automatically the information obtained through individual data in a kind of cumulative network meta-analysis. No individual meta-analysis should be seen as the end, but rather, as a tool to provide a distilled and purified form of the available evidence to guide more accurately the clinical practice.

 Conclusions

Decision making in cardiovascular practice is often based on complex, yet incomplete evidence. Network meta-analysis represents a uniquely versatile and powerful tool to improve cardiovascular decision making.

Sources of Funding

There were no external funding sources for this study.

Study Association

This study is not associated with any thesis or dissertation work

 References 1 Greco T, Biondi-Zoccai G, Saleh O, Pasin L, Cabrini L, Zangrillo A, et. al. The attractiveness of network meta-analysis: a comprehensive systematic and narrative review. Heart Lung Vessel. 2015;7(2):133-42. Greco T Biondi-Zoccai G Saleh O Pasin L Cabrini L Zangrillo A The attractiveness of network meta-analysis: a comprehensive systematic and narrative review Heart Lung Vessel 2015 7 2 133 142 2 Biondi-Zoccai G, Abbate A, Benedetto U, Palmerini T, D'Ascenzo F, Frati G. Network meta-analysis for evidence synthesis: What is it and why is it posed to dominate cardiovascular decision making? Int J Cardiol. 2015;182:309-14. Biondi-Zoccai G Abbate A Benedetto U Palmerini T D'Ascenzo F Frati G Network meta-analysis for evidence synthesis: What is it and why is it posed to dominate cardiovascular decision making? Int J Cardiol 2015 182 309 314 3 Guyatt G, Meade MO, Cook DJ, Rennie D (editors). Users' guides to the medical literature: a manual for evidence-based clinical practice. 3rd ed. New York: McGrawHill; 2014. Guyatt G Meade MO Cook DJ Rennie D Users' guides to the medical literature: a manual for evidence-based clinical practice 2014 3rd ed New York McGrawHill 4 Stolker JM, Spertus JA, Cohen DJ, Jones PG, Jain KK, Bamberger E,et al. Rethinking composite end points in clinical trials: insights from patients and trialists. Circulation. 2014;130(15):1254-61. Stolker JM Spertus JA Cohen DJ Jones PG Jain KK Bamberger E Rethinking composite end points in clinical trials: insights from patients and trialists Circulation 2014 130 15 1254 1261 5 Biondi-Zoccai G. (editor). Network meta-analysis: evidence synthesis with mixed treatment comparison. Hauppauge (NY): Science Publishers; 2014. Biondi-Zoccai G Network meta-analysis: evidence synthesis with mixed treatment comparison Hauppauge(NY) Science Publishers 2014 6 Higgins JP, Green S. Cochrane handbook for systematic reviews of interventions. Chichester: John Wiley & Sons; 2008. Higgins JP Green S Cochrane handbook for systematic reviews of interventions Chichester John Wiley & Sons 2008 7 Chatterjee S, Biondi-Zoccai G, Abbate A, D'Ascenzo F, Castagno D, Van Tassell B, et al. Benefits of β blockers in patients with heart failure and reduced ejection fraction: network meta-analysis. BMJ. 2013;346:f55. Erratum in: BMJ. 2013;346:f596. Chatterjee S Biondi-Zoccai G Abbate A D'Ascenzo F Castagno D Van Tassell B Benefits of β blockers in patients with heart failure and reduced ejection fraction: network meta-analysis BMJ 2013 346 f55 f55 Erratum in: BMJ. 2013;346:f596 8 Abbate A, Biondi-Zoccai GG, Appleton DL, Erne P, Schoenenberger AW, Lipinski MJ, et al. Survival and cardiac remodeling benefits in patients undergoing late percutaneous coronary intervention of the infarct-related artery: evidence from a meta-analysis of randomized controlled trials. J Am Coll Cardiol. 2008;51(9):956-64. Abbate A Biondi-Zoccai GG Appleton DL Erne P Schoenenberger AW Lipinski MJ Survival and cardiac remodeling benefits in patients undergoing late percutaneous coronary intervention of the infarct-related artery: evidence from a meta-analysis of randomized controlled trials J Am Coll Cardiol 2008 51 9 956 964 9 Biondi-Zoccai GG, Lotrionte M, Abbate A, Testa L, Remigi E, Burzotta F, et al. Compliance with QUOROM and quality of reporting of overlapping meta-analyses on the role of acetylcysteine in the prevention of contrast associated nephropathy: case study, BMJ. 2006;332(7535):202-9. Biondi-Zoccai GG Lotrionte M Abbate A Testa L Remigi E Burzotta F Compliance with QUOROM and quality of reporting of overlapping meta-analyses on the role of acetylcysteine in the prevention of contrast associated nephropathy: case study BMJ 2006 332 7535 202 209 10 Laws A, Kendall R, Hawkins N. A comparison of national guidelines for network meta-analysis. Value Health. 2014;17(5):642-54. Laws A Kendall R Hawkins N A comparison of national guidelines for network meta-analysis Value Health 2014 17 5 642 654 11 Antman EM, Lau J, Kupelnick B, Mosteller F, Chalmers TC. A comparison of results of meta-analyses of randomized control trials and recommendations of clinical experts. Treatments for myocardial infarction. JAMA. 1992;268(2):240-8. Antman EM Lau J Kupelnick B Mosteller F Chalmers TC A comparison of results of meta-analyses of randomized control trials and recommendations of clinical experts. Treatments for myocardial infarction JAMA 1992 268 2 240 248 12 Biondi-Zoccai GG, Agostoni P, Abbate A, Testa L, Burzotta F. A simple hint to improve Robinson and Dickersin's highly sensitive PubMed search strategy for controlled clinical trials. Int J Epidemiol. 2005;34(1):224-5. Biondi-Zoccai GG Agostoni P Abbate A Testa L Burzotta F A simple hint to improve Robinson and Dickersin's highly sensitive PubMed search strategy for controlled clinical trials Int J Epidemiol 2005 34 1 224 225 13 Egger M, Smith GD. Bias in location and selection of studies. BMJ. 1998;316(7124):61-6. Egger M Smith GD Bias in location and selection of studies BMJ 1998 316 7124 61 66 14 Smith GC, Pell JP. Parachute use to prevent death and major trauma related to gravitational challenge: systematic review of randomised controlled trials. BMJ 2003;327(7429):1459-61. Smith GC Pell JP Parachute use to prevent death and major trauma related to gravitational challenge: systematic review of randomised controlled trials BMJ 2003 327 7429 1459 1461 15 Lu G, Ades AE. Combination of direct and indirect evidence in mixed treatment comparisons. Stat Med. 2004;23(20):3105-24. Lu G Ades AE Combination of direct and indirect evidence in mixed treatment comparisons Stat Med 2004 23 20 3105 3124 16 Mills EJ, Thorlund K, Eapen S, Wu P, Prochaska JJ. Cardiovascular events associated with smoking cessation pharmacotherapies: a network meta-analysis. Circulation. 2014;129(1):28-41. Mills EJ Thorlund K Eapen S Wu P Prochaska JJ Cardiovascular events associated with smoking cessation pharmacotherapies: a network meta-analysis Circulation 2014 129 1 28 41 17 Palmerini T, Biondi-Zoccai G, Della Riva D, Stettler C, Sangiorgi D, D'Ascenzo F, et al. Stone, stent thrombosis with drug-eluting and bare-metal stents: evidence from a comprehensive network meta-analysis, Lancet. 2012;379(9824):1393-402. Palmerini T Biondi-Zoccai G Della Riva D Stettler C Sangiorgi D D'Ascenzo F Stone, stent thrombosis with drug-eluting and bare-metal stents: evidence from a comprehensive network meta-analysis Lancet 2012 379 9824 1393 1402 18 Palmerini T, Biondi-Zoccai G, Della Riva D, Mariani A, Sabaté M, Valgimigli M, et al. Stone, clinical outcomes with drug-eluting and bare-metal stents in patients with ST-segment elevation myocardial infarction: evidence from a comprehensive network meta-analysis. J Am Coll Cardiol. 2013;62(6):496-504. Palmerini T Biondi-Zoccai G Della Riva D Mariani A Sabaté M Valgimigli M Stone, clinical outcomes with drug-eluting and bare-metal stents in patients with ST-segment elevation myocardial infarction: evidence from a comprehensive network meta-analysis J Am Coll Cardiol 2013 62 6 496 504 19 Palmerini T, Biondi-Zoccai G, Della Riva D, Mariani A, Sabaté M, Smits PC, et al. Clinical outcomes with bioabsorbable polymer- versus durable polymer-based drug-eluting and bare-metal stents: evidence from a comprehensive network meta-analysis. J Am Coll Cardiol. 2014;63(4):299-307. Palmerini T Biondi-Zoccai G Della Riva D Mariani A Sabaté M Smits PC Clinical outcomes with bioabsorbable polymer- versus durable polymer-based drug-eluting and bare-metal stents: evidence from a comprehensive network meta-analysis J Am Coll Cardiol 2014 63 4 299 307 20 Stortecky S, da Costa BR, Mattle HP, Carroll J, Hornung M, Sievert H, et al. Percutaneous closure of patent foramen ovale in patients with cryptogenic embolism: a network meta-analysis. Eur Heart J. 2015;36(2):120-8. Stortecky S da Costa BR Mattle HP Carroll J Hornung M Sievert H Percutaneous closure of patent foramen ovale in patients with cryptogenic embolism: a network meta-analysis Eur Heart J 2015 36 2 120 128 21 Eddy DM, Hasselblad V. FAST*PRO: Software for meta-analysis by the confidence profile method. Boston: Academic Press; 1992. Eddy DM Hasselblad V FAST*PRO: Software for meta-analysis by the confidence profile method Boston Academic Press 1992 22 Tu YK. Use of generalized linear mixed models for network meta-analysis. Med Decis Making. 2014;34(7):911-8. Tu YK Use of generalized linear mixed models for network meta-analysis Med Decis Making 2014 34 7 911 918 23 Walter SD. Choice of effect measure for epidemiological data. J Clin Epidemiol. 2000;53(9):931-9. Walter SD Choice of effect measure for epidemiological data J Clin Epidemiol 2000 53 9 931 939 24 Norton EC, Miller MM, Wang JJ, Coyne K, Kleinman LC. Rank reversal in indirect comparisons. Value Health. 2012;15(8):1137-40. Norton EC Miller MM Wang JJ Coyne K Kleinman LC Rank reversal in indirect comparisons Value Health 2012 15 8 1137 1140 25 Biondi-Zoccai G, Lotrionte M, Thomsen HS, Romagnoli E, D'Ascenzo F, Giordano A, et al. Nephropathy after administration of iso-osmolar and low-osmolar contrast media: evidence from a network meta-analysis. Int J Cardiol. 2014;172(2):375-80. Biondi-Zoccai G Lotrionte M Thomsen HS Romagnoli E D'Ascenzo F Giordano A Nephropathy after administration of iso-osmolar and low-osmolar contrast media: evidence from a network meta-analysis Int J Cardiol 2014 172 2 375 380 26 Palmerini T, Biondi-Zoccai G, Riva DD, Mariani A, Savini C, Di Eusanio M, et al. Risk of stroke with percutaneous coronary intervention compared with on-pump and off-pump coronary artery bypass graft surgery: evidence from a comprehensive network meta-analysis. Am Heart J. 2013;165(6):910-7. Palmerini T Biondi-Zoccai G Riva DD Mariani A Savini C Di Eusanio M Risk of stroke with percutaneous coronary intervention compared with on-pump and off-pump coronary artery bypass graft surgery: evidence from a comprehensive network meta-analysis Am Heart J 2013 165 6 910 917 27 Biondi-Zoccai GG, Lotrionte M, Anselmino M, Moretti C, Agostoni P, Testa L, et al. Systematic review and meta-analysis of randomized clinical trials appraising the impact of cilostazol after percutaneous coronary intervention. Am Heart J. 2008;155(6):1081-9. Biondi-Zoccai GG Lotrionte M Anselmino M Moretti C Agostoni P Testa L Systematic review and meta-analysis of randomized clinical trials appraising the impact of cilostazol after percutaneous coronary intervention Am Heart J 2008 155 6 1081 1089 28 Mavridis D, Sutton A, Cipriani A, Salanti G. A fully Bayesian application of the Copas selection model for publication bias extended to network meta-analysis. Stat Med. 2013;32(1):51-66. Mavridis D Sutton A Cipriani A Salanti G A fully Bayesian application of the Copas selection model for publication bias extended to network meta-analysis Stat Med 2013 32 1 51 66 Artigo de Revisão Metanálise de Rede para Sintetizar Evidências para a Tomada de Decisão na Pesquisa Cardiovascular Roever Leonardo 1 Biondi-Zoccai Giuseppe 2 3 Universidade Federal de Uberlândia - Departmento de Pesquisa Clínica, Uberlândia, MG - Brasil Department of Medico-Surgical Sciences and Biotechnologies, Sapienza University of Rome, Latina - Italy Department of AngioCardioNeurology, IRCCS Neuromed, Pozzilli - Italy Correspondência: Leonardo S. Roever-Borges, Universidade Federal de Uberlândia. Av. Pará, 1720, Umuarama. CEP 38400-902, Uberlândia, MG - Brasil. E-mail: leonardoroever@hotmail.com

Contribuição dos autores

Concepção e desenho da pesquisa, Obtenção de dados, Redação do manuscrito e Revisão crítica do manuscrito quanto ao conteúdo intelectual importante: Roever L, Biondi-Zoccai G.

Potencial conflito de interesse

Declaro não haver conflito de interesses pertinentes.

 Resumo

A tomada de decisão clínica requer síntese de evidências de revisões da literatura focadas em um tema específico. Para sintetizar evidências, são realizadas avaliações qualitativas e revisões sistemáticas de ensaios clínicos randomizados, tipicamente cobrindo análises estatísticas agregadas com metanálise pareada. Estes métodos incluem metanálise de comparação indireta ajustada, metanálise de rede e comparação de múltiplos tratamentos. Estas ferramentas permitem a síntese de evidências e eficácia comparativa na pesquisa cardiovascular.

 Palavras-chave Metanálise Medicina Baseada em Evidências Revisão Pesquisa Doenças Cardiovasculares Estudo Comparativo Introdução

A tomada de decisão clínica exige um julgamento equilibrado entre funções, competências, recursos e valores. Isto está amplamente fora do alcance da maioria dos pesquisadores e depende, muitas vezes, de fatores externos que não podem ser facilmente modulados (tais como recursos econômicos ou crenças religiosas).1-5

As revisões sistemáticas parecem ser particularmente úteis quando combinadas com ensaios clínicos randomizados homogêneos e metanálise pareada. Métodos computacionais utilizados para metanálise pareada apresentaram melhorias importantes ao longo do tempo e agora incluem abordagem caso a caso, metarregressão e ajuste de efeito de estudos pequenos. O simples termo metanálise de rede inclui todos os métodos de síntese que englobam evidências extensas, comparações indiretas, comparação de múltiplos tratamentos e metanálise de múltiplos tratamentos.5,6

Este artigo tem a finalidade de resumir as principais características da metanálise de rede e seu potencial impacto sobre a tomada de decisão na prática cardiovascular.

Base de evidências Hierarquia de evidências

A medicina baseada em evidências enfatiza a importância da pesquisa sistemática de evidências atuais seguindo uma hierarquia específica de evidências clínicas, básicas (pesquisa de laboratório, in vitro, ou em animais), experimentos científicos distintos, estudos com voluntários sadios, relatos de casos e séries de pacientes, além de estudos transversais, caso-controle e de coorte, e ensaios clínicos randomizados. Essa hierarquia é espelhada por uma hierarquia de pesquisa secundária (ou seja, síntese de evidências) que inclui avaliações qualitativas, revisões sistemáticas, metanálise pareada estudo a estudo, análise de metarregressão estudo a estudo, e por fim, metanálise caso a caso (Figura 1).7,8 O nível terciário de evidência e pesquisa consiste em revisões de cobertura, visão geral de revisões e estudos metaepidemiológicos.

Hierarquia de evidências de pesquisa primária e secundária em medicina cardiovascular.

Da metanálise pareada à metanálise de rede

A tomada de decisão é mais complexa do que uma metanálise pareada, e parte de um quadro analítico bidimensional para outro multidimensional. Vários métodos vêm sendo desenvolvidos, como por exemplo, comparação indireta ajustada, metanálise de múltiplos tratamentos, metanálise de múltiplos braços, metanálise multivariada, metanálise de rede e comparação de múltiplos tratamentos.

A metanálise pareada pode ser definida como estimativas agregadas e ponderadas de ensaios comparando lado a lado dois tratamentos (por exemplo, A e B), com pesos tipicamente proporcionais, a fim de estudar com precisão o tamanho ou o número de eventos (Figura 2). E o que devemos fazer quando temos dois conjuntos separados de ensaios, o primeiro comparando A e B e o segundo comparando A e C? Nós realizamos uma comparação indireta ajustada sob o pressuposto de que os pacientes, intervenções e resultados obtidos em ambos os conjuntos de testes são semelhantes. E se reconhecemos que dentre os estudos que comparam A versus B e B versus C, apenas poucos compararam A versus C? Devemos, então, descartar todas as informações resultantes da comparação indireta, ou podemos explorar as informações e fornecer estimativas de efeitos, portanto, mais precisas e acuradas de A versus C, com base nas duas evidências, direta e indireta? Isto é precisamente o que uma metanálise de rede faz; ela combina evidências diretas e indiretas (quando disponíveis) a fim de fornecer estimativas de efeitos mais acuradas e precisas (portanto, válidas tanto internamente como externamente) para orientar tomadas de decisões em cenários complexos.

Quadro conceitual passando da metanálise univariada (canto superior esquerdo) para metanálise pareada (canto superior direito), metanálise de rede (canto inferior esquerdo) e metanálise multivariada (canto inferior direito). A, B, C e D representam tratamentos concorrentes para uma mesma condição; as linhas contínuas representam comparações diretas decorrentes de ensaios clínicos randomizados comparados lado a lado; as linhas tracejadas representam comparações indiretas; cores diferentes representam diferentes desfechos de interesse.

Processo de revisão Desenhando e registrando a revisão

Revisões devem ser desenhadas antes que os dados sejam efetivamente coletados e o protocolo de avaliação deve ser publicado logo que finalizado em um repositório em um sítio dedicado. Várias diretrizes estão disponíveis para desenho, condução e relato de uma revisão sistemática por pares e metanálise de rede.9,10

Buscando, selecionando, resumindo e avaliando as evidências

A busca para coletar evidências deve ser realizada em várias bases de dados (MEDLINE / PubMed, Cochrane Library, Europe PubMed Central, SciELO, LILACS, Embase e outros). A seleção dos estudos é um passo importante em qualquer revisão sistemática. Os estudos devem ter qualidade metodológica moderada a alta e, ao mesmo tempo que tratarem de ensaios diferentes com base em amostras de conveniência, devem representar visões semelhantes sobre um continuum de uma condição clínica e uma estratégia ou conjunto de estratégias específicas de manejo. Por último, a validade interna de todos os estudos incluídos na revisão deve ser analisada.11-14

Escolhendo a estrutura, pacote, modelo e estatística Escolhendo a estrutura estatística

As inferências bioestatísticas são, na grande maioria, baseadas em uma abordagem frequentista com seus recursos definidores: hipótese nula, hipótese alternativa, teste de hipóteses, valor de p e intervalo de confiança. Portanto, podem ser limitadas por problemas computacionais no caso de uma rede de dados complexa. A estrutura Bayesiana tem sido a estrutura dominante na metanálise de rede por permitir modelagem e ajuste mais flexíveis para redes de evidência menos do que simples.15-22 Apesar dos argumentos acima, acontecimentos recentes em trabalhos teóricos e melhorias da eficiência computacional preencheram amplamente a lacuna entre análise frequentista e Bayesiana em termos de precisão, acurácia e flexibilidade. Assim, resultados semelhantes são obtidos com métodos de ponta, independentemente do uso de quadros ou abordagem frequentista-Bayesiana.

 Escolhendo o pacote estatístico

Até o momento, o WinBUGS tem sido o pacote mais amplamente utilizado. Ele é relativamente fácil de comandar, e foi especificamente desenhado para uma modelagem e análise Bayesiana flexível. O R também tem sido cada vez mais utilizado, já que pode ativar rotinas do WinBUGS e oferecer ferramentas importantes para computações específicas ou análises de sensibilidade. O R também pode ser empregado para metanálise de rede frequentista. O Stata (StataCorp, College Station, TX, EUA) e o SAS (SAS, Cary, NC, EUA) também têm sido adotados.20

Escolhendo o modelo estatístico e entre efeitos fixos e aleatórios

Eventos relativamente comuns podem ser mais bem analisados com um modelo binomial, enquanto eventos incomuns ou aqueles que ocorrem em períodos variáveis de tempo podem ser tratados com mais eficácia com o modelo de Poisson.

 Escolhendo a estatística apropriada

Razão de chances, risco relativo, diferença de risco, número necessário para tratar, probabilidade de ser o melhor, rankogramas e superfície sob a curva cumulativa de ranking podem ser gerados a partir de um modelo binomial.19,20 Os riscos relativos são mais fáceis de serem compreendidos, mas sofrem de uma redução forçada quando na fração entre os dois riscos, o numerador se aproxima de um. Tanto a razão de chances quanto a razão de risco não levam em consideração a duração do seguimento, portanto a taxa de risco deve ser preferida e considerada mais confiável quando o seguimento não é uniforme.23,24

A escolha do estimador de risco, probabilidade de ser o melhor, rankograma e superfície sob a curva cumulativa de ranking são considerados hoje ainda mais importante para ajudar o leitor a identificar qual o tratamento ou grupo de tratamentos que deve ser considerado provavelmente melhor do que outros.25

Incorporando moderadores: metarregressão de rede

Uma das características fortes de uma metanálise é a sua habilidade de avaliar efeitos de interação com metarregressão, quantificando assim o impacto de moderadores ou covariáveis na estimativa do efeito. A metanálise de rede é adequada para metarregressão, dadas as suas características de modelagem flexível.24-26

Avaliando a heterogeneidade entre estudos

A avaliação da homogeneidade entre estudos semelhantes é um aspecto fundamental de qualquer revisão sistemática. Métodos padronizados para avaliar a heterogeneidade entre estudos nos cálculos da metanálise pareada incluem o teste Q de Cochran e estatística I-quadrado. Se o valor de p derivado do teste Q de Cochran é < 0,05, o acaso por si só é então pouco provável para explicar a variabilidade nas estimativas de efeito decorrentes de estudos individuais. Na interpretação do I-quadrado, a inconsistência entre estudos é classificada como leve ou ausente se < 25%, moderada se < 50 % e moderada a grave se > 50%.4,5

Avaliando inconsistência entre estimativas diretas e indiretas

A suposição subjacente mais importante da metanálise de rede é de que os estudos são suficientemente semelhantes para serem consideradas em conjunto. A avaliação da inconsistência nas estimativas diretas e indiretas é essencial para apoiar a validade de qualquer metanálise de rede. Várias abordagens estão disponíveis, mas em termos simples, qualquer metanálise de rede na qual as estimativas diretas e indiretas diferem substancialmente deve ser vista com cautela ou ser completamente ignorada.17

Avaliando efeitos de estudos pequenos e vieses de publicação

Efeitos de estudos pequenos podem distorcer a avaliação global da evidência clínica, fornecendo estimativas de efeito impreciso ou tendencioso. Isto ocorre na maioria das vezes devido a vieses de publicação ou outros fatores. Portanto, a avaliação do efeito de estudos pequenos é crítica para apoiar a validade de qualquer metanálise de rede.27

Uma metanálise de rede dominada por estudos pequenos não pode ser considerada válida e seus resultados devem ser provavelmente ignorados, ou no máximo, utilizados para gerar hipóteses. Várias abordagens têm sido sugeridas para testar efeitos de estudos pequenos, incluindo inspeção do gráfico de funil após correção para estimativas sumárias de subgrupos, teste de regressão e o método de Copas.17,28

Combinando estimativas de efeito múltiplo: metanálise multivariada de rede

A metanálise multivariada é realizada em conjuntos distintos de análise e resta ao leitor a difícil escolha de considerar qual desfecho é mais significativo. Uma solução é criar uma rede de desfechos combinados (por exemplo, acidente vascular cerebral não fatal, sangramento não fatal, morte, ou infarto do miocárdio). Esta abordagem tem benefícios limitados em termos de maior precisão e nos força a considerar todos os componentes do desfecho conjunto como igualmente importantes. Quando os resultados obtidos com riscos concorrentes são utilizados, há também um risco de efeitos médios heterogêneos ou espúrios (por exemplo, quando sangramento e eventos trombóticos são combinados).

A metanálise multivariada é uma aplicação específica da análise multivariada para definir uma metanálise na qual um conjunto de variáveis dependentes é analisado simultaneamente; assim, quando se comparam diferentes tratamentos, o único tratamento que é o mais provável e consistentemente capaz de proporcionar uma melhora clínica pode ser identificado. Esta abordagem é vantajosa quando falta uma hierarquia específica entre os diferentes resultados e quando cada um dos resultados, se considerado isoladamente, não tem relevância clínica para orientar por si só a tomada de decisões.4

Uma questão relevante é saber se, quando agregados, é possível confiar nos desfechos avaliados inicialmente em análises secundárias da mesma maneira que os desfechos que foram resultados primários nos estudos incluídos. O risco de distorção devido a um viés de comunicação é maior no primeiro caso, assim como também o risco de erro tipo I.

 Passando de dados estudo a estudo (<italic>study level</italic>) para dados caso a caso (<italic>patient level</italic>): metanálise de rede de pacientes individuais

A metanálise sempre foi criticada por utilizar principalmente dados a nível de estudo ou agregados, e por não ter originalidade e riscos ecológicos. A metanálise de rede caso a caso supera esta limitação e tem muitas outras vantagens: pode melhorar a validade interna, testar hipóteses em subgrupo e avaliar covariáveis de interesse.

A metanálise de rede pode ser realizada tanto a nível de estudo quanto de paciente através de uma abordagem de uma ou duas etapas, dependendo do quadro, pacote, modelo e estatística de preferência. Enquanto cada vez mais desafiadora, especialmente em termos de logística e cooperativismo, a metanálise de rede caso a caso deve ser considerada a referência padrão para qualquer síntese de evidência.

 Relatando metanálises de rede com excelência

As metanálises de rede têm sido foco de vários esforços de padronização que tentam aumentar sua robustez e eficácia e, ao mesmo tempo, seu uso entre tomadores de decisão.5 Relatórios de excelência devem incluir informações explícitas sobre os métodos, esclarecer a respeito da rede de evidências, utilizar métodos analíticos sólidos, avaliar a validade da homogeneidade e pressupostos de consistência, e não sofrer de modo importante de efeito de estudos pequenos. Análises de sensibilidade são cruciais para garantir ao leitor de qualquer metanálise de rede que os resultados são semelhantes em direção e magnitude estatística, apesar de terem hipóteses ou métodos computacionais distintos.

 Perspectivas futuras Mudando da síntese de evidência para a ação

Os resultados de uma metanálise de rede devem ser utilizados para orientar a tomada de decisões, definir a melhor forma de interpretar os resultados da avaliação e aplicá-los na prática clínica, e implementar plenamente a intervenção em detalhes com o balanço risco-benefício mais favorável. Isto é feito melhor por estimativas de risco absoluto, número necessário para tratar e rankogramas, baseando o julgamento em intervalos de confiança credíveis ao invés de estimativas pontuais, enquanto se reconhece o efeito simultâneo de uma determinada intervenção em vários desfechos.13 Com isso, quando duas ou mais intervenções parecem ter perfis de risco-benefício igualmente benéficos, a mais fácil ou de menor custo para implementação deve ser favorecida.

 O futuro da metanálise de rede: rumo à acessibilidade e integração

O futuro da metanálise de rede depende do difícil processo de navegar entre a Cila de processos de ponta para condução de uma revisão sistemática válida e o Caríbdis da disseminação efetiva e implementação bem-sucedida por tomadores de decisão e partes interessadas. A pesquisa e a prática clínica têm sido dominadas nas últimas décadas por ferramentas simples e fáceis de usar que fornecem novas soluções para problemas complexos. Um excelente recurso para métodos de pesquisa clínica é a análise de sobrevida utilizando o método de Kaplan-Meier, com seus resultados precisos, exatos e robustos nas pesquisas do dia a dia, apesar da sua aplicação em uma multitude de contextos diferentes e, por vezes, difíceis.

No futuro, a metanálise de rede e síntese de evidência serão possíveis com aplicação concomitante de pacotes simples mas robustos para a realização de metanálise de rede em diversas plataformas como tablets e smartphones, e a criação de inteligentes repositórios de estudos que possam acumular automaticamente as informações obtidas através dos dados individuais em uma espécie de metanálise de rede de acúmulo. Nenhuma metanálise individual deve ser considerada como o fim, mas sim, como uma ferramenta para fornecer uma forma destilada e purificada das evidências disponíveis para guiar com mais acurácia a prática clínica.

 Conclusões

A tomada de decisões na prática cardiovascular é muitas vezes baseada em evidências complexas, porém incompletas. A metanálise de rede representa uma ferramenta única, versátil e poderosa para melhorar a tomada de decisão cardiovascular.

Fontes de financiamento

O presente estudo não teve fontes de financiamento externas.

Vinculação acadêmica

Não há vinculação deste estudo a programas de pós-graduação.