Arq Bras Cardiol abc Arquivos Brasileiros de Cardiologia Arq. Bras. Cardiol. 0066-782X 1678-4170 Sociedade Brasileira de Cardiologia - SBC LLRXVqDMLjhtmwGjQTGJJ7J S0066-782X2023000400501 00501 10.36660/abc.20220539 Carta Científica Servindo a Dois Mestres: Resolvendo o Dilema entre Metanálise de Dados Individuais e Metanálise de Dados Agregados de Estudos com Estatinas 0000-0002-6003-1314 Tramujas Lucas Concepção e desenho da pesquisa,Obtenção de dados,Análise e interpretação dos dados, Redação do manuscrito e Revisão crítica do manuscrito quanto ao conteúdo intelectual importante 1 Medrado Fernando Azevedo Júnior Obtenção de dados,Análise e interpretação dos dados, Redação do manuscrito e Revisão crítica do manuscrito quanto ao conteúdo intelectual importante 1 Cavalcanti Alexandre Biasi Concepção e desenho da pesquisa,Análise e interpretação dos dados, Redação do manuscrito e Revisão crítica do manuscrito quanto ao conteúdo intelectual importante 1 0000-0003-2559-8689 Pompilio Carlos Eduardo Concepção e desenho da pesquisa,Análise e interpretação dos dados, Redação do manuscrito e Revisão crítica do manuscrito quanto ao conteúdo intelectual importante 2 Instituto de Pesquisas Hcor São Paulo SP Brasil Instituto de Pesquisas, Hcor, São Paulo, SP – Brasil Hospital das Clínicas Faculdade de Medicina Universidade de São Paulo São Paulo SP Brasil Clínica Médica, Hospital das Clínicas, Faculdade de Medicina da Universidade de São Paulo (HCFMUSP), São Paulo, SP – Brasil Correspondência: Lucas Tramujas • Instituto de Pesquisa do Hcor – Rua Des. Eliseu Guilherme, 200. CEP 04004-030, Vila Mariana, São Paulo, SP – Brasil E-mail: ltramujas@hcor.com.br

Potencial conflito de interesse

Não há conflito com o presente artigo.

 21 04 2023 03 2023 120 4 e20220539 28 07 2022 27 10 2022 14 12 2022 This is an Open Access article distributed under the terms of the Creative Commons Attribution License, which permits unrestricted use, distribution, and reproduction in any medium, provided the original work is properly cited. Metanálise Colesterol Doença cardiovascular Introdução

Níveis elevados de colesterol de lipoproteína de baixa densidade (LDL-C) foram estabelecidos como um importante fator de risco para o desenvolvimento de aterosclerose.1 Como corolário desse raciocínio, surgiu uma abordagem centrada no LDL com base em estatinas e outros medicamentos capazes de reduzir o LDL-C e o risco cardiovascular.1

A Cholesterol Treatment Trialists’ Collaboration (Colaboração de Investigadores Clínicos no Tratamento de Colesterol), uma metanálise de dados individuais do paciente, encontrou uma relação logarítmica entre o grau de redução de LDL-C e eventos cardiovasculares.2 De acordo com isso, diretrizes especializadas para prevenir doenças cardiovasculares recomendam o uso de estatinas para prevenção primária e secundária.2

Por outro lado, uma metanálise de dados agregados publicada por Byrne et al. sobre a associação entre as reduções induzidas por estatinas nos níveis de LDL-C e as reduções absolutas e relativas em desfechos clínicos individuais mostrou resultados discrepantes.3 Os autores concluíram que as reduções de risco absoluto do tratamento com estatinas na mortalidade por todas as causas, infarto do miocárdio, e acidente vascular cerebral são modestos. A metanálise também sugere uma associação inconclusiva entre as reduções induzidas por estatina nos níveis de LDL-C e os resultados clínicos.3

Aqui, descreveremos as principais diferenças entre metanálise de dados individuais de pacientes e metanálise de dados agregados e como entender esses resultados para evitar viés na tomada de decisões médicas, considerando o exemplo de metanálises de ensaios com estatinas.

 Definições de metanálise de dados agregados e metanálise de dados individuais de pacientes

A metanálise de estudos de intervenção é um método estatístico para combinar todas as pesquisas publicadas sobre uma questão de pesquisa específica e estimar os efeitos gerais do tratamento agrupados.4

Revisões sistemáticas tradicionais e metanálises são baseadas em dados publicados agregados, o que significa que não são necessários bancos de dados de estudos originais com dados individuais dos pacientes.4 As medidas de efeito mais comuns usadas como uma estatística resumida são odds ratio (razão de chances), risco relativo ou diferença de risco para comparar resultados dicotômicos (por exemplo, doença versus ausência de doença) ou diferença média ou diferença média padronizada para comparar resultados contínuos (por exemplo, medição dos níveis de LDL-C) entre os grupos de tratamento.4

Por outro lado, a metanálise de dados individuais de participantes envolve obter, combinar e analisar bancos de dados de estudos originais.4 O conceito de dados individuais de paciente é diferente de dados agregados, pois o primeiro se refere aos dados coletados para cada participante do estudo, enquanto o segundo se refere às informações médias ou estimadas de todos os indivíduos em um estudo.5 Por exemplo, em um ensaio clínico de colesterol, os dados individuais do paciente podem ser os níveis de colesterol pré-tratamento e pós-tratamento ou características clínicas basais. Isso permitiria estimar a diferença no LDL-C para cada paciente e avaliar o tamanho da associação dessas diferenças no LDL-C e os desfechos clínicos. A Tabela 1 lista as vantagens e desvantagens dos dados agregados e da metanálise de dados individuais de pacientes.

– Resumo das vantagens e desvantagens da metanálise de dados agregados e da metanálise de dados individuais de pacientes
Vantagens Desvantagens
Metanálise de dados agregados Mais fácil de executar Depende da qualidade dos dados originais e de como os autores os relatam
Requer menos tempo Os desfechos primários e secundários do estudo podem diferir daqueles examinados na metanálise
Menos caro Achados negativos são mais propensos a serem negligenciados devido ao viés de publicação
Poder limitado para analisar os efeitos do tratamento em subgrupos específicos de interesse que diferem daqueles avaliados em estudos primários
Metanálise de dados individuais de pacientes Dados preliminares e não publicados podem ser incluídos, reduzindo o risco de viés de publicação Demorado devido à aquisição de dados, extração, análise e necessidade de colaboração
Avaliação abrangente do protocolo, métodos e qualidade geral do estudo A coleta de dados de certos estudos, particularmente os mais antigos, pode ser difícil
Permite a análise de subgrupo para entender melhor o impacto de uma intervenção no nível do paciente Mais caro
Se aplicável, a análise estatística pode ser ajustada às diferenças da linha de base Mais experiência necessária

Quais são as diferenças entre a metanálise de dados individuais do paciente e a metanálise de dados agregados dos ensaios com estatinas em termos de resultados?

A Cholesterol Treatment Trialists’ Collaboration , uma metanálise de dados individuais de pacientes com 170.000 pacientes e 26 estudos clínicos, teve como objetivo avaliar a segurança e eficácia de reduções mais intensivas de LDL-C.2 Dados individuais de participantes de ensaios clínicos randomizados comparando tratamentos mais intensivos versus regimes de estatina menos intensivos (5 ensaios; 39.612 indivíduos) e estatinas versus placebo foram incluídos (21 ensaios; 129.526 indivíduos). Eles mostraram uma redução nos principais desfechos cardiovasculares para cada redução de 1 mmol/L no LDL-C (razão de taxas, 0,78; intervalo de confiança [IC] de 95%, 0,76 a 0,80; p<0,0001).2

A metanálise de dados agregados publicada por Byrne et al. para avaliar uma questão semelhante obteve resultados inconclusivos.4 A associação entre redução do LDL-C e infarto do miocárdio não foi estatisticamente significativa, a associação entre redução do LDL-C e óbito foi significativa apenas na escala relativa, mas não absoluta, e a associação entre a redução do LDL-C e acidente vascular cerebral foi significativa com uma redução nos riscos absolutos e relativos.3 Este estudo usou meta-regressão, que analisa a redução agregada no LDL-C e o tamanho do efeito (agregado) de cada ensaio. Por outro lado, nos dados individuais dos participantes, a metanálise considera a variação no LDL-C e o resultado de cada paciente, com uma granularidade muito maior de informações.3

 Como entender esses resultados discrepantes? Além disso, em que situações se espera que a metanálise de dados agregados e a metanálise de um paciente individual gerem respostas idênticas para uma pergunta específica?

Quando a questão diz respeito ao efeito comparativo de dois tratamentos alternativos em um resultado clínico em uma determinada população, a estimativa combinada do efeito dos dados agregados ou da metanálise de dados de pacientes individuais deve ser semelhante.5

No entanto, discrepâncias podem surgir por vários motivos. Em primeiro lugar, pode haver diferenças nos estudos originais inscritos: regimes de estatinas de alta intensidade versus regimes de baixa intensidade foram considerados apenas na metanálise de dados de pacientes individuais. Como resultado, os pacientes inscritos na metanálise de dados agregados apresentavam menor risco cardiovascular. Essa característica da metanálise de dados agregados de LDL-C ajuda a explicar tamanhos de efeito absolutos menores, que dependem do risco basal (assumindo redução constante do risco relativo em diferentes riscos basais).

Em segundo lugar, a metanálise de dados agregados tem um poder menor para detectar relações entre características no nível do paciente e tamanhos de efeito. Um estudo meta-epidemiológico mostra que as estimativas de meta-regressão de dados agregados são menos precisas do que aquelas das metanálises de dados individuais de pacientes.6 Erros aleatórios em estimativas de meta-regressão frequentemente farão com que difiram substancialmente daqueles obtidos em metanálise de dados individuais.7 Essa falácia é conhecida como viés de agregação, que é definido pela suposição de que uma associação entre duas variáveis em nível de grupo é igual à associação entre a variável correspondente em nível individual.7

Em terceiro lugar, nem todas as características que podem impactar significativamente o funcionamento de uma intervenção podem ser adequadamente avaliadas em uma metanálise de dados agregados, mais comumente porque os efeitos de acordo com as características de linha de base de interesse não estão disponíveis nos artigos relatados.7

Em quarto lugar, no caso das metanálises do LDL-C, a metanálise dos dados individuais do paciente avaliou a associação entre a variação do LDL-C e um desfecho composto (morte coronariana ou infarto do miocárdio não fatal). Em contraste, a metanálise de dados agregados avaliou a associação entre LDL-C e morte, acidente vascular cerebral ou infarto do miocárdio separadamente.2 , 3

À medida que o número de eventos para um resultado composto é maior, a precisão das estimativas de efeito aumenta. Quando os estudos originais não relatam os efeitos do tratamento para o resultado combinado de interesse, a metanálise usando dados agregados não é possível. Por outro lado, é possível gerar e analisar resultados combinados avaliando bancos de dados de ensaios originais.

Portanto, em comparação com metanálises de dados agregados, metanálises de dados individuais são superiores na investigação de relações entre efeitos em variáveis intermediárias e desfechos clínicos e na análise de possíveis modificadores de tratamento. Por outro lado, uma metanálise de dados agregados ou individuais de pacientes deve oferecer respostas semelhantes para questões de efeito do tratamento, desde que use as mesmas definições para população, tratamento, comparador e desfechos e inclua os mesmos estudos originais.

 Referências 1. Faludi AA, Izar MCO, Saraiva JFK, Chacra APM, Bianco HT, Afiune A Neto, et al. Atualização da Diretriz Brasileira de Dislipidemias e Prevenção da Aterosclerose – 2017. Arq Bras Cardiol. 2017;109(2 Supl 1):1-76. doi: 10.5935/abc.20170121. Faludi AA Izar MCO Saraiva JFK Chacra APM Bianco HT Afiune A Neto et al Atualização da Diretriz Brasileira de Dislipidemias e Prevenção da Aterosclerose – 2017 Arq Bras Cardiol 2017 109 2 Supl 1 1 76 10.5935/abc.20170121 2. Cholesterol Treatment Trialists’ (CTT) Collaboration; Baigent C, Blackwell L, Emberson J, Holland LE, Reith C, et al. Efficacy and Safety of More Intensive Lowering of LDL Cholesterol: A Meta-Analysis of Data from 170,000 Participants in 26 Randomised Trials. Lancet. 2010;376(9753):1670-81. doi: 10.1016/S0140-6736(10)61350-5. Cholesterol Treatment Trialists’ (CTT) Collaboration Baigent C Blackwell L Emberson J Holland LE Reith C et al Efficacy and Safety of More Intensive Lowering of LDL Cholesterol: A Meta-Analysis of Data from 170,000 Participants in 26 Randomised Trials Lancet 2010 376 9753 1670 1681 10.1016/S0140-6736(10)61350-5 3. Byrne P, Demasi M, Jones M, Smith SM, O’Brien KK, DuBroff R. Evaluating the Association between Low-Density Lipoprotein Cholesterol Reduction and Relative and Absolute Effects of Statin Treatment: A Systematic Review and Meta-analysis. JAMA Intern Med. 2022;182(5):474-81. doi: 10.1001/jamainternmed.2022.0134. Byrne P Demasi M Jones M Smith SM O’Brien KK DuBroff R Evaluating the Association between Low-Density Lipoprotein Cholesterol Reduction and Relative and Absolute Effects of Statin Treatment: A Systematic Review and Meta-analysis JAMA Intern Med 2022 182 5 474 481 10.1001/jamainternmed.2022.0134 4. Higgins JPT, Thomas J, Chandler J, Cumpston M, Li T, Page MJ, et al. Cochrane Handbook for Systematic Reviews of Interventions version 6.3 (updated February 2022) [Internet]. Chichester: Cochrane; 2022 [cited 2022 07 Jul]. Available from: www.training.cochrane.org/handbook. Higgins JPT Thomas J Chandler J Cumpston M Li T Page MJ et al Cochrane Handbook for Systematic Reviews of Interventions version 6.3 (updated February 2022) Internet Chichester Cochrane 2022 cited 2022 07 Jul www.training.cochrane.org/handbook 5. Smith CT, Marcucci M, Nolan SJ, Iorio A, Sudell M, Riley R, et al. Individual Participant Data Meta-Analyses Compared with Meta-Analyses Based on Aggregate Data. Cochrane Database Syst Rev. 2016;9(9):MR000007. doi: 10.1002/14651858.MR000007.pub3. Smith CT Marcucci M Nolan SJ Iorio A Sudell M Riley R et al Individual Participant Data Meta-Analyses Compared with Meta-Analyses Based on Aggregate Data Cochrane Database Syst Rev 2016 9 9 MR000007 10.1002/14651858.MR000007.pub3 6. Lambert PC, Sutton AJ, Abrams KR, Jones DR. A Comparison of Summary Patient-Level Covariates in Meta-Regression with Individual Patient Data Meta-Analysis. J Clin Epidemiol. 2002;55(1):86-94. doi: 10.1016/s0895-4356(01)00414-0. Lambert PC Sutton AJ Abrams KR Jones DR A Comparison of Summary Patient-Level Covariates in Meta-Regression with Individual Patient Data Meta-Analysis J Clin Epidemiol 2002 55 1 86 94 10.1016/s0895-4356(01)00414-0 7. Geissbühler M, Hincapié CA, Aghlmandi S, Zwahlen M, Jüni P, Costa BR. Most Published Meta-Regression Analyses Based on Aggregate Data Suffer from Methodological Pitfalls: A Meta-Epidemiological Study. BMC Med Res Methodol. 2021;21(1):123. doi: 10.1186/s12874-021-01310-0. Geissbühler M Hincapié CA Aghlmandi S Zwahlen M Jüni P Costa BR Most Published Meta-Regression Analyses Based on Aggregate Data Suffer from Methodological Pitfalls: A Meta-Epidemiological Study BMC Med Res Methodol 2021 21 1 123 10.1186/s12874-021-01310-0

Vinculação acadêmica

Não há vinculação deste estudo a programas de pós-graduação.

Aprovação ética e consentimento informado

Este artigo não contém estudos com humanos ou animais realizados por nenhum dos autores.

Fontes de financiamento: O presente estudo não teve fontes de financiamento externas.

 Research Letter Serving Two Masters: Resolving the Dilemma between Individual Patient Data Meta-Analysis and Aggregate Data Meta-Analysis from Statin Trials 0000-0002-6003-1314 Tramujas Lucas Conception and design of the research,Acquisition of data,Analysis and interpretation of the data, Writing of the manuscript and Critical revision of the manuscript for important intellectual content 1 Medrado Fernando Azevedo Júnior Acquisition of data,Analysis and interpretation of the data, Writing of the manuscript and Critical revision of the manuscript for important intellectual content 1 Cavalcanti Alexandre Biasi Conception and design of the research,Analysis and interpretation of the data, Writing of the manuscript and Critical revision of the manuscript for important intellectual content 1 0000-0003-2559-8689 Pompilio Carlos Eduardo Conception and design of the research,Analysis and interpretation of the data, Writing of the manuscript and Critical revision of the manuscript for important intellectual content 2 Brazil Instituto de Pesquisas, Hcor, São Paulo, SP – Brazil Brazil Clínica Médica, Hospital das Clínicas, Faculdade de Medicina da Universidade de São Paulo (HCFMUSP), São Paulo, SP – Brazil Mailing Address: Lucas Tramujas • Instituto de Pesquisa do Hcor – Rua Des. Eliseu Guilherme, 200. Postal Code 04004-030, Vila Mariana, São Paulo, SP – Brazil E-mail: ltramujas@hcor.com.br

Potential conflict of interest

No potential conflict of interest relevant to this article was reported.

 Meta-Analysis Cholesterol Cardiovascular Disease Introduction

Elevated levels of low-density lipoprotein-cholesterol (LDL-C) have been established as an important risk factor for the development of atherosclerosis.1 As a corollary of this reasoning, an LDL-centric approach has emerged based on statins and other medications able to reduce LDL-C and cardiovascular risk.1

The Cholesterol Treatment Trialists’ Collaboration, an individual patient data meta-analysis, found a log-linear relationship between the degree of LDL-C reduction and cardiovascular events.2 According to this, expert guidelines for preventing cardiovascular diseases recommend statin use for primary and secondary prevention.2

On the other hand, an aggregate data meta-analysis published by Byrne et al. on the association between statin-induced reductions in LDL-C levels and the absolute and relative reductions in individual clinical outcomes has shown discrepant results.3 The authors concluded that the absolute risk reductions of treatment with statins in all-cause mortality, myocardial infarction, and stroke are modest. The meta-analysis also suggests an inconclusive association between statin-induced reductions in LDL-C levels and clinical outcomes.3

Here, we will describe the main differences between individual patient data and aggregate data meta-analysis and how to make sense of these results to avoid bias in medical decision-making, considering the example of meta-analyses of statin trials.

 Definitions of meta-analysis of aggregate data and meta-analysis of individual patient data

Meta-analysis of interventional studies is a statistical method to combine all published research on a specific research question and estimate pooled overall treatment effects.4

Traditional systematic reviews and meta-analyses are based on aggregate published data, meaning that databases from original trials with data from individual patients are not needed.4 The most common measures of effect used as a summary statistic are odds ratio, relative risk, or risk difference to compare dichotomous outcomes (e.g., disease versus no disease) or mean difference or standardized mean difference to compare continuous outcomes (e.g., LDL-C levels measurement) between the treatment groups.4

Conversely, the individual participant data meta-analysis involves obtaining, combining, and analyzing databases from original studies.4 The concept of individual patient data is distinct from aggregate data in that the first refers to data collected for each study participant, while the second refers to information averaged or estimated across all individuals in a study.5 For example, in a cholesterol trial, the individual patient data could be the pre-treatment and post-treatment cholesterol levels or baseline clinical characteristics. This would allow estimation of the difference in LDL-C for each patient and assess the size of the association of these LDL-C differences and clinical outcomes. Table 1 lists the advantages and drawbacks of aggregate data and individual patient data meta-analysis.

– Summary of advantages and drawbacks of aggregate data meta-analysis and individual patient data meta-analysis
Advantages Drawbacks
Aggregate data meta-analysis Easier to perform It is dependent on the original data quality and how the authors report it
Require less time Primary and secondary study endpoints may differ from those examined in the meta-analysis
Less expensive Negative findings are more likely to be overlooked due to publication bias
Limited power to analyze treatment effects in specific subgroups of interest that differ from those evaluated in primary studies
Individual patient data meta-analysis Preliminary and unpublished data can be included, reducing the risk of publication bias Time-consuming due to data acquisition, extraction, analysis, and the need for collaboration
Comprehensive assessment of the protocol, methods, and overall study quality Data collection from certain studies, particularly the oldest, may be difficult
Allows for subgroup analysis better to understand an intervention's impact at the patient level More expensive
If applicable, statistical analysis can be adjusted to baseline differences More expertise required

What are the differences between individual patient data and aggregate data meta-analysis from statins trials in terms of results?

The Cholesterol Treatment Trialists’ Collaboration, a meta-analysis of individual patient data with 170.000 patients and 26 clinical studies, aimed to assess the safety and efficacy of more intensive reductions of LDL-C.2 Individual participant data from randomized clinical trials comparing more intensive versus less intensive statin regimens (5 trials; 39,612 individuals) and statins versus placebo were included (21 trials; 129,526 individuals). They showed a reduction in major cardiovascular outcomes for every 1 mmol/L reduction in LDL-C (rate ratio, 0.78; 95% confidence interval [CI], 0.76 to 0.80; p<0.0001).2

The aggregate data meta-analysis published by Byrne et al. to evaluate a similar question obtained inconclusive results.4 The association between LDL-C reduction and myocardial infarction was not statistically significant, the association between LDL-C reduction and death was significant only in the relative but not in the absolute scale, and the association between LDL-C reduction and stroke was significant with a reduction in both absolute and relative risks.3 This study used meta-regression, which analyzes the aggregate reduction in LDL-C and (aggregate) effect size from each trial. By contrast, in the individual participant data, meta-analysis considers the variation in LDL-C and outcome for each patient, with a much greater granularity of information.3

How one makes sense of these discrepant results? Furthermore, in what situations are aggregate data meta-analysis and an individual patient meta-analysis expected to generate identical answers for a specific question?

When the question concerns the comparative effect of two alternative treatments on a clinical outcome in a given population, the pooled estimate of the effect of either aggregate data or individual patient data meta-analysis should be similar.5

However, discrepancies may emerge for several reasons. First, there may be differences in the original studies enrolled: high-intensity statins regimens versus low-intensity regimens were considered only in the individual patient data meta-analysis. As a result, patients enrolled in the aggregate data meta-analysis were at lower cardiovascular risk. This characteristic of the LDL-C aggregated data meta-analysis help explain smaller absolute effect sizes, which are dependent on baseline risk (assuming constant relative risk reduction across different baseline risk).

Second, aggregate data meta-analysis has a lower power to detect relationships between patient-level characteristics and effect sizes. A meta-epidemiological study shows that estimates from meta-regression of aggregate data are less precise than those from individual patient data meta-analyses.6 Random error on meta-regression estimates will often cause them to differ substantially from those obtained on individual patient data meta-analysis.7 This fallacy is known as aggregation bias, which is defined by the assumption that an association between two group-level variables equals the association between the corresponding variable at the individual level.7

Third, not all characteristics that may significantly impact how an intervention works can be adequately assessed in an aggregate data meta-analysis, most commonly because effects according to the baseline characteristics of interest are not available in the reported papers.7

Fourth, in the case of the LDL-C meta-analyses, the individual patient data meta-analysis assessed the association between LDL-C variation and a composite outcome (coronary death or non-fatal myocardial infarction). In contrast, the aggregate data meta-analysis assessed the association between LDL-C and death, stroke, or myocardial infarction separately.2 , 3

As the number of events for a composite outcome is greater, the precision of effect estimates increases. When original studies did not report treatment effects for the combined outcome of interest, meta-analysis using aggregate data is not possible. Conversely, generating and analyzing combined outcomes is feasible by assessing original trial databases.

Therefore, compared to aggregate data meta-analyses, individual patient data meta-analyses are superior in investigating relationships between effects on intermediate variables and clinical outcomes and examining potential treatment modifiers. Conversely, a meta-analysis of aggregate or individual patient data should offer similar answers for questions of treatment effect, as long as they use the same definitions for population, treatment, comparator, and outcomes and include the same original studies.

Study association

This study is not associated with any thesis or dissertation work.

Ethics approval and consent to participate

This article does not contain any studies with human participants or animals performed by any of the authors.

Sources of funding: There were no external funding sources for this study.