As revisões sistemáticas com meta-análise de estudos de exames diagnósticos ou de fatores prognósticos são ferramentas de pesquisa ainda em fase de desenvolvimento. O objetivo do presente texto é descrever a metodologia de revisão sistemática e de meta-análise deste tipo de estudos, passo a passo. Foi feita a revisão da literatura sobre o tema, compilando as recomendações e organizando o texto em: a) Introdução, b) Setalhamento dos oito passos a serem seguidos, c) Forma de publicação da revisão sistemática com meta-análise e d) Conclusão. Foram descritos os métodos de revisão sistemática de forma detalhada, com análise crítica dos métodos de compilação estatística dos resultados, com ênfase na utilização da curva Summary Receiver Operator Characteristic. Forneceu-se referência para os detalhes de cada técnica estatística utilizada na meta-análise. Concluímos que as revisões sistemáticas com meta-análise de exames diagnósticos ou de fatores prognósticos são valiosas na compilação de dados de vários estudos sobre o mesmo tema, reduzindo vieses e aumentando o poder estatístico da pesquisa primária.
IServiço de Cardiologia do Hospital das Clínicas da Universidade Federal de Minas Gerais (UFMG), Belo Horizonte, MG - Brasil
IIPrograma de Pós-Graduação (Doutorado) em Clínica Médica da Faculdade de Medicina da Universidade Federal de Minas Gerais (UFMG), Belo Horizonte, MG - Brasil
As revisões sistemáticas com meta-análise de estudos de exames diagnósticos ou de fatores prognósticos são ferramentas de pesquisa ainda em fase de desenvolvimento. O objetivo do presente texto é descrever a metodologia de revisão sistemática e de meta-análise deste tipo de estudos, passo a passo. Foi feita a revisão da literatura sobre o tema, compilando as recomendações e organizando o texto em:
a) Introdução,
b) Setalhamento dos oito passos a serem seguidos,
c) Forma de publicação da revisão sistemática com meta-análise e
d) Conclusão.
Foram descritos os métodos de revisão sistemática de forma detalhada, com análise crítica dos métodos de compilação estatística dos resultados, com ênfase na utilização da curva
Denomina-se revisão sistemática da literatura a revisão planejada da literatura científica, que usa métodos sistemáticos para identificar, selecionar e avaliar criticamente estudos relevantes sobre uma questão claramente formulada. O objetivo da sistematização é reduzir possíveis vieses que ocorreriam em uma revisão não-sistemática1, tanto os vieses observados na forma de revisão da literatura e na seleção dos artigos quanto aqueles detectados pela avaliação crítica de cada estudo. Meta-análise é o método estatístico utilizado na revisão sistemática para integrar os resultados dos estudos incluídos e aumentar o poder estatístico da pesquisa primária2. Embora existam meta-análises publicadas em 1904 e 19552, o termo meta-análise foi utilizado pela primeira vez por Glass, em 1976, para indicar a análise estatística dos resultados das análises de muitos estudos individuais, com o propósito de integrar os achados3. Às vezes, o termo meta-análise é utilizado como sinônimo de revisão sistemática, quando a revisão inclui meta-análise4. Embora ocasionalmente usadas como sinônimos, metanálise e meta-análise têm definições diferentes. Metanálise é um recurso da lingüística, que significa a segmentação não-etimológica de um vocábulo, locução ou enunciado, que foram interpretados pelos falantes de forma diversa daquela determinada por sua origem.
Os estudos de testes diagnósticos e prognósticos são antigos na literatura médica, mas a aplicação de metodologia estatística aos testes diagnósticos e de avaliação prognóstica desenvolveu-se depois de sua aplicação em estudos terapêuticos5. Do mesmo modo, a padronização da forma de publicação dos estudos diagnósticos6 ocorreu quase uma década após o mesmo processo ter ocorrido nos estudos terapêuticos7. Os principais conceitos estatísticos essenciais ao estudo dos métodos de diagnóstico e avaliação prognóstica estão listados na
Existem diferenças importantes entre meta-análises de estudos de intervenção terapêutica, para as quais existem manuais já publicados, e meta-análises de fatores prognósticos ou de exames diagnósticos, mais recentes e menos padronizadas que sobre as primeiras8. Meta-análises de estudos comparando intervenções ou tratamentos geralmente incluem estudos aleatorizados, com dois grupos semelhantes, avaliando a mesma intervenção, em geral comparada com placebo ou com tratamento convencional. Já meta-análises de estudos de fatores prognósticos ou de exames diagnósticos enfrentam diferentes desafios, como pontos de corte diferentes para o resultado positivo ou negativo de um exame ou avaliação de exames que foram realizados em estudos prospectivos para estudo de intervenções terapêuticas. Na década de 1990, surgiram novas técnicas estatísticas de combinação de estudos de exames diagnósticos9-11. Desde 1994, quando foi publicada diretriz para meta-análise de estudos de exames diagnósticos12, surgiram várias publicações diferentes com críticas e proposições em aspectos específicos de cada etapa do processo. O uso de meta-análise para exames diagnósticos e prognósticos ainda está em fase de desenvolvimento, mas vem ganhando cada vez mais importância1,3,8.
O objetivo desta revisão é sumarizar a literatura disponível, definindo tutorial para a realização, passo a passo, de revisão sistemática e, se apropriada, meta-análise de estudos diagnósticos e prognósticos. A seguir, revisaremos os passos necessários, listados na
Especificar claramente o teste diagnóstico ou prognóstico em questão, a doença em estudo, como foi realizado o diagnóstico e em qual o contexto foi formulada a questão. Geralmente, o exame em questão é comparado com um padrão-ouro para o diagnóstico da doença, mas os métodos estatísticos utilizados para meta-análise de exames diagnósticos podem ter aplicação bem mais ampla13. Nos casos de exames prognósticos, o exame pode ser avaliado pelo desfecho morte, resposta ao tratamento ou, teoricamente, qualquer variável dicotômica de interesse referindo-se a prognóstico de longo prazo13. Esclarecer também se será realizada comparação de testes12.
Recomenda-se ampliar ao máximo as fontes de busca. Buscar em publicações governamentais, comissões de ética, resumos em anais de congressos, teses, além da busca em bases eletrônicas (MEDLINE, EMBASE, LILACS etc.)3. Além das fontes de busca de estudos, é importante consultar a biblioteca de revisões Cochrane (
O viés de publicação é a tendência de os estudos com resultados positivos serem mais freqüentemente publicados que estudos com resultados negativos, especialmente em revistas de maior impacto e em língua inglesa3. Ocorre habitualmente porque tanto o autor como o editor apresentam resistências em publicar estudos com resultados negativos. Estudos com amostras muito pequenas apresentam maior chance de viés de publicação, motivo pelo qual alguns autores preconizam que sejam excluídos3,15. Para reduzir a possibilidade de viés de publicação, as fontes de busca devem ser ampliadas ao máximo. Um método de busca de estudos de intervenção terapêutica, difícil de ser aplicado em estudos de exames diagnósticos ou prognósticos, é averiguar a existência de estudos registrados, mas não publicados, em comissões de ética ou em registros governamentais (por exemplo,
Uma forma estatística de avaliar o viés de publicação é pelo uso do gráfico de dispersão em funil, funil invertido ou "árvore de natal" (
Cada ponto do gráfico representa um estudo com sua razão de chances de diagnóstico e tamanho amostral. A forma de funil simétrico sugere ausência de viés de publicação (nesse caso, um funil invertido, também chamado de "árvore de natal"). Pode-se apresentá-lo invertendo a ordem dos valores do eixo vertical, assim ficaria em forma de funil. Uma assimetria com concentração de estudos no lado direito (o lado de valores maiores de razão de chances de diagnóstico) sugere viés de publicação, com menos estudos negativos publicados.
Idealmente, dois pesquisadores devem buscar e avaliar os estudos de forma independente. O teste estatístico Kappa pode ser utilizado para avaliar a concordância entre os dois pesquisadores. Explicar como as discordâncias entre eles foram resolvidas, o que geralmente é feito por um acordo e com base na opinião de um terceiro pesquisador experiente. Listar claramente as características de cada estudo primário e os resultados de cada um12. O trabalho pode ser facilitado se o estudo foi publicado de acordo com a padronização STARD (
Tabelas de comparação dos estudos são muito úteis para averiguar as diferenças clínicas e metodológicas entre os estudos (
Antes de realizar a combinação estatística (meta-análise) dos estudos, é fundamental avaliar a heterogeneidade entre eles. É importante determinar19:
• Por que os resultados variaram entre os estudos?
• A variação foi ao acaso?
• A variação foi causada por diferenças metodológicas?
Para responder a essas perguntas, são necessários critérios metodológicos e estatísticos de avaliação de heterogeneidade.
Os critérios metodológicos se referem à forma de seleção, ao delineamento e à comparação de características clínicas dos pacientes incluídos em cada estudo. Tabelas demonstrando esses quesitos são necessárias para permitir comparação entre os estudos e devem estar explicitadas na revisão sistemática. Do ponto de vista metodológico, as fontes de heterogeneidade entre os estudos são muitas: o acaso, as diferenças de delineamento, a forma de seleção de pacientes, as diferenças nas intervenções terapêuticas aplicadas e na forma em que os exames foram avaliados19. Outra causa de heterogeneidade importante e exclusiva dos estudos de exames diagnósticos e prognósticos é a variação nos pontos de cortes para os valores de referência do exame em questão. Mesmo em estudos aleatorizados para intervenção terapêutica, pode existir heterogeneidade porque a aleatorização não foi voltada para o exame em questão e sim para a intervenção terapêutica. Estudos retrospectivos são enfraquecidos por causa de seu risco de viés de seleção. O viés de verificação (
Utilizando meta-análise, é possível fornecer um sumário agrupado do desempenho diagnóstico (
Os métodos de combinação calculam médias ponderadas dos resultados dos estudos. Tais métodos são usualmente divididos em duas categorias: métodos com efeitos fixos e métodos com efeitos aleatórios. Na combinação utilizando métodos com efeitos fixos, atribui-se um peso a cada estudo que é o inverso da variância (1/v) do estudo. Métodos de combinação com efeitos aleatórios atribuem um peso a cada estudo que é o inverso da variância somada à heterogeneidade (1/v + h). De forma simplificada, é como se os métodos com efeitos fixos considerassem que a variabilidade entre os estudos ocorreu apenas pelo acaso e ignorassem a heterogeneidade entre eles15. Já os métodos com efeitos aleatórios incorporam um pouco da heterogeneidade entre os estudos nos resultados. Assim, geram resultados combinados com maior intervalo de confiança. Apesar de terem essa vantagem e serem mais recomendados, os métodos com efeitos aleatórios são criticados por atribuírem maior peso a estudos menores15.
Como é muito comum em estudos de exames diagnósticos que a variabilidade de resultados não seja apenas pelo acaso, já que a variabilidade pode ser causada explícita ou implicitamente pela variação do ponto de corte, as estimativas de variabilidade fornecidas pelos modelos de efeitos aleatórios são particularmente importantes10. Utilizando mais freqüentemente métodos com efeitos aleatórios, as formas de meta-análise de estudos de exames diagnósticos ou de fatores prognósticos estão apresentadas na
Os métodos usados para combinação estatística de sensibilidades e especificidades dos estudos são os mesmos usados para a comparação de proporções. Combinam-se a sensibilidade e a especificidade dos estudos em um valor integrado de todos os estudos (
A razão de verossimilhança de um teste positivo (RV+) mede o quão mais provável de ser o teste positivo nos doentes que nos não-doentes. A razão de verossimilhança de um teste negativo (RV-) mede o quão mais provável de ser o teste negativo nos doentes que nos não-doentes (
A heterogeneidade dos resultados de razão de verossimilhança dos diversos estudos pode ser avaliada por meio de testes univariados, testes z e teste do χ2. Um método interessante de avaliação de heterogeneidade é o da estatística Q de Cochrane (Q = Σwi(θi - θ)2, onde wi é o peso atribuído ao estudo na meta-análise (por tamanho de amostra, por inversão ou tamanho da variância) e θ é o logaritmo da razão de verossimilhança média e θi é o valor do logaritmo da razão de verossimilhança de cada estudo)19. O valor de Q segue a distribuição do χ2 sob a hipótese de que a razão de verossimilhança é a mesma para todos os estudos. Outra medida de heterogeneidade que pode ser obtida a partir desse valor Q é a estatística I2, que é chamada de medida de inconsistência, obtida pela fórmula:
onde gl é o número de graus de liberdade (número de estudos menos um). Essa estatística descreve a porcentagem de variabilidade do efeito que é devida à heterogeneidade e não por acaso19,22. Quando I2 apresenta valor acima de 50%, considera-se que há heterogeneidade substancial19. Cuidado para não confundir a estatística Q de Cochrane para avaliação de heterogeneidade de valores de razão de verossimilhança com a medida Q sumarizada descrita a seguir, para avaliar globalmente a eficácia de um exame em uma meta-análise.
A razão de chances de diagnóstico é uma combinação estatística da sensibilidade, especificidade e dos valores de razão de verossimilhança positiva e negativa. Ela é difícil de ser aplicada clinicamente, mas útil por vários motivos:
a) É uma medida estatística de desempenho global do teste;
b) Pode ser facilmente obtida pelo produto cruzado da tabela 2 x 2 (
c) É freqüentemente constante a despeito do ponto de corte utilizado para o exame nos diversos estudos;
d) É útil na construção do intervalo de confiança da curva sROC, descrita a seguir23.
Indica também a razão de verossimilhança positiva dividida pela negativa. Os valores de razão de chances de diagnóstico de cada estudo podem ser combinados por meio de métodos de efeitos fixos, tais como Mantel-Haenszel e métodos de efeitos aleatórios (DerSimonian e Laird)23. Em estudos epidemiológicos para fatores de risco de doenças raras ou pouco freqüentes, a razão de chances tem valor próximo ao risco relativo. No caso de estudos diagnósticos, as razões de chances geralmente são diferentes numericamente do risco relativo, porque resultados positivos não são eventos raros13.
O escore de efetividade quantifica o grau de sobreposição de resultados entre doentes e não-doentes, e pode ser interpretado como o número de desvios padrão separando a média entre as duas curvas de distribuição (doentes e não-doentes, por exemplo) de resultados que se comportam como variável contínua. Ele pode ser obtido por meio de fórmula própria de cálculo ou a partir da razão de chances de diagnóstico23,24. É a medida da distância padronizada entre as médias de duas populações - também chamada de medida do tamanho do efeito ou medida de efetividade, que também pode ser avaliada por meio de modelos de efeitos fixos ou aleatórios17. É uma medida quantitativa que pode ser usada para comparar métodos diagnósticos ou para sumarizar resultados de estudos em meta-análises. Para mais detalhes de sua obtenção, sugerimos o trabalho de Hasselblad e Hedges24, que faz uma revisão do método. Assim como a curva sROC, descrita a seguir, o escore de efetividade fornece uma descrição da separação de duas distribuições de resultados de exames (entre doentes e não-doentes), independentemente da forma de distribuição dos resultados.
Os gráficos de dispersão podem ser usados para avaliar a heterogeneidade entre os estudos. O gráfico de dispersão no espaço ROC apresenta os estudos nos eixos FVP vs. FFP (
A curva sROC (curva ROC comum ou sumarizada -
A curva pode ser obtida a partir da razão de chances de diagnóstico (descrita no item "Razão de chances de diagnóstico") considerando-se a magnitude da heterogeneidade entre os estudos. A razão de chances de diagnóstico global é muito robusta para heterogeneidade e é homogênea quando não sofre variações relacionadas ao ponto de corte do exame em estudo25. A margem de erro padrão da curva é adequada quando os estudos são homogêneos e mostrou-se ser uma aproximação razoável para estudos heterogêneos25.
A área sob a curva (
Como alternativa para avaliar globalmente o teste sumarizando a curva sROC, sugere-se a medida Q sumarizada, que avalia o ponto da curva sROC onde sensibilidade e especificidade são iguais. O valor de Q não varia conforme a heterogeneidade e é bastante robusto25. Equivale ao ponto de simetria da curva ROC13. A medida Q, com valores entre 0,5 e 1,0 (quanto maior, melhor), é uma medida global de eficácia do teste11. Essa medida sumarizada mostra o quanto mais próximo está o "ombro da curva" do canto superior esquerdo11. Se menor ou igual a 0,5, o teste não contribui para a avaliação, e quanto mais próxima de 1,0, melhor o desempenho do teste13. Assim como a área sob a curva, também avalia globalmente a eficácia do teste. Se forem avaliados pelo menos dez estudos, a distribuição de Q é gaussiana (normal)23. O valor de Q pode ser usado para comparar métodos ou verificar vieses, separando os estudos com problemas metodológicos em subgrupos e comparando seu valor de Q com o valor de Q dos outros subgrupos de estudos23. O erro padrão da AUC e o erro padrão de Q são próximos numericamente25. Quando o intervalo de confiança do valor de Q ou da AUC passam pelo 0,5, o exame não apresenta desempenho significativo e não contribui para a avaliação da doença.
Ao avaliar a validade interna e externa de cada estudo e dos resultados combinados, é necessário decidir sobre como lidar com a heterogeneidade encontrada. Existem quatro opções para lidar com a heterogeneidade entre os estudos e interpretar variações de resultados:
1) Ignorar a heterogeneidade e utilizar métodos com efeitos fixos;
2) Utilizar testes estatísticos de heterogeneidade (são pouco sensíveis) e não combinar resultados se houver heterogeneidade;
3) Incorporar a heterogeneidade pelo uso de métodos com efeitos aleatórios; ou
4) Explicar as diferenças por meio de análises de subgrupos de estudos ou de meta-regressão, incluindo co-variáveis na análise.
Utilizando meta-análise, é possível determinar se as estimativas de desempenho dependem das características de delineamento do estudo. Separam-se subgrupos de estudos por característica de delineamento, analisando-os separadamente e em conjunto, avaliando-se em que magnitude a diferença de delineamento altera no desempenho do exame. Também é possível determinar se o desempenho diagnóstico difere em subgrupos definidos por características do paciente ou do exame utilizando a mesma técnica descrita27. Dessa maneira, é possível identificar áreas para pesquisa adicional12.
Por exemplo, um subgrupo de estudos apresenta viés de verificação (quando submete ao método padrão-ouro apenas os positivos mais os negativos com suspeita clínica), o que freqüentemente subestima o teste. Outro subgrupo de estudos apresenta viés de revisão (não avaliar o exame de forma mascarada para outros testes e para desfechos), o que tende a superestimar o teste. Agrupar esses estudos em escores de qualidade nem sempre é apropriado. Eles podem ser analisados separadamente por tipo de falha metodológica, analisando o que a falha provoca no desempenho do exame27. Assim, os resultados de medidas globais de desempenho podem ser comparados em cada subgrupo. Dessa forma, pode-se também avaliar o efeito da variação das características dos pacientes e do teste nas estimativas de desempenho12.
Em meta-análise comparativa de testes, é fundamental que os testes tenham sido realizados nos mesmos pacientes, ou pelo menos que os pacientes tenham sido aleatorizados para serem submetidos a cada teste12. Porém, na maioria das vezes, é impraticável ou antiético realizar todos os exames ou exames invasivos em todos os pacientes, sendo este tema controverso28. Na comparação de exames, existem técnicas de construção de curvas sROC dos exames isoladamente e em combinação, avaliando se a combinação dos exames aumenta o desempenho diagnóstico ou prognostico13,29.
Avaliar o quanto os resultados podem ser generalizados, conforme as características clínicas dos pacientes estudados em comparação com a população-alvo da aplicação da meta-análise ou a relação entre o desempenho do exame e o ano da publicação12. Concluir sobre possíveis aplicações em populações específicas. Além disso, gerar novas hipóteses a serem pesquisadas é uma importante contribuição.
Em analogia com a conferência
Revisões sistemáticas da literatura de uma questão claramente formulada, com técnica de busca e seleção de artigos bem planejada, são ferramentas extremamente úteis em pesquisa sobre métodos diagnósticos ou prognósticos. Em alguns casos, é possível compilar os dados por meio de técnicas estatísticas, aumentando o poder das estimativas de desempenho diagnóstico do exame na pesquisa primária. Por meio da análise crítica dos vieses, essas técnicas fornecem informações que podem ser úteis para a prática clínica e para a formulação de questões a serem testadas em novos estudos.
Agradecemos a revisão do texto e as sugestões da Prof. Carisi A. Polanczyk, da Universidade Federal do Rio Grande do Sul. O trabalho foi parcialmente financiado pelo Conselho Nacional de desenvolvimento Científico e Tecnológico (CNPq) e pela Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes).
Declaro não haver conflito de interesses pertinentes.
O presente estudo foi parcialmente financiado por CNPq e CAPES.
Este artigo é parte de tese de Doutorado de Marcos Roberto de Sousa pela Universidade Federal de Minas Gerais.
Correspondência: Marcos R. de Sousa Rua Aristides Duarte, 39/601 - Barroca 30410-040 - Belo horizonte, MG - Brasil E-mail:
Artigo enviado em 01/01/08; revisado recebido em 23/01/08; aceito em 14/02/08.
Las revisiones sistemáticas con metaanálisis de estudios de exámenes diagnósticos o de factores pronósticos son herramientas de investigación aún en fase de desarrollo. El presente trabajo tiene como objetivo describir la metodología de revisión sistemática y de metaanálisis de esta clase de estudios, paso a paso. Se hizo la revisión de la literatura sobre el tema, compilándose las recomendaciones con objeto de organizarse el texto en: a) Introducción; b) Detalle de los ocho pasos a seguirse; c) Formato de publicación de la revisión sistemática con metaanálisis; y d) Conclusión. Se describieron los métodos de revisión sistemática con detalle, y se analizó de manera crítica los métodos de compilación estadística de los resultados, con énfasis en la utilización de la curva Summary Receiver Operator Characteristic. Se suministró referencia para los detalles de cada técnica estadística utilizada en el metaanálisis. Concluimos que las revisiones sistemáticas con metaanálisis de exámenes diagnósticos o de factores pronósticos son valiosas en la compilación de datos de diversos estudios sobre el mismo tema, reduciéndose sesgos y aumentándose el poder estadístico de la investigación primaria.
IServiço de Cardiologia do Hospital das Clínicas da Universidade Federal de Minas Gerais (UFMG), Belo Horizonte, MG - Brasil
IIPrograma de Pós-Graduação (Doutorado) em Clínica Médica da Faculdade de Medicina da Universidade Federal de Minas Gerais (UFMG), Belo Horizonte, MG - Brasil
Correspondencia
Las revisiones sistemáticas con metaanálisis de estudios de exámenes diagnósticos o de factores pronósticos son herramientas de investigación aún en fase de desarrollo. El presente trabajo tiene como objetivo describir la metodología de revisión sistemática y de metaanálisis de esta clase de estudios, paso a paso. Se hizo la revisión de la literatura sobre el tema, compilándose las recomendaciones con objeto de organizarse el texto en:
a) Introducción;
b) Detalle de los ocho pasos a seguirse;
c) Formato de publicación de la revisión sistemática con metaanálisis; y
d) Conclusión.
Se describieron los métodos de revisión sistemática con detalle, y se analizó de manera crítica los métodos de compilación estadística de los resultados, con énfasis en la utilización de la curva
Se denomina revisión sistemática de la literatura la revisión planeada de la literatura científica, que usa métodos sistemáticos para identificarse, seleccionarse y evaluarse críticamente estudios relevantes sobre una cuestión claramente planteada. El objetivo de la sistematización es reducirse los posibles sesgos que pudieran ocurrir en una revisión no-sistemática1, tanto los sesgos observados en el formato de revisión de la literatura y en la selección de los artículos como aquellos detectados por la evaluación crítica de cada estudio. El metaanálisis es el método estadístico utilizado en la revisión sistemática para integrar los resultados de los estudios incluidos y aumentar el poder estadístico de la investigación primária2. Aunque existan metaanálisis publicadas en 1904 y 19552, el término metaanálisis ha sido utilizado por primera vez por Glass, en 1976, para indicar el análisis estadístico de los resultados de los análisis de muchos estudios individuales, con el propósito de integrarse los hallazgos3. A veces, el término metaanálisis se utiliza como sinónimo de revisión sistemática, cuando la revisión incluye metaanálisis4. Aunque en portugués se utiliza la palabra
Los estudios de pruebas diagnósticas y pronósticas son antiguos en la literatura médica, pero su aplicación de metodología estadística a las pruebas diagnósticas y de evaluación pronóstica se desarrolló tras su aplicación en estudios terapéuticos5. De igual manera, la estandarización del formato de publicación de los estudios diagnósticos6 tuvo lugar casi una década luego del mismo proceso haber ocurrido en los estudios terapéuticos7. Los principales conceptos estadísticos esenciales al estudio de los métodos de diagnóstico y evaluación pronóstica están detallados en la
Existen diferencias importantes entre los metaanálisis de estudios de intervención terapéutica -para los cuales hay manuales ya publicados-, y el metaanálisis de factores pronósticos o de examen diagnósticos, más recientes y menos estandarizados en comparación con los otros8. Los metaanálisis de estudios que comparan intervenciones o tratamientos generalmente incluyen estudios aleatorizados, con dos grupos semejantes, además de evaluar la misma intervención, en general comparada con placebo o con tratamiento convencional. Ya los metaanálisis de estudios de factores pronósticos o de exámenes diagnósticos enfrentan retos distintos, como puntos de corte diferentes para el resultado positivo o negativo de un examen o evaluación de exámenes que han sido realizados en estudios prospectivos para estudio de intervenciones terapéuticas. En la década de 1990, surgieron nuevas técnicas estadísticas de combinación de estudios de exámenes diagnósticos9-11. Desde 1994, cuando se publicó la directriz para el metaanálisis de estudios de exámenes diagnósticos12, surgieron varias publicaciones diferentes con críticas y proposiciones en aspectos específicos de cada etapa del proceso. El uso de metaanálisis para exámenes diagnósticos y pronósticos está todavía en fase de desarrollo, pero viene ganando cada vez más importancia1,3,8.
El objetivo de esta revisión es detallar la literatura disponible y definir una guía para la realización, paso a paso, de revisión sistemática y, si fuera apropiado, de metaanálisis de estudios diagnósticos y pronósticos. A continuación, revisaremos los pasos necesarios, detallados en la
Especificar claramente la prueba diagnóstica o pronóstica en cuestión, la enfermedad en estudio, como se realizó el diagnóstico y en que contexto se planteó la cuestión. De modo general, el examen en cuestión se lo compara a un patrón-oro para el diagnóstico de la enfermedad. Sin embargo, los métodos estadísticos utilizados para el metaanálisis de exámenes diagnósticos pueden tener una aplicación bien más amplia13. En los casos de exámenes pronósticos, se los puede avaluar mediante el desenlace muerte, la respuesta al tratamiento o, teóricamente, cualquier variable dicotómica de interés que se refiera al pronóstico de largo plazo13. Además de ello, se debe también aclarar si se realizará una comparación de pruebas12.
Se recomienda ampliarse al máximo las fuentes de búsqueda. Buscar en publicaciones gubernamentales, comisiones de ética, resúmenes en anales de congresos, tesis, y también averiguar en bases electrónicas (MEDLINE, EMBASE, LILACS etc.)3. Además de las fuentes de búsqueda de estudios, es importante consultar la biblioteca de revisiones Cochrane (
El sesgo de publicación es la tendencia de se publicar más frecuentemente los estudios con resultados positivos en comparación a los de resultados negativos. Ello sucede sobre todo en revistas de mayor impacto y de lengua inglesa3. Dicho hecho se debe tanto al autor como al editor que presentan resistencias en publicar estudios con resultados negativos. Estudios con muestras muy reducidas presentan mayor probabilidad de sesgo de publicación, motivo por el que algunos autores preconizan la exclusión de ellos3,15. Para disminuirse la posibilidad de sesgo de publicación, se deben ampliar al máximo las fuentes de búsqueda. Un método de búsqueda de estudios de intervención terapéutica -difícil de aplicarse en estudios de exámenes diagnósticos o pronósticos- consiste en averiguar la existencia de estudios registrados, pero no ya publicados, en comisiones de ética o en registros gubernamentales (por ejemplo,
Una forma estadística de evaluarse el sesgo de publicación es mediante la utilización del gráfico de dispersión en embudo, embudo invertido o "árbol de navidad" (
Idealmente, dos investigadores deben buscar y evaluar los estudios de forma independiente. Se puede utilizar la prueba estadística Kappa para evaluarse la concordancia entre los dos investigadores. Explicar como las discordancias entre ellos han sido solucionadas, lo que en general se hace mediante un acuerdo y con base en la opinión de un tercero investigador experimentado. Listar claramente las características de cada estudio primario así como los resultados de cada uno de ellos12. El trabajo puede ser facilitado si el estudio ha sido publicado de acuerdo con la estandarización STARD (
Tablas de comparación de los estudios son muy útiles para averiguarse las diferencias clínicas y metodológicas entre los estudios (
Antes de realizar la combinación estadística (metaanálisis) de los estudios, es fundamental evaluar la heterogeneidad entre ellos. Es importante determinar19:
• ¿Por qué los resultados cambiaron entre los estudios?
• ¿El cambio fue al azar?
• ¿El cambio ha sido utilizado en función de diferencias metodológicas?
Para contestar a esas preguntas, son necesarios criterios metodológicos y estadísticos de evaluación de heterogeneidad.
Los criterios metodológicos están referidos a la forma de selección, al delineamento y a la comparación de características clínicas de los pacientes incluidos en cada estudio. Tablas que detallan esos requisitos son necesarias para permitir una comparación entre los estudios y deben estar explicitadas en la revisión sistemática. Desde el punto de vista metodológico, son muchas las fuentes de heterogeneidad entre los estudios: el azar, las diferencias de delineamento, la forma de selección de pacientes, las diferencias en las intervenciones terapéuticas aplicadas y en la forma en que se evaluaron los exámenes19. Otra causa de heterogeneidad importante y exclusiva de los estudios de exámenes diagnósticos y pronósticos es la variación en los puntos de cortes para los valores de referencia del examen en cuestión. Aun en estudios aleatorizados para intervención terapéutica, puede existir heterogeneidad porque la aleatorización no se volcó hacia el examen en cuestión sino hacia la intervención terapéutica. Estudios retrospectivos son debilitados a causa de su riesgo de sesgo de selección. El sesgo de verificación (
Al utilizarse el metaanálisis, es posible suministrar un sumario agrupado del desempeño diagnóstico (
Los métodos de combinación calculan los promedios ponderados de los resultados de los estudios. Dichos métodos se dividen usualmente en dos categorías: métodos con efectos fijos y métodos con efectos aleatorios. En la combinación que utiliza métodos con efectos fijos, se atribuye un valor a cada estudio que es el inverso de la varianza (1/v) del estudio. Métodos de combinación con efectos aleatorios atribuyen un valor a cada estudio que es el inverso de la varianza sumada a la heterogeneidad (1/v + h). De modo simplificado, es como si los métodos con efectos fijos consideraran que la variabilidad entre los estudios ocurrió sólo al azar e ignoraran la heterogeneidad entre ellos15. Ya los métodos con efectos aleatorios incorporan un poco de la heterogeneidad entre los estudios en los resultados. De esa manera, se generan resultados combinados con mayor intervalo de confianza. A pesar de tener esa ventaja y ser más recomendados, los métodos con efectos aleatorios son criticados por atribuir un mayor valor a estudios menores15.
Como es muy común en estudios de exámenes diagnósticos que la variabilidad de resultados no sea solamente al azar -ya que la variabilidad se puede causar de modo explícito o implícito por la variación del punto de corte-, las estimativas de variabilidad suministradas por los modelos de efectos aleatorios son particularmente importantes10. Al utilizarse más frecuentemente métodos con efectos aleatorios, las formas de metaanálisis de estudios de exámenes diagnósticos o de factores pronósticos están presentadas en la
Los métodos usados para combinación estadística de sensibilidades y especificidades de los estudios son los mismos usados para la comparación de proporciones. Se combinan la sensibilidad y la especificidad de los estudios en un valor integrado de todos los estudios (
La razón de verosimilitud de una prueba positiva (RV+) mide la mayor probabilidad de la prueba ser positiva en los enfermos en comparación a los no enfermos. La razón de verosimilitud de una prueba negativa (RV-) mide la mayor probabilidad de la prueba ser negativa en los enfermos en comparación a los no enfermos. 1) Los métodos de combinación de razones de verosimilitud pueden ser métodos con efectos fijos -como Mantel-Haenszel o varianza invertida-, y más frecuentemente métodos con efectos aleatorios, como el método de DerSimonian y Laird. Los análisis utilizan combinaciones de razones de verosimilitud tras aplicación de transformación logarítmica19. La razón de verosimilitud combinada tiene una ventaja de poder analizar exámenes cuyo resultado es una variable continua o con muchas categorías, evitándose pérdidas de información al dicotomizarse la variable. Otra ventaja es que la
La heterogeneidad de los resultados de razón de verosimilitud de los diversos estudios puede ser evaluada por medio de pruebas univariadas, Pruebas Z y Prueba χ2. Un método interesante de evaluación de heterogeneidad es el de la estadística Q de Cochrane (Q = Σwi(θi - θ)2, donde wi es el valor que se atribuye al estudio en el metaanálisis (por tamaño de la muestra, por inversión o tamaño de la varianza) y θ es el logaritmo de la razón de verosimilitud promedio y θi es el valor del logaritmo de la razón de verosimilitud de cada estudio)19. El valor de Q sigue la distribución del χ2 bajo la hipótesis de que la razón de verosimilitud es la misma para todos los estudios. Otra medida de heterogeneidad que se puede obtener desde ese valor Q es la estadística I2, que se denomina como la medida de inconsistencia, obtenida mediante la fórmula:
Donde gl es el número de grados de libertad (número de estudios menos uno). Esa estadística describe el porcentaje de variabilidad del efecto que, a su vez, es consecuencia de la heterogeneidad y no del azar19,22. Cuando I2 presenta un valor superior a un 50%, se considera que hay heterogeneidad substancial19. Hay que prestar la atención para no confundirse la estadística Q de Cochrane -para evaluación de heterogeneidad de valores de razón de similitud- con la medida Q sumarizada que se detalla a continuación, para evaluar globalmente la eficacia de un examen en un metaanálisis.
La razón de ventajas de diagnóstico es una combinación estadística de la sensibilidad, la especificidad y los valores de razón de verosimilitud positiva y negativa. Ella es difícil de aplicarse clínicamente, pero muy útil por motivos diversos: a) Es una medida estadística de desempeño global de la prueba; b) Se la puede obtener fácilmente mediante el producto cruzado de la Tabla 2 x 2 (
El score de efectividad cuantifica el grado de superposición de resultados entre enfermos y no enfermos. Se puede interpretarlo como el número de desviaciones estándar, al separarse el promedio entre las dos curvas de distribución (enfermos y no enfermos, por ejemplo) de resultados que se comportan como variable continua. Se lo puede obtener por medio de fórmula propia de cálculo o a partir de la razón de ventajas de diagnóstico23,24. Es la medida de la distancia estandarizada entre los promedios de dos poblaciones -también denominada medida del tamaño del efecto o medida de efectividad, que también se puede evaluar por medio de modelos de efectos fijos o aleatorios17. Es una medida cuantitativa que se puede usar para comparar métodos diagnósticos o para sumarizar resultados de estudios en metaanálisis. Para más detalles de su obtención, sugerimos el trabajo de Hasselblad y Hedges24, que revisa el método. Así como la curva sROC, descrita a continuación, el score de efectividad suministra una descripción de la separación de dos distribuciones de resultados de exámenes (entre enfermos y no enfermos), independientemente del modo de distribución de los resultados.
Se pueden utilizar los gráficos de dispersión para evaluar la heterogeneidad entre los estudios. El gráfico de dispersión en el espacio ROC presenta los estudios en los ejes FVP vs. FFP (
La curva sROC (curva ROC común o sumarizada -s
Se puede obtener la curva a partir de la razón de ventajas de diagnóstico (descrita en el ítem "Razón de ventajas de diagnóstico") tomando en consideración la magnitud de la heterogeneidad entre los estudios. La razón de ventajas de diagnóstico global es muy robusta para heterogeneidad y es homogénea cuando no sufre variaciones relacionadas al punto de corte del examen en estudio25. El margen de error estándar de la curva es adecuada cuando los estudios son homogéneos y se mostró una aproximación razonable para estudios heterogéneos25.
El área bajo la curva (ABC o
Como alternativa para evaluar globalmente la prueba sumarizando la curva sROC, se sugiere la medida Q sumarizada, que evalúa el punto de la curva sROC donde sensibilidad y especificidad son iguales. El valor de Q no cambia de acuerdo con la heterogeneidad y es bastante robusto25. Equivale al punto de simetría de la curva ROC13. La medida Q, con valores entre 0,5 y 1,0 (cuanto mayor, mejor), es una medida global de eficacia de la prueba11. Esa medida sumarizada revela lo cuanto más próximo está el "hombro" de la curva de la esquina superior izquierda11. Si menor o igual a 0,5, la prueba no contribuye para la evaluación, y cuanto más próxima de 1,0, mejor el desempeño de la prueba13. Así como el área bajo la curva, también se evalúa globalmente la eficacia de la prueba. Si se evaluar diez estudios como mínimo, la distribución de Q es gaussiana (normal)23. Se puede utilizar el valor de Q para comparar métodos o verificar sesgos, separándose los estudios con problemas metodológicos en subgrupos y comparando su valor de Q con el valor de Q de los otros subgrupos de estudios23. El error estándar de la ABC y el error de Q son próximos numéricamente25. Cuando el intervalo de confianza del valor de Q o del ABC pasa por 0,5, el examen no presenta desempeño significativo y no contribuye para la evaluación de la enfermedad.
Al evaluar la validez interna y externa de cada estudio y de los resultados combinados, es necesario decidir sobre como lidiar con la heterogeneidad encontrada. Hay cuatro opciones para lidiar con la heterogeneidad entre los estudios e interpretar variaciones de resultados: 1. Ignorar la heterogeneidad y utilizar métodos con efectos fijos; 2. Utilizar pruebas estadísticas de heterogeneidad (son poco sensibles) y no combinar resultados de haber heterogeneidad; 3. Incorporar la heterogeneidad por la utilización de métodos con efectos aleatorios; ó 4. Explicar las diferencias por medio de análisis de subgrupos de estudios o de meta-regresión, incluyendo covariables en el análisis. Al utilizar el metaanálisis, es posible determinar si las estimativas de desempeño dependen de las características de delineamiento del estudio. Se separan subgrupos de estudios por característica de delineamiento, y se los analiza separadamente y en conjunto. De esa manera, se evalúa lo cuanto cambia la diferencia de delineamiento en el desempeño del examen. Asimismo es posible determinar si el desempeño diagnóstico difiere en subgrupos definidos por características del paciente o del examen, utilizando la misma técnica descrita27. De ese modo, es posible identificar áreas para investigación adicional12.
Por ejemplo, un subgrupo de estudios presenta sesgo de verificación (cuando se someten al método patrón-oro solamente los positivos y los negativos con sospecha clínica), lo que frecuentemente subestima la prueba. Otro subgrupo de estudios presenta sesgo de revisión (no evaluar el examen de forma disfrazada para otras pruebas y desenlaces), lo que tiende a superestimar la prueba. Agrupar esos estudios en scores de calidad ni siempre es apropiado. Se los pueden analizar separadamente, por clase de falla metodológica, analizando lo que la falla provoca en el desempeño del examen27. Así, los resultados de medidas globales de desempeño pueden ser comparados en cada subgrupo. De esa manera, se puede evaluar también el efecto de la variación de las características de los pacientes y de la prueba en las estimativas de desempeño12.
En metaanálisis comparativo de pruebas, es fundamental que las pruebas hayan sido realizadas en los mismos pacientes; o por lo menos que los pacientes hayan sido aleatorizados para someterse a cada prueba12. Sin embargo, en la mayoría de las veces, es impracticable o antiético realizar todos los exámenes o exámenes invasivos en todos los pacientes, lo que constituye este asunto controvertido28. En la comparación de exámenes, hay técnicas de construcción de curvas sROC de los exámenes aisladamente y también en combinación, evaluándose si la combinación de los exámenes aumenta el desempeño diagnóstico o pronóstico13,29.
Evaluar el límite de generalización de los resultados, de acuerdo con las características clínicas de los pacientes estudiados, en comparación a la población-blanco de la aplicación del metaanálisis, o la relación entre el desempeño del examen y el año de la publicación12. Concluir sobre posibles aplicaciones en poblaciones específicas. Además de ello, generar nuevas hipótesis a investigarse es un importante aporte.
Según la conferencia
Revisiones sistemáticas de la literatura de una cuestión claramente formulada, con técnica de búsqueda y selección de artículos bien planeada, son herramientas extremamente útiles en investigación sobre métodos diagnósticos o pronósticos. En algunos casos, es posible compilarse los datos por medio de técnicas estadísticas, aumentando el poder de las estimaciones de desempeño diagnóstico del examen en la investigación primaria. Mediante el análisis crítico de los sesgos, esas técnicas suministran informaciones que pueden ser útiles para la práctica clínica y para la formulación de cuestiones a probarse en nuevos estudios.
Agradecemos la revisión del texto y las sugerencias de la Prof. Carisi A. Polanczyk, de la Universidad Federal de Rio Grande do Sul. El trabajo fue parcialmente financiado por el Consejo Nacional de Desarrollo Científico y Tecnológico (CNPq) y por la Coordinación de Perfeccionamiento de Personal de Nivel Superior (Capes).
Declaro no haber conflicto de intereses pertinentes.
El presente estudio fue parcialmente financiado por CNPq y CAPES.
Este artículo forma parte de tesis de Doctorado de Marcos Roberto de Sousa, por la Universidad Federal de Minas Gerais.
Systematic reviews with meta-analysis of studies on diagnostic tests or prognostic factors are research tools that are still being developed. The objective of the present paper is to describe the methodology of systematic review and meta-analysis of this type of studies, step by step. A literature review on the subject was made, the recommendations were compiled and the paper was organized in: a) Introduction, b) Details on the eight steps to be followed, c) Form of publication of a systematic review with meta-analysis, and d) Conclusion. The systematic review methods were thoroughly described with a critical analysis of the methods of statistical compilation of results, with emphasis on the utilization of the Summary Receiver Operator Characteristic curve. References for the details of each statistical technique used were provided in the meta-analysis. We concluded that systematic reviews with meta-analysis of diagnostic tests or prognostic factors are useful in data compilation of various studies on the same subject, since they reduce biases and increase the statistical power of the primary research.
IServiço de Cardiologia do Hospital das Clínicas da Universidade Federal de Minas Gerais (UFMG), Belo Horizonte, MG - Brazil
IIPrograma de Pós-Graduação (Doutorado) em Clínica Médica da Faculdade de Medicina da Universidade Federal de Minas Gerais (UFMG), Belo Horizonte, MG - Brazil
Mailing address
Systematic reviews with meta-analysis of studies on diagnostic tests or prognostic factors are research tools that are still being developed. The objective of the present paper is to describe the methodology of systematic review and meta-analysis of this type of studies, step by step. A literature review on the subject was made, the recommendations were compiled and the paper was organized in:
a) Introduction,
b) Details on the eight steps to be followed,
c) Form of publication of a systematic review with meta-analysis, and
d) Conclusion.
The systematic review methods were thoroughly described with a critical analysis of the methods of statistical compilation of results, with emphasis on the utilization of the Summary Receiver Operator Characteristic curve. References for the details of each statistical technique used were provided in the meta-analysis. We concluded that systematic reviews with meta-analysis of diagnostic tests or prognostic factors are useful in data compilation of various studies on the same subject, since they reduce biases and increase the statistical power of the primary research.
A systematic review of the literature is a planned review of the scientific literature using systematic methods to identify, select and critically analyze relevant studies on a clearly formulated question. The purpose of the systematization is to reduce possible biases that would occur in a non-systematic review1, both for the biases observed in the form of a literature review and in the selection of manuscripts, and those detected by the critical analysis of each study. Meta-analysis is a statistical method used in systematic reviews to integrate the results of the studies included and to increase the statistical power of the primary research2. Although some meta-analyses had been published in 1904 and 19552, the term meta-analysis was first used by Glass in 1976 to describe the statistical analysis of the results of analyses of many individual studies with the purpose of integrating their findings3. Sometimes the term meta-analysis is used as a synonym for systematic review, when the review includes meta-analysis4. Although occasionally used as synonyms, metanalysis and meta-analysis have different definitions. Metanalysis is a linguistic resource that signifies the non-etymological breaking down of a word, locution or enunciation that was interpreted by the speakers in a meaning not original to it.
Studies on diagnostic and prognostic tests are old in the medical literature; however, the application of statistical methodology to diagnostic tests and prognostic evaluation tests was developed after its application in therapeutic studies5. Likewise, the standardization of the form of publication of diagnostic studies6 occurred almost a decade after the same process had occurred with therapeutic studies7. The main statistical concepts that are essential in the study of diagnostic methods and prognostic evaluation are listed in
There are significant differences between meta-analyses of therapeutic intervention studies which have already been addressed in published handbooks, and meta-analyses of prognostic factors or diagnostic tests which are more recent and less standardized than the first ones8. Meta-analyses of studies comparing interventions or treatments usually include randomized studies with two similar groups assessing the same intervention, in general compared with placebo or with a conventional treatment. Meta-analyses of studies on prognostic factors or diagnostic tests, in turn, face different challenges, such as different cut-off points for the positive or negative result of a test, or assessment of tests that were performed in prospective studies for the analysis of therapeutic interventions. In the 1990's, new statistical techniques of combination of studies on diagnostic tests were developed9-11. Since 1994, when a guideline for meta-analysis of studies on diagnostic tests12 was published, several different publications with criticisms and propositions on specific aspects of each stage of the process came up. The use of meta-analysis for diagnostic and prognostic tests is still being developed, but it has become increasingly more important1,3,8.
The objective of this review is to summarize the literature available in order to define a tutorial for the performance, step by step, of a systematic review and, if appropriate, of the meta-analysis of diagnostic and prognostic studies. Next, we will review the steps necessary, as listed in
Specify clearly the diagnostic or prognostic index test, the disease of interest, how the diagnosis was made, and the context within which the question was formulated. The index test is usually compared with a gold standard for the diagnosis of the disease; however, the statistical methods used for meta-analysis of diagnostic tests may have a wider application13. In the case of prognostic tests, these can be evaluated by the death endpoint, response to treatment, or, theoretically, any dichotomous variable of interest regarding the long-term prognosis13. Also, clarify whether a test comparison will be performed12.
It is recommended that the search sources are widened as much as possible. Search in governmental publications, ethics commissions, abstracts in annals of congress, theses, and in electronic databases (MEDLINE, EMBASE, LILACS, etc.)3. In addition to the sources of study search, it is important to consult the Cochrane review library (
Publication bias is the tendency of studies with positive results to be more frequently published than studies with negative results, especially in major journals and in the English language3. This commonly occurs because both authors and editors show a resistance to publish studies with negative results. Studies with very small samples have a greater chance of publication bias, and this is why some authors recommend their being excluded3,15. To reduce the possibility of publication bias, the search sources should be widened as much as possible. A search method of therapeutic intervention studies that is difficult to be applied to diagnostic or prognostic test studies is to verifie the existence of studies registered, but not published, in ethics commissions or in governmental registers (for instance,
A statistical means of evaluating publication bias is the use of the funnel scatterplot, inverted funnel or "Christmas tree" (funnel plot)16. The premise of this plot is that sample size is the strongest correlate of publication bias3,15 (
Ideally, two researchers should search and evaluate studies independently. The Kappa statistical test may be used to evaluate the agreement between two researchers. Explain how the disagreements between them were solved, which is usually done by means of an arrangement and based on the opinion of a third experienced researcher. List the characteristics of each primary study and the results of each one clearly12. This task can be easier if the study was published according to the STARD (Standards for Reporting of Diagnostic Accuracy -
Tables of study comparisons are very useful to analyze the clinical and methodological differences between the results (
Before carrying out the statistical combination (meta-analysis) of the studies, it is fundamental to evaluate the heterogeneity among them. It is important to determine the following19:
• Why did the results vary among the studies?
• Was variation random?
• Was variation caused by methodological differences?
To answer these questions, methodological and statistical criteria for the assessment of heterogeneity are required.
Methodological criteria refer to the form of selection, design and comparison of the clinical characteristics of the patients included in each study. Tables demonstrating these aspects are necessary to enable comparison between the studies and should be explicit in the systematic review. From the methodological point of view, the sources of heterogeneity among the studies are many: random, design differences, the form of patient selection, differences in the therapeutic interventions used, and how the tests were evaluated19. Another cause of significant heterogeneity that is exclusive of diagnostic and prognostic test studies is the variation in the cut-off points for the reference values of the index test. Heterogeneity may exist even in randomized studies for therapeutic interventions because the randomization was not focused on the index test but rather on the therapeutic intervention. Retrospective studies are weakened because of their risk of selection bias. Verification bias (ascertainment bias, work-up bias) occurs when the indication of the gold-standard test is influenced by the result of the index test: for instance, when the probability of undergoing coronary angiography ("gold standard") is greater among those with a positive exercise test than among those with a negative test. The analysis of the index test should ideally be blinded to other tests and to the endpoint. The bias caused by the spectrum of disease stages (spectrum bias) leads to variations in the sensitivity and specificity of the index test due to the comparison of populations in different stages of the same disease: some studies with the majority of the patients in a mild and initial stage and other studies with patients in advanced stages of the disease19. The methodological aspects to be evaluated are shown in
Using meta-analysis, it is possible to provide a pooled summary of the diagnostic accuracy (
The combination methods calculate the weighted means of the study results. These methods are usually divided into two categories: fixed effects and random effects methods. In the combination using fixed effects methods, each study is given a weight, which is the inverse variance (1/v) of the study. In combination methods with random effects, each study is given a weight, which is the inverse variance added to heterogeneity (1/v + h). In a simplified manner, it is as if the fixed effects method considered that the variability among the studies resulted only from chance and ignored the heterogeneity among them15. On the other hand, the random effects methods incorporate a little bit of the heterogeneity among the studies in the results. Thus, they generate combined results with a greater confidence interval. Despite having this advantage and being more frequently recommended, random effects methods are criticized for giving greater weight to smaller studies15.
Given that in diagnostic test studies it is very common that the variability of results does not result merely from chance, since variability may be explicitly or implicitly caused by variation of the cut-off point, the variability estimates provided by the random effects model are particularly important10. Using random effects methods more frequently, the forms of meta-analysis of studies on diagnostic tests or prognostic factors are shown in
The methods used for statistical combination of sensitivities and specificities of the studies are the same as those used for comparison of proportions. Sensitivity and specificity of the studies are combined in an integrated value of all studies (pooling) by the simple or weighted mean (by sample size or inverse variance of each study). In meta-analyses of diagnostic and prognostic studies, it is very common for authors to integrate the sensitivities and specificities obtained in each study. However, this is frequently inappropriate because of the difference of threshold or cut-off point of the index test, whether explicitly or implicitly6. There is a dependence relationship between the cut-off point and the sensitivity and specificity. An example of explicit variation in the cut-off point is when two different studies defined different and explicit cut-off points in the study to determine whether the test was positive or negative. Implicit variation, in turn, would occur, for instance, when the test is performed in studies with population differences that determine different sensitivities and specificities19. These implicit or explicit differences among the studies are called "threshold effect". This effect may be evaluated using the Spearman's correlation between the sensitivity and specificity found in the different studies included. When a "threshold effect" occurs, there is usually a strong and inverse correlation21. If sensitivity increases, specificity usually decreases. When sensitivity and specificity are mathematically integrated (pooling), it is necessary to use a method that takes this interdependency between sensitivity and specificity into consideration7. In addition to the fact that diagnostic thresholds affect the test accuracy, it is important to observe if it is only the thresholds or also methodological problems of the study that determine the accuracy variation7. The evaluation of the statistical heterogeneity of sensitivity and specificity values obtained in the different studies may be carried out by means of the Mann-Whitney U test, Z test, meta-regression or logistic regression models19, as well as with the χ2 test on k-1 degrees of freedom (where k is the number of studies included). Because of all the problems mentioned, sensitivity and specificity combinations are seldom appropriate manners of combining results.
The likelihood ratio of a positive test (LR+) measures how much more likely it is for diseased individuals to test positive than non-diseased individuals. The likelihood ratio of a negative test (LR-) measures how much more likely it is for diseased individuals to test negative than non-diseased individuals (
Heterogeneity of results of likelihood ratio of the different studies may be evaluated by means of univariate tests, z tests and χ2 test. An interesting method for the evaluation of heterogeneity is the Cochrane's Q (Q = Σwi(θi - θ)2, where wi is the weight given to the study in the meta-analysis (by sample size, inverse variance, or size of variance), θ is the log mean likelihood ratio, and θi is the estimate of the log likelihood ratio for each study)19. The Q value will follow a χ2 distribution under the hypothesis that the likelihood ratio is the same for all studies. Another heterogeneity measurement that can be obtained from this Q value is the I2 statistic, which is called inconsistency measure and is estimated by the formula:
where df expresses the number of degrees of freedom (number of studies minus one). This statistics describes the percentage of variability of the effect that is due to heterogeneity rather than chance19,22. I2 values greater than 50% may be considered substantial heterogeneity19. Be careful not to mistake the Cochrane's Q for the evaluation of heterogeneity of likelihood ratio values with the summary statistic Q that will be described below for the global evaluation of the efficacy of a test in a meta-analysis.
The diagnostic odds ratio is a statistical combination of sensitivity, specificity, and positive and negative likelihood ratios. It is not easy to to apply in clinical practice, but it is useful for several reasons:
a) It is a statistical measurement of the overall test accuracy;
b) It can be easily obtained from the cross-product of the 2 x 2 table (
c) It is frequently constant, despite the cut-off point used for the test in the different studies;
d) It is useful in the construction of the sROC curve confidence interval, as described below23.
It also expresses the positive likelihood ratio divided by the negative likelihood ratio. The diagnostic odds ratios of each study may be combined by means of fixed effects methods such as Mantel-Haenszel, and random effects methods (DerSimonian and Laird)23. In epidemiological studies for risk factors of rare or uncommon diseases, the value of the odds ratio is close to that of the relative risk. In the case of diagnostic studies, the odds ratios are generally numerically different from the relative risk because positive results are not rare events13.
The effectiveness score quantifies the degree of overlap of results between diseased and non-diseased individuals, and can be interpreted as the number of standard deviations separating the mean between two distribution curves (diseased and non-diseased individuals, for instance) from results that behave as a continuous variable. It can be obtained by means of a specific calculation formula or from the diagnostic odds ratio23,24. It is the measurement of the standardized distance between the means of two populations - also known as effect size measure or effectiveness measure, which can also be evaluated by means of fixed or random effects models17. It is a quantitative measurement that can be used to compare diagnostic methods or to summarize study outcomes in meta-analyses. For further details on how to obtain it, we suggest Hasselblad and Hedges' study24, which reviews the method. Like the sROC curve described below, the effectiveness score provides a description of the separation of two distributions of test results (between diseased and non-diseased individuals), regardless of the form of result distribution.
Scatterplots can be used to evaluate heterogeneity among the studies. The scatterplot in the ROC space displays the studies in the TPR
The sROC curve (ordinary or summary ROC curve) is the estimate of an ordinary ROC curve adjusted for the study outcomes in the ROC space12. The sROC curve is recommended to evaluate the accuracy of a diagnostic test, based on data from a meta-analysis25. We point out the sROC curve as the best option of meta-analysis when there is variation in the cut-off point of the reference test value or when there are implicit or explicit variations in the studies that generate sensitivity and specificity differences13,19,23 (
The curve can be obtained from the diagnostic odds ratio (described in section "Diagnostic odds ratio"), considering the magnitude of heterogeneity among the studies. The overall diagnostic odds ratio is very robust for heterogeneity and is homogeneous when it does not suffer variations related to the cut-off point of the index test25. The margin of standard error of the curve is adequate when the studies are homogeneous, and was proven to be a reasonable approximation for heterogeneous studies25.
The area under the curve (AUC) and the index Q are useful summaries of the curve13,25. The area under the curve can be used if the assumption that the data present a bilogistic distribution with equal variance is considered, and if there is homogeneity between the studies as regards the estimate of diagnostic odds ratio19 . In this case, the Moses11,25 model is used, which restricts the analysis only to the points (studies) located in the region of interest of the ROC space, which theoretically could overestimate the test accuracy and, for this reason, is it is not accepted by all authors13. Rutter and Gatsonis26 proposed methods for the calculation of an sROC curve, taking into consideration the variations between the studies not only by the cut-off threshold, but also by means of hierarchical models13,23. The use of the area under the sROC curve poses the risk of extrapolation beyond the sensitivity and specificity data provided by the studies, unless each study has provided an ROC curve, and that they are really similar19,23,26, because curves with different forms have different areas. There is controversy as to whether or not use weighted models by study variance and sample size (
As an alternative to globally evaluate the test summarizing the sROC curve, the summary Q measurement is suggested, which evaluates the point of the sROC curve where sensitivity equals specificity. The Q value is invariant to heterogeneity and is quite robust25. It is equivalent to the point of symmetry of the ROC curve13. The Q measurement, with values between 0.5 and 1.0 (the greater the better), is a global measurement of test efficacy11. This summary measure shows how much closer to the north-west rectangle the "curve shoulder" is11. If lower than or equal to 0.5, the test does not contribute to the evaluation, and the closer to 1.0, the better the test accuracy13. Like the area under the curve, it also evaluates test efficacy globally. If at least ten studies are evaluated, Q distribution is Gaussian (normal)23. The Q value can be used to compare methods or verify biases, separating studies with methodological problems in subgroups and comparing their Q values with those of other study subgroups23. The standard error of the AUC and the Q standard error are numerically close25. When the confidence interval of the Q value or of the AUC cross 0.5, the test does not present a significant performance and does not contribute to the evaluation of the disease.
When assessing the internal and external validity of each study and of the combined results, it is necessary to decide how to deal with the heterogeneity found. There are four options to deal with heterogeneity among studies and interpret results variations:
1) Ignoring heterogeneity and using fixed effects methods;
2) Using statistical tests of heterogeneity (which have low sensitivity) and not combining results if heterogeneity is present;
3) Incorporating heterogeneity by using random effects methods; or
4) Explaining the differences by means of analyses of study subgroups or meta-regression, including covariates in the analysis.
Using meta-analysis, it is possible to determine whether the accuracy estimates depend on the characteristics of the study design. Study subgroups are separated according to design characteristics; these subgroups are analyzed separately and together, and an assessment is made on how much the design difference affects the test accuracy. It is also possible to determine whether the diagnostic accuracy is different in subgroups defined by patient or test characteristics by using the same technique described27. In this manner, it is possible to identify areas for further research12.
For instance, a subgroup of studies presents verification bias (when only the test-positives plus the test-negatives with clinically suspected disease undergo the gold-standard method), which frequently underestimates the test. Another subgroup of studies presents review bias (for not evaluating the test blind to the other tests and to endpoints), which tends to overestimate the test. Pooling these studies in quality scores is not always appropriate. They can be analyzed separately by type of methodological flaw, by analyzing how the flaw affects the test accuracy27. Thus, the results of overall accuracy measurements can be compared in each subgroup. As such, the effect of the variation of patients and test characteristics on estimates of accuracy can also be assessed12.
In comparative meta-analysis of tests, it is fundamental that the tests have been applied to the same patients, or at least that the patients have been randomized to receive each test12. However, most of the times, it is unfeasible or unethical to perform all tests or invasive tests in all patients, and this issue is controversial28. In the comparison of tests, there are techniques for the construction of sROC curves of the tests alone or in combination, evaluating whether the combination of tests increases the diagnostic or prognostic accuracy13,29.
Assess how much the results can be generalized according to the clinical characteristics of the patients studied in comparison with the target population in which the meta-analysis was applied, or the relationship between the test accuracy and the year of publication12. Decide on possible applications in specific populations. Additionally, generating new hypotheses to be tested is an important contribution.
By analogy with the Quality of Reporting of Meta-analysis (QUOROM)6 conference for publication of meta-analyses of studies on therapeutic intervention, the methodology should be thoroughly described when publishing the results of meta-analysis of diagnostic and prognostic studies, and each phase of the process should be explicit18. The title should identify the study as a meta-analysis or systematic review. The summary should be structured with description of the following aspects: the clinical question, the sources and database, the methods of review and selection of the literature and of quantitative synthesis of the data in a reproducible form, the results with estimates and confidence intervals, and the conclusion with the main results. The introduction should contextualize and provide the background to the objective. The methodology should give details on the sources and search strategies, the period and language, criteria of study selection, form of assessment of publication bias, assessment of quality and methodological validity of the studies, the form of data extraction ideally by two researchers, the study characteristics, the form of assessment of heterogeneity, and the form of mathematically summarizing data. The results should present the review flow according to
Systematic reviews of the literature of a clearly formulated question, with a well-planned article search and selection technique, are extremely useful tools in research on diagnostic or prognostic methods. In some cases, it is possible to compile data by means of statistical techniques, thus increasing the power of the estimates of diagnostic accuracy of the test in the primary research. By means of the critical analysis of biases, these techniques provide information that may be useful for the clinical practice and for the formulation of questions to be tested in further studies.
The authors thank Prof. Carisi A. Polanczyk, from
This study was partially funded by
No potential conflict of interest relevant to this article was reported.
This study was partially funded by CNPq and CAPES.
This article is part of the thesis of Doctoral submitted by Marcos Roberto de Sousa, from