FUNDAMENTO: A estandardização do padrão de imagens utilizada dentro da medicina foi realizada em 1993 por meio do padrão DICOM (Digital Imaging and Communications in Medicine). Diversos exames utilizam esse padrão e cada vez mais são necessários softwares capazes de manipular esse tipo de imagem, porém esses softwares geralmente não têm o formato livre e de código aberto, e isso dificulta o seu ajuste para os mais diferentes interesses. OBJETIVO: Desenvolver e validar um software livre e de código aberto capaz de manipular imagens DICOM de exames de angiotomografia de coronárias. MÉTODOS: Desenvolvemos e testamos o software intitulado ImageLab na avaliação de 100 exames selecionados de forma randômica por meio de um banco de dados. Foram realizadas 600 análises divididas por dois observadores utilizando o ImageLab e um outro software comercializado junto a aparelhos de tomografia computadorizada Philips Brilliance, na avaliação da presença de lesões e placas coronarianas nos territórios do Tronco da Coronária Esquerda (TCE) e na Artéria Descendente Anterior (ADA). Para avaliar as concordâncias intraobservador, interobservadores e intersoftware, utilizamos concordância simples e estatística Kappa. RESULTADOS: As concordâncias observadas entre os softwares foram em geral classificadas como substancial ou quase perfeitas na maioria das comparações. CONCLUSÃO: O software ImageLab concordou com o software Philips na avaliação de exames de angiotomografia de coronárias especialmente em pacientes sem lesões, com lesões inferiores a 50% no TCE e inferiores a 70% na ADA. A concordância para lesão >70% na ADA foi menor, porém isso também é observado quando se utiliza o padrão de referência anatômico.
IUniversidade Federal do Rio de Janeiro (UFRJ). Rio de Janeiro, RJ - Brasil
IIInstituto do Coração Edson Saad. Rio de Janeiro, RJ - Brasil
IIILaboratório Nacional de Computação Científica (LNCC). Rio de Janeiro, RJ - Brasil
IVRede Labs Dor. Rio de Janeiro, RJ - Brasil
VInstituto Nacional de Cardiologia. Rio de Janeiro, RJ - Brasil
VIInstituto Dor de Pesquisa e Ensino. Rio de Janeiro, RJ - Brasil
Na área médica utiliza-se um padrão específico de imagem chamado DICOM (Digital Imaging and Communications in Medicine). Esse padrão foi desenvolvido para facilitar a comunicação entre os softwares e hardwares relacionados com esse processo.
O formato DICOM, padronizado1 em 1993 junto ao congresso do RSNA (Radiological Society of North America), teve como objetivo a normatização das regras com que as informações médicas são transmitidas e armazenadas2-4.
A visualização e o processamento das imagens médicas são realizados por meio de softwares específicos. Grande parte desses recursos não está disponível de forma gratuita ou é vendida junto aos equipamentos, porém não é comum encontrar softwares livres e de código aberto para esse formato de imagens. O domínio público da tecnologia de um software médico poderia diminuir custos, homogeneizar o uso multicêntrico, permitir desenvolvimento contínuo e facilitar o desenvolvimento de diversas linhas de pesquisa, e alguns acreditam que esse formato poderia contribuir para a diminuição da diferença social entre países5.
O Instituto Nacional de Ciência e Tecnologia em Medicina Assistida por Computação Científica (INCT-MACC) envolve 33 instituições nacionais de 11 Estados, totalizando 128 pesquisadores. Uma das áreas de pesquisa do INCT-MACC é a de processamento de imagens médicas, que permitirá a aquisição de informações para aperfeiçoar a modelagem computacional do sistema cardiovascular humano, também em desenvolvimento pelo INCT-MACC. Com essa finalidade foi elaborado um software livre e de código aberto denominado ImageLab. Esse software teria entre características ser amigável com o usuário necessitando de melhor avaliação.
O objetivo do estudo foi desenvolver e avaliar a confiabilidade, a concordância e a reprodutibilidade do novo software em relação a outro em utilização corrente em equipamentos de angiotomografia de coronárias.
Em trabalho conjunto da Universidade Federal do Rio de Janeiro (UFRJ) com o Laboratório Nacional de Computação Científica (LNCC), foi desenvolvido um software para análise de imagens DICOM. Esse software livre de código aberto chama-se ImageLab e possui ferramentas criadas para análise e processamento de imagens de angiotomografia de coronárias.
De uma população de 6.216 pacientes que realizaram exame de angiotomografia de coronárias entre maio de 2005 e dezembro de 2010, aplicamos o critério de inclusão, ou seja, pacientes com dados completos registrados em banco de dados criado em 2008, e selecionamos 2.895 pacientes. Posteriormente após aplicarmos os critérios de exclusão, presença de
Pelo
Foram utilizados os dados brutos de imagens de angiotomografia de coronárias, obtidos por meio de tomógrafos disponíveis no serviço (GE lightspeed VTC 64 e 32, Philips Brilliance 64, 40 e 16). Todas as imagens seguiram protocolo padrão de aquisição utilizando técnicas semelhantes.
Todos os 100 exames foram analisados por dois softwares. O software Philips Brilliance, comprado junto com o pacote cardiovascular (disponível em Worsktation própria para análises de imagens do tipo DICOM). E o software ImageLab, desenvolvido nesse projeto, instalado na mesma Worsktation (visando neutralizar a possível variação de capacidade de processamento caso fossem instalados em computadores com capacidade diferente).
Escolhemos o tronco da coronária esquerda e a ADA pela importância clínica e para viabilizar a análise, visto que a utilização dos 16 segmentos na sua totalidade resultaria em um grande número de variáveis. Seguimos a nomenclatura proposta pelo AHA, referente aos segmentos 5, 6, 7 e 86. A avaliação da presença de lesões coronarianas maiores ou menores que 50% foi utilizada para o segmento 5 (tronco da coronária esquerda) e para os demais segmentos (artéria descendente anterior) utilizamos cortes de 70%. De forma adicional também foram registradas as variáveis: presença de placas ateroscleróticas tipo calcificadas, não calcificadas e parcialmente calcificadas (em cada segmento); qualidade subjetiva das imagens; tempo de análise das imagens (registrado pelo observador 1).
A análise das imagens foi feita pela visualização de planos ortogonais selecionados a partir de bloco de imagem no espaço tridimensional, começando pela análise em plano transversal do tórax no sentido cabeça para os pés, de modo a visualizar a artéria aorta, a origem do tronco da coronária esquerda e a ADA. As avaliações referentes ao grau de estenose seguem o padrão de análise onde a falha de enchimento junto ao vaso contrastado define a presença de lesão. A análise do tipo de placa responsável pelas lesões foi realizada de forma subjetiva. A caracterização das placas foi realizada de acordo com sua morfologia e intensidade de sinal, seguindo a escala tradicional adotada em exames de TC, a escala de Hounsfield (HU)7. As placas foram classificadas como: calcificadas (tecido adjacente ao vaso com mais intensidade de sinal que o vaso contrastado - Sinal >130 HU); não calcificadas (tecido adjacente ao vaso com menos sinal que o vaso contrastado - Sinal <-50 HU); e parcialmente calcificada (conteúdo heterogêneo).
Os dois softwares apresentam ferramenta para a localização e análise de qualquer ponto no espaço tridimensional. Essa ferramenta foi utilizada para a avaliação dos vasos, no seu plano axial (visualização de dentro dos vasos) em toda a sua extensão, e quando existir a presença de placas e lesões coronarianas, todos os planos ortogonais poderão ser utilizados de forma simultânea, na topografia exata em que esses achados se encontrem.
Dois observadores com experiência superior a cinco anos, equivalente ao nível 3 de competência clínica8, utilizaram software comercial da Philips e o ImageLab, instalados no mesmo computador, para analisar o segmento da ADA de acordo com as variáveis descritas na
Um total de 600 análises foram realizadas para avaliar as concordâncias intraobservador, interobservador e intersoftware.
Análise descritiva como variáveis numéricas, na forma de média +/- desvio padrão. Variáveis categóricas como número (n) e percentagens (%). Estatística Kappa para calcular a reprodutibilidade interobservador e intraobservador, todos com intervalo de confiança de 95% e concordância simples para medir os casos com número pequeno de discordância. O programa utilizado foi o R para Linux. Utilizamos a
Após a seleção randômica dos 120 casos, 7 casos com numeração inferior a 100 foram excluídos por falta da fase contrastada do exame (exames da modalidade escore de cálcio sem a angiotomografia de coronárias). Um total de 100 exames com numeração de 1 a 107 foram incluídos para as 600 análises divididas pelos observadores e softwares. (Todos os resultados das concordâncias obtidos com o programa R for Linux podem ser acessados pelo link
O resultado da versão do software ImageLab utilizada neste projeto tornou-se adequado apresentando visual e usabilidade convenientes (
Todos os 100 pacientes analisados realizaram os exames entre julho de 2009 e novembro de 2010, a maioria do sexo masculino (65) e com a média de idade de 58 anos (23 a 85). O índice de massa corporal médio foi de 27 Kg/m2, classificando a média da população com sobrepeso (25% classificados como obesos). Apenas 15% da população não apresentavam nenhum fator de risco, e 35% eram assintomáticos (
O sintoma mais frequente observado foi a presença de dor atípica para Doença Arterial Coronariana (DAC), e a maioria das indicações dos exames ocorreu para avaliação de algum sintoma. Cabe ressaltar que 36% dos pacientes foram encaminhados em razão da presença de teste funcional alterado, e 16%, para estratificação de risco (avaliação de rotina sem relação com sintomas nem exames alterados); apenas 2%, para excluir o diagnóstico de doença aterotrombótica como etiologia de uma cardiomiopatia; e 2%, em avaliação pré-operatória (avaliação do risco cirúrgico cardiovascular).
O observador 1 utilizou um dispositivo eletrônico em formato de prancheta (tablet da Apple® - Ipad 64 Gb Wifi) para registrar as análises pelo software Bento® for Ipad. Isso permitiu cadastrar o tempo das análises de forma simples (
O tempo total das análises realizadas pelo observador 1 foi de aproximadamente 6,8 horas, distribuídas em 14 dias. O tempo médio gasto com cada análise foi de 2 minutos e 4 segundos (21 a 612 segundos). O tempo médio utilizado com o software ImageLab para a análise de todos os casos foi de 226,2 minutos, enquanto com o software Philips Brilliance foi de 180,9 (20% a menos). A segunda análise por ambos os softwares foi mais rápida, com a diminuição do tempo total em 11,9 minutos, e 10,7 minutos nos softwares ImageLab e Philips Brilliance, respectivamente.
Registramos a qualidade subjetiva das imagens por meio de escore de 1 a 3; 1 baixa qualidade, 2 qualidade intermediária, e 3 alta qualidade. Vinte e quatro por cento das imagens foram classificadas como baixa qualidade; 64,2%, como intermediária; e 11,8%, como alta qualidade (76% com qualidade intermediária ou alta).
Para avaliar as concordâncias intraobservador e interobservadores, utilizamos a concordância simples (soma dos achados concordantes devido ao número total de casos), na presença de poucos ou nenhum caso discordante (distribuição heterogênea na tabela 2 x 2 com poucos ou nenhum caso em uma das casas), e estatística Kappa utilizando (
A média das observações das 600 análises (
Foi possível realizar a análise de concordância por meio do Kappa, para todos os tipos de comparação (intraobservador, interobservador e intersoftware), nas variáveis: ausência de lesão e lesão <50% do tronco da coronária esquerda; ausência de lesão da ADA e lesão >70% no terço médio dessa artéria (
Com o objetivo de avaliar as concordâncias intraobservador comparamos as análises realizadas pelo observador 1 com o software ImageLab no tempo 1 e ImageLab no tempo 2, assim como o software Philips Brilliance no tempo 1 e Philips Brilliance no tempo 2
Todas as avaliações medidas pelo Kappa ou pela concordância simples no tronco da coronária esquerda foram superior a 60. Apenas a variável lesão >70% no terço médio da artéria descendente, na avaliação interobservador pelo software da Philips Brilliance, apresentou concordância moderada (49,7 - 13,8 a 85,6), todas as demais concordâncias observadas na ADA anterior foram superior a 609.
A avaliação de ausência de lesões e lesão <50% no tronco da coronária esquerda, assim como a avaliação de lesão >70% no terço médio da ADA demonstraram maior concordância intraobservador pelo softwares da Philips Brilliance, as demais mantiveram-se semelhante.
A análise intersoftware demonstrou concordância superior a 80 para todas as medidas realizadas pelo Kappa, exceto na avaliação de lesão >70% no terço médio de ADA (79,6 - 63,6 a 95,7), enquanto todas as concordâncias simples intersoftware foram superiores a 80.
Quando analisadas as observações mais frequentes e com maior significância clínica (
Nosso trabalho utilizou pacientes encaminhados por seus médicos, por indicações clínicas variadas para a realização da angiotomografia de coronárias. Esses pacientes encontrados no dia a dia dos serviços particulares encaminhados para esse tipo de exame geralmente têm probabilidade baixa a intermediária de doença e utilizam o alto valor preditivo negativo do exame10 para afastar o diagnóstico. Observamos que na população estudada, somente 9% apresentavam dor precordial típica para DAC, e quando avaliamos o resultado dos escores de cálcio dessa mesma população (não utilizado nas avaliações), somente 20% estavam com valor acima do percentil 75 para sexo e idade, o que está relacionado com um maior risco global cardiovascular para eventos11.
A utilização de pacientes encaminhados por indicações da prática cardiológica permite a viabilização desse projeto, porém pode representar um problema. A falta de todos os tipos de lesão e placas pelos segmentos coronarianos certamente é uma limitação à análise das concordâncias. Nesses casos só foi possível realizar a concordância simples, pois o Kappa necessita de uma distribuição mais variada dos achados para ser calculado. Uma das formas de corrigir esse problema seria a inclusão de pacientes distribuídos pelas lesões e placas, de forma a forçar a entrada variada de todos os tipos de achados. Essa conduta mudaria o perfil da população a ser estudada que certamente seria diferente da população encontrada no dia a dia, encaminhada pelos médicos para esclarecimento de uma dúvida diagnóstica.
A avaliação de apenas uma parte do exame (fase contrastada), sem os dados clínicos dos pacientes, possivelmente diminui a capacidade dos observadores na interpretação das imagens. Isso pode interferir no laudo do exame e talvez até na conduta médica, porém nosso objetivo não foi avaliar quanto o novo software é acurado em relação ao padrão de referência (cineangiocoronariografia), mas sim compará-lo com outro software amplamente utilizado.
Não encontramos em nossa revisão validação científica específica para o software da Philips, porém acreditamos que o uso diário na prática clínica e em trabalhos científicos nos permite concluir que existe algum tipo de validação para esse software.
Este trabalho foi motivado pela linha de pesquisa financiada pela Faperj de modelagem computacional do sistema cardiovascular. Tem como objetivo futuro utilizar o ImageLab em exames de angiotomografia de coronárias no formato DICOM e possivelmente outros exames nesse formato.
A avaliação subjetiva do grau de lesão, de uma imagem representativa, de artéria que está constantemente em movimento e tem em geral menos que 3 mm pode ser difícil. Além disso, a visualização de uma estrutura complexa no espaço tridimensional expressa de forma bidimensional por uma imagem é um desafio à precisão. O grau de lesão estimado com essas limitações vai definir a conduta clínica a ser tomada em vários casos.
Apesar da menor precisão quando comparada com o cine angiocardiografia (CA), na angiotomografia de coronárias é possível analisar a imagem em quatro dimensões (três dimensões mais o tempo de um ciclo cardíaco) e isso possivelmente facilita a concordância com o CA, o que é refletido na alta sensibilidade e especificidade da angiotomografia de coronárias com valores superiores a 90%9.
Conseguimos uma boa concordância na maioria das análises e na avaliação direta entre os softwares. Essa concordância foi maior na avaliação intraobservador, o que já era esperado. Outro dado previsível foi maior concordância nos casos de ausência de lesão. A pior avaliação ocorreu entre os observadores com o software ImageLab na análise de lesão >70% na ADA (Kappa de 47,8). Essa discordância poderia ser explicada em parte, pela difícil quantificação subjetiva de alguns casos e pelas diferentes interpretações do local em que se encontra a lesão, ou seja, mesmo quando existiu uma avaliação correta sobre uma determinada lesão, essa informação não era registrada correta se ocorre em segmentos diferentes (lesão > 70% em ADA na intercessão do segmento proximal e médio, ora interpretada com sendo no segmento anterior, ora interpretada como sendo no segmento médio).
Apesar da limitação da população estudada descrita anteriormente, as concordâncias simples realizadas em casos com poucas observações de lesão e placas foram sempre muito boas. A falta dessa informação pode prejudicar a validade externa do software para achados mais raros, porém na grande maioria dos pacientes que são encaminhados para esse exame não se vê essas alterações.
Na análise das concordâncias com maior significância clínica e observações mais frequentes (
Quando buscamos na literatura a avaliação das concordâncias com o CAT, apesar da utilização do padrão de referência anatômico, existe grande variação, com Kappa entre 36 a 63 para medidas dicotômicas detalhadas do grau de lesão (0, 1 - 50,51 - 69 e >70) e Kappa de 37 a 82 para medidas dicotômicas menos detalhadas (<70 ou
Outro dado interessante utilizando dois observadores é a mudança de interpretação sobre um laudo prévio de um CAT quando comparado a uma avaliação recente, com concordância moderada e Kappa variando entre 54 e 60 entre os observadores. Isso ocorre mesmo quando a concordância recente entre esses observadores é boa (Kappa de 69)13. Esses dados podem estar relacionados às informações disponíveis pelo observador das imagens durante o momento da análise (imagens associadas a história clínica, contexto da realização do exame, exames prévios e sintomas), quando comparada com a análise das imagens sem informação prévia sobre o pacientes.
No nosso estudo, a ausência de informações sobre o paciente, incluindo a sua identificação, características da dor, precordial, resultado de exames funcionais e a avaliação do escore de cálcio, pode ter influenciado na interpretação das imagens, porém nosso objetivo não foi a liberação de um laudo clínico, mas sim a comparação entre softwares.
Observamos concordâncias muito boas entre os dois softwares, tanto na avaliação intraobservador quanto na avaliação interobservador.
A avaliação das concordâncias intersoftwares, na análise de lesões e placas, em geral, foi superior a 80.
O software ImageLab concorda com o software da Philips na avaliação de exames de angiotomografia de coronárias, tem um grande potencial no auxílio da prática clínica e em pesquisas nessa área, apesar da necessidade de uma avaliação mais robusta. Pode ser utilizado como ferramenta dentro da linha de pesquisa de modelagem computacional do sistema cardiovascular e possivelmente em outras áreas relacionadas as imagens no formato DICOM.
Declaro não haver conflito de interesses pertinentes.
O presente estudo não teve fontes de financiamento externas.
Este artigo é parte de dissertação de mestrado de Marcelo Souza Hadlich pela Universidade Federal do Rio de Janeiro.
1. Yamauchi T, Yamazaki M, Okawa A,Furuya T, Hayashi K, Sakuma T, et al. Efficacy and reliability of highly functional open source DICOM software (OsiriX) in spine surgery. J Clin Neurosc.. 2010;17(6):756-9.
2. Peanykh OS. A brief history of DICOM. In: Digital Imaging and Communications in Medicine. Philadelphia:Springer;2008.p.17-22.
3. Gibaud B. The DICOM standard: a brief overview. Philadelphia:Springer; 2008.p.1-10.
4. Graham RNJ, Perriss RW, Scarsbrook AF. DICOM demystified: a review of digital file formats and their use in radiological practice. Clin Radiol. 2005;60(11):1133-40.
5. Kon F. O Software aberto e a questão social. Relatório Técnico RT-MAC-2001-07. 2011:1-10.Departamento de Ciência da Computação, IME-USP.[Citado em 2011 jan 10].Disponível em:
6. Raff GL, Abidov A, Achenbach S, Berman DS, Boxt LM, Budoff MJ, et al. SCCT guidelines for the interpretation and reporting of coronary computed tomographic angiography. J Cardiovasc Comput Tomogr. 2009;3(2):122-36..
7. Brooks RA. A quantitative theory of the Hounsfield unit and its application to dual energy scanning. J Comput Assist Tomogr. 1977;1(4):487-93.
8. Budoff MJ, Cohen MC, Garcia MJ, Hogson JM, Hundley WG, Lima JA, et al. ACCF/AHA clinical competence statement on cardiac imaging with computed tomography and magnetic resonance: a report of the American College of Cardiology Foundation/American Heart Association/American College of Physicians Task Force on Clinical Competence and Training. J Am Coll Cardiol. 2005;46(2):383-402.
9. Landis JR, Koch GG. The measurement of observer agreement for categorical data. Biometrics. 1977;33(1):159-74.
10. Janne d'Othée B, Siebert U, Cury R, Jadvar H, Dunn EJ, Hoffmann U. A systematic review on diagnostic accuracy of CT-based detection of significant coronary artery disease. Eur J Radiol. 2008;65(3):449-61.
11. Raggi P, Callister TQ, Cooil B, He ZX, Lippolis NJ, Russo DJ, et al. Identification of patients at increased risk of first unheralded acute myocardial infarction by electron-beam computed tomography. Circulation.2000;101(8):850-5.
12. Guimaraes JA, Victor EG, de Britto Leite MR, Gomes JM, Victor Filho E, Reyes Liveras J. Reliability of the interpretation of coronary angiography by the simple visual method. Arq Bras Cardiol. 2000;74(4):300-8.
13. Banerjee S, Crook AM, Dawson JR, Timmis AD, Hemingway H. Magnitude and Consequences of Error in Coronary Angiography Interpretation (The ACRE Study). Am J Cardiol. 2000;85(3):309-4
Marcelo Souza Hadlich Rua Marquês de São Vicente, 182/102, Gávea CEP 22451040, Rio de Janeiro, RJ - Brasil E-mail:
Artigo recebido em 04/11/11; revisado em 04/11/11; aceito em 13/06/12.
BACKGROUND: The standardization of images used in Medicine in 1993 was performed using the DICOM (Digital Imaging and Communications in Medicine) standard. Several tests use this standard and it is increasingly necessary to design software applications capable of handling this type of image; however, these software applications are not usually free and open-source, and this fact hinders their adjustment to most diverse interests. OBJECTIVE: To develop and validate a free and open-source software application capable of handling DICOM coronary computed tomography angiography images. METHODS: We developed and tested the ImageLab software in the evaluation of 100 tests randomly selected from a database. We carried out 600 tests divided between two observers using ImageLab and another software sold with Philips Brilliance computed tomography appliances in the evaluation of coronary lesions and plaques around the left main coronary artery (LMCA) and the anterior descending artery (ADA). To evaluate intraobserver, interobserver and intersoftware agreements, we used simple and kappa statistics agreements. RESULTS: The agreements observed between software applications were generally classified as substantial or almost perfect in most comparisons. CONCLUSION: The ImageLab software agreed with the Philips software in the evaluation of coronary computed tomography angiography tests, especially in patients without lesions, with lesions < 50% in the LMCA and < 70% in the ADA. The agreement for lesions > 70% in the ADA was lower, but this is also observed when the anatomical reference standard is used.
IUniversidade Federal do Rio de Janeiro (UFRJ). Rio de Janeiro, RJ - Brazil
IIInstituto do Coração Edson Saad. Rio de Janeiro, RJ - Brazil
IIILaboratório Nacional de Computação Científica (LNCC). Rio de Janeiro, RJ - Brazil
IVRede Labs Dor. Rio de Janeiro, RJ - Brazil
VInstituto Nacional de Cardiologia. Rio de Janeiro, RJ - Brazil
VIInstituto Dor de Pesquisa e Ensino. Rio de Janeiro, RJ - Brazil
In the medical area, a specific imaging pattern called DICOM (Digital Imaging and Communications in Medicine) is used. This standard was developed to facilitate communication between the software and hardware associated with this process.
The DICOM format, standardized1 in 1993 by the RSNA (Radiological Society of North America) Congress, aimed at standardizing the rules with which medical information is transmitted and stored2-4.
Medical images are viewed and processed by means of specific software applications. Many of these resources are not available for free or are sold together with equipment, but it is not common to find free and open-source software applications for that image format. The public domain of a medical software technology could reduce medical costs, homogenize multicenter use, allow continued development and facilitate the development of several lines of research, and some believe that this format could contribute to reducing the social gap between countries5.
The National Institute of Science and Technology in Medicine Assisted by Scientific Computing (INCT-MACC) involves 33 national institutions from 11 states, totaling 128 researchers. One area of research of the INCT-MACC is the processing of medical images, enabling the acquisition of information to improve the computational modeling of the human cardiovascular system, also under development by the INCT-MACC. For this purpose, a free and open-source software application named ImageLab was designed. The characteristics of this software supposedly include the fact that it is user-friendly, but that requires further evaluation.
The purpose of the study was to develop and evaluate reliability, reproducibility and agreement of the new software when compared to another being currently used in coronary computed tomography angiography equipment.
In a concerted effort undertaken by the Universidade Federal do Rio de Janeiro (UFRJ) together with the National Laboratory for Scientific Computing (LNCC), a software application was developed to analyze DICOM images. This free and open-source software is called ImageLab and has some tools created to analyze and process coronary computed tomography angiography images.
The inclusion criteria was applied to a population of 6,216 patients who underwent coronary computed tomography angiography tests between May 2005 and December 2010, i.e., patients with complete data recorded in the database created in 2008, of which 2,895 patients were selected. Subsequently, after the exclusion criteria were applied, i.e., presence of stents in the left main coronary artery or anterior descending artery (ADA), surgical clip, resulting from coronary artery bypass grafting and patients who had no images stored in the server, a total of 534 cases were selected (
A random selection was carried out in the randon.org website, which removed 120 of the 534 patients, and the first 100 cases were then used. All patients had their identifiers replaced by consecutive numbers, by people not involved in the image analysis study, making it blind.
Raw data from coronary computed tomography angiography images obtained through CT scanners available in the service were used (GE Lightspeed VTC 64 and 32, Philips Brilliance 64, 40 and 16). All images followed a standard acquisition protocol using similar techniques.
All 100 tests were analyzed by two software applications. The Philips Brilliance software was purchased along with the cardiovascular package (available for a specific workstation for analyses of DICOM images), and the ImageLab software, developed in this project, was installed in the same workstation (to neutralize potential variations of processing capacity if they were installed in computers with different capacities).
We chose the left main coronary artery and the ADA due to their clinical importance and to enable the analysis, as the use of the 16 segments in their entirety would result in a large number of variables. We followed the nomenclature proposed by the AHA, regarding segments 5, 6, 7 and 86. The evaluation of the presence of coronary lesions greater than or smaller than 50% was used for segment 5 (left main coronary artery) and for the other segments (anterior descending artery), we used cutoff points of 70%. Additionally, the following variables were also recorded: Presence of calcified, partially calcified (in each segment) and non-calcified atherosclerotic plaques; subjective quality of images; time of image analysis (recorded by observer 1).
Image analysis was performed by viewing orthogonal planes selected from image blocks in three-dimensional space, starting with the chest analysis in the transverse plane from head to foot, in order to view the aorta, the origin of the left main coronary artery and the ADA. Evaluations on the degree of stenosis followed the standard analysis, where the filling failure in the contrasted vessel defines the lesion. The analysis of the type of plaque responsible for the lesions was performed subjectively. Plaque characterization was performed according to their morphology and signal intensity following the traditional scale adopted in CT tests, the scale of Hounsfield (HU)7. The plaques were classified as: calcified (tissue adjacent to the vessel with more signal strength than the contrasted vessel - signal >130 HU); non-calcified (tissue adjacent to the vessel with lower signal than the contrasted vessel - signal < -50 HU), and partially calcified (heterogeneous content).
The two software applications feature a tool designed to find and analyze any points in the three-dimensional space. This tool was used to evaluate the vessel in its axial plane (viewing from within the vessels) throughout their extension, and when coronary lesions and plaques are present, all the orthogonal planes may be used simultaneously at the exact topography where these findings are located.
Two observers with more than five years of experience, equivalent to level 3 of clinical competence8, used the commercial Philips software and ImageLab, installed on the same computer, to analyze the segment of the ADA according to the variables described in
A total of 600 analyses were performed to assess the intraobserver, interobserver and intersoftware agreements.
Descriptive analysis of numerical variables used means +/- standard deviations. Categorical variables were analyzed as numbers (n) and percentages (%). Kappa statistics were used to calculate the interobserver and intraobserver reproducibility, all with a confidence interval of 95%, as well as simple agreement to measure the cases with a small number of disagreements. The software used was R for Linux. We used
After the random selection of 120 cases, 7 cases that scored less than 100 were excluded due to lack of contrast examination (calcium score tests without coronary computed tomography angiography). A total of 100 tests that scored 1-107 were included in the 600 analyses divided by observers and software. (All results of agreements obtained with the R program for Linux can be viewed at
The results of the ImageLab software version used in this project showed to be appropriate, demonstrating convenient format and usability (
All 100 patients analyzed were tested between July 2009 and November 2010, most of whom were male (65) and mean age was 58 years (23-85). Mean body mass index was 27 kg/m2, which classified the population as overweight (25% were classified as obese). Only 15% of the population did not have any risk factor, and 35% were asymptomatic (
The most frequent symptom observed was the presence of atypical pain for CAD, and most test indications were performed to evaluate any symptoms. It is noteworthy that 36% of patients were referred due to the presence of abnormal functional test, and 16%, for risk stratification (routine evaluation unrelated to symptoms or abnormal tests); only 2%, to exclude the diagnosis of atherothrombotic disease as the etiology of a cardiomyopathy; and 2%, due to preoperative evaluation (assessment of surgical cardiovascular risk).
Observer 1 used a pad-shaped electronic device (Apple® tablet - Wi-fi 64 Gb iPad) to record the analyses using the software application Bento® for iPad. This allowed registering the time of the analyses in a simple way (
The total time of the analyses performed by observer 1 was approximately 6.8 hours, throughout 14 days. The average time spent with each analysis was 2 minutes and 4 seconds (21 to 612 seconds). The mean time using ImageLab software to analyze all cases was 226.2 minutes, while with the software Philips Brilliance, it was 180.9 (20% less). The second analysis using both software applications was faster with the decrease in total time by 11.9 minutes and 10.7 minutes for the software applications ImageLab and Philips Brilliance, respectively.
We recorded the subjective quality of images through a 1-3 score, 1 - low quality, 2 - intermediate quality, and 3 - high quality. Twenty-four percent of the images were classified as low quality; 64.2% as intermediate, and 11.8%, as high quality (76% with intermediate or high quality).
To evaluate the intraobserver and interobserver agreements, we used the simple agreement (sum of agreeing findings in relation to the total number of cases), in the presence of few or no cases of disagreement (heterogeneous distribution in the 2 x 2 table with few or no cases in one of the cells), and using kappa statistics (
The average observations of the 600 analyzes (
It was possible to perform the analysis of agreement using Kappa, for all types of comparison (intraobserver, interobserver, and intersoftware), in the following variables: absence of lesion and lesion > 50% in the left main coronary artery; absence of lesion in the ADA and > 70% in the middle third of this artery (
In order to evaluate the intraobserver agreements, we compared the analyses performed by observer 1 with the software ImageLab at time 1 ImageLab with time 2 as well as the Philips Brilliance software at time 1 Philips Brilliance at time 2.
All evaluations measured by Kappa or by simple agreement in left main coronary artery were >60. Only the variable lesion >70% in the mid third of the descending artery, in the interobserver evaluation by Philips Brilliance, presented moderate agreement (49.7 - 13.8 to 85.6). All the other agreements observed in the left ADA were >609.
The observation of absence of lesions and lesion <50% in the left main coronary artery, as well as lesion >70% in the mid-third of the left ADA showed greater intraobserver agreement by the software Philips Brilliance. The others were similar.
The intersoftware analysis showed agreement >80 for all measurements performed by Kappa, except for the observation of lesion >70% in the mid-third of the ADA (79.6 - 63.6 to 95.7), while all simple intersoftware agreements were >80.
When the most frequent observations with greater clinical significance are analyzed (
Our study analyzed patients referred by their physicians to undergo coronary computed tomography angiography due to different clinical indications. These patients, seen at the routine of private services referred to these types of tests, generally have low to intermediate likelihood of having the disease and the high negative predictive value of the test10 is used to rule out the diagnosis. We observed that in the population studied, only 9% had chest pain typical of coronary artery disease and when we evaluated the results of calcium scores of the same population (not used in the assessments), only 20% had values above the 75th percentile for sex and age, which is associated with a higher overall risk for cardiovascular events11.
The use of patients referred for cardiological indications allows the feasibility of this study, but it may also pose a problem. The lack of all types of lesions and plaques by coronary segments surely is a limitation for the analysis of agreements. In these cases, it was only possible to perform the simple agreement, as the Kappa needs a more varied distribution of findings to be calculated. One way to correct this problem would be to include patients distributed by lesions and plaques in order to force the varied entry of all kinds of findings. This approach would change the profile of the population to be studied, which would certainly be different from the population seen in everyday life, which is referred by physicians for clarification of an uncertain diagnosis.
The assessment of only part of the test (contrasted phase) without the patients' clinical data, possibly diminishes the observers' capacity to interpret the images. This may interfere with the test report and perhaps with medical management, but our goal was not to evaluate how accurate the new software was in relation to the reference standard (coronary angiography), but to compare it with another widely used software application.
We did not find any specific scientific validation for the Philips' software in our review, but we believe that its regular use in clinical practice and in scientific works allows us to conclude that there is some sort of validation for that software application.
This study was motivated by the research area funded by Faperj, concerning computer modeling of the cardiovascular system. It aims to use ImageLab in coronary angiography tests in DICOM format and possibly in other tests using this format.
The subjective evaluation of the degree of lesion, from a representative image of the artery that is constantly in motion and is generally smaller than 3 mm, can be difficult. Moreover, viewing a complex structure in three-dimensional space expressed by a two-dimensional shape image is a challenge to accuracy. The lesion degree estimated with these limitations will define the clinical conduct to be followed in several cases.
Despite the lower accuracy compared with cine angiocardiography (CA), it is possible to analyze the image in four dimensions (three dimensions plus the time of one cardiac cycle) when using coronary computed tomography angiography and that possibly facilitates agreement with CA, which is reflected in the high sensitivity and specificity of coronary computed tomography angiography, with values above 90%9.
We obtained good agreement in most analyses and in the direct evaluation of the software applications. This agreement was greater in the intraobserver evaluation, which was expected. Another predictable finding was greater agreement in cases of absence of lesion. The worst evaluation occurred between observers with the software ImageLab in the analysis of lesion >70% in the ADA (Kappa 47.8). This discrepancy could be partly explained by the difficult subjective quantification in some cases and the different interpretations of the site where the lesion is found, or even if there was a correct assessment of a particular lesion, as this information was not accurately recorded to state whether it occurred in different segments (lesion >70% in the ADA at the intersection of the proximal and middle segments, sometimes interpreted as in the anterior segment, sometimes interpreted as in the middle segment).
Despite the limitations of the study population described above, the simple agreements performed in cases with few observations of lesion and plaques were always very good. The lack of such information may jeopardize the external validity of the software for rarer findings, but the vast majority of patients who are referred to this test do not have these alterations.
In the analysis of agreements with greater clinical significance and more frequent observations (
When we performed a search in the literature for evaluation of agreements with CA, although the anatomical reference standard is used, we found a great variation, with Kappa ranging from 36 to 63 for detailed dichotomous measures on the degree of lesion (0.1 - 50.51 - 69 and >70) and Kappa of 37 to 82 for less detailed dichotomous measures (>70 or >70)12.
Another interesting data using two observers is the change of interpretation in a previous report of CAT compared to a recent evaluation, with moderate agreement and Kappa ranging from 54 to 60 among observers. This occurs even when the recent agreement between these observers is good (Kappa 69)13. These data may be related to the information available for the image observer during the time of analysis (images associated with clinical history, the test context, previous examinations and symptoms), compared to the analysis of images without prior information about the patients.
In our study, the absence of patient information, including identification, characteristics of precordial pain, result of functional tests and evaluation of calcium score, may have influenced the interpretation of images, but our goal was not to approve a clinical report, but to compare software applications.
We observed very good agreements between the two software applications, both in the intraobserver and the interobserver evaluation.
The evaluation of intersoftware agreements, analysis of lesions and plaques was generally greater than 80.
The software ImageLab agrees with the Philips software in the evaluation of coronary computed tomography angiography, has a great potential to help clinical practice and research in this area, despite the need for a more robust evaluation. It can be used as a tool in the research area of computer modeling of the cardiovascular system and possibly in other areas related to images in DICOM format.
No potential conflict of interest relevant to this article was reported.
There were no external funding sources for this study.
This article is part of the dissertation of master submitted by Marcelo Souza Hadlich, from Universidade Federal do Rio de Janeiro.
1. Yamauchi T, Yamazaki M, Okawa A,Furuya T, Hayashi K, Sakuma T, et al. Efficacy and reliability of highly functional open source DICOM software (OsiriX) in spine surgery. J Clin Neurosc.. 2010;17(6):756-9.
2. Peanykh OS. A brief history of DICOM. In: Digital Imaging and Communications in Medicine. Philadelphia:Springer;2008.p.17-22.
3. Gibaud B. The DICOM standard: a brief overview. Philadelphia:Springer; 2008.p.1-10.
4. Graham RNJ, Perriss RW, Scarsbrook AF. DICOM demystified: a review of digital file formats and their use in radiological practice. Clin Radiol. 2005;60(11):1133-40.
5. Kon F. O Software aberto e a questão social. Relatório Técnico RT-MAC-2001-07. 2011:1-10.Departamento de Ciência da Computação, IME-USP.[Citado em 2011 jan 10].Disponível em:
6. Raff GL, Abidov A, Achenbach S, Berman DS, Boxt LM, Budoff MJ, et al. SCCT guidelines for the interpretation and reporting of coronary computed tomographic angiography. J Cardiovasc Comput Tomogr. 2009;3(2):122-36..
7. Brooks RA. A quantitative theory of the Hounsfield unit and its application to dual energy scanning. J Comput Assist Tomogr. 1977;1(4):487-93.
8. Budoff MJ, Cohen MC, Garcia MJ, Hogson JM, Hundley WG, Lima JA, et al. ACCF/AHA clinical competence statement on cardiac imaging with computed tomography and magnetic resonance: a report of the American College of Cardiology Foundation/American Heart Association/American College of Physicians Task Force on Clinical Competence and Training. J Am Coll Cardiol. 2005;46(2):383-402.
9. Landis JR, Koch GG. The measurement of observer agreement for categorical data. Biometrics. 1977;33(1):159-74.
10. Janne d'Othée B, Siebert U, Cury R, Jadvar H, Dunn EJ, Hoffmann U. A systematic review on diagnostic accuracy of CT-based detection of significant coronary artery disease. Eur J Radiol. 2008;65(3):449-61.
11. Raggi P, Callister TQ, Cooil B, He ZX, Lippolis NJ, Russo DJ, et al. Identification of patients at increased risk of first unheralded acute myocardial infarction by electron-beam computed tomography. Circulation.2000;101(8):850-5.
12. Guimaraes JA, Victor EG, de Britto Leite MR, Gomes JM, Victor Filho E, Reyes Liveras J. Reliability of the interpretation of coronary angiography by the simple visual method. Arq Bras Cardiol. 2000;74(4):300-8.
13. Banerjee S, Crook AM, Dawson JR, Timmis AD, Hemingway H. Magnitude and Consequences of Error in Coronary Angiography Interpretation (The ACRE Study). Am J Cardiol. 2000;85(3):309-4
Marcelo Souza Hadlich Rua Marquês de São Vicente, 182/102, Gávea Postal Code 22451040, Rio de Janeiro, RJ - Brasil E-mail:
Manuscript received November 4, 2011; manuscript revised November 4, 2011; accepted June 13, 2012.