abcArquivos Brasileiros de CardiologiaArq. Bras. Cardiol.0066-782X1678-4170Sociedade Brasileira de Cardiologia - SBCSão Paulo, SP, Brazilp5mTR8ZNfK8FBFzsxQbwZrKS0066-782X2013000300006S0066-782X(13)1000030000610.5935/abc.20130043Artigos OriginaisInsCor: um método simples e acurado para avaliação do risco em cirurgia cardíacaMejíaOmar A. V.LisboaLuiz A. F.PuigLuiz B.MoreiraLuiz Felipe P.DallanLuis A. O.PomerantzeffPablo M. A.JateneFabio B.StolfNoedir A. G.São PauloSão PauloUniversidade de São PauloFaculdade de Medicina Hospital das ClínicasBrazil0320131003246254300520120510201226092012This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License.
FUNDAMENTO: Escores de risco apresentam dificuldades para obter o mesmo desempenho em diferentes populações. OBJETIVO: Criar um modelo simples e acurado para avaliação do risco nos pacientes operados de doença coronariana e/ou valvar no Instituto do Coração da Universidade de São Paulo (InCor-HCFMUSP). MÉTODOS: Entre 2007 e 2009, 3.000 pacientes foram operados consecutivamente de doença coronariana e/ou valvar no InCor-HCFMUSP. Desse registro, dados de 2/3 dos pacientes foram utilizados para desenvolvimento do modelo (técnica de bootstrap) e de 1/3 para validação interna do modelo. O desempenho do modelo (InsCor) foi comparado aos complexos 2000 Bernstein-Parsonnet (2000BP) e EuroSCORE (ES). RESULTADOS: Apenas 10 variáveis foram selecionadas: Idade > 70 anos; sexo feminino; cirurgia de revascularização coronariana + valva; infarto de miocárdio < 90 dias; reoperação; tratamento cirúrgico da valva aórtica; tratamento cirúrgico da valva tricúspide; creatinina < 2mg/dL; fração de ejeção < 30%; e eventos. O teste de Hosmer Lemeshow para o InsCor foi de 0,184, indicando uma excelente calibração. A área abaixo da curva ROC foi de 0,79 para o InsCor, 0,81 para o ES e 0,82 para o 2000BP, confirmando que os modelos são bons e similares na discriminação. CONCLUSÕES: O InsCor e o ES tiveram melhor desempenho que o 2000BP em todas as fases da validação; pórem o novo modelo, além de se identificar com os fatores de risco locais, é mais simples e objetivo para a predição de mortalidade nos pacientes operados de doença coronariana e/ou valvar no InCor-HCFMUSP.
Procedimentos Cirúrgicos CardíacosMortalidadeFatores de RiscoModelos EstatísticosMedição de Risco15042013
ARTIGO ORIGINAL
CIRURGIA CARDÍACA – ADULTOS
InsCor: um método simples e acurado para avaliação do risco em cirurgia cardíaca
Omar A. V. Mejía; Luiz A. F. Lisboa; Luiz B. Puig; Luiz Felipe P. Moreira; Luis A. O. Dallan; Pablo M. A. Pomerantzeff; Fabio B. Jatene; Noedir A. G. Stolf
Instituto do Coração do Hospital das Clínicas da Faculdade de Medicina da Universidade da São Paulo, São Paulo, SP - Brasil
Correspondência
RESUMO
FUNDAMENTO: Escores de risco apresentam dificuldades para obter o mesmo desempenho em diferentes populações.
OBJETIVO: Criar um modelo simples e acurado para avaliação do risco nos pacientes operados de doença coronariana e/ou valvar no Instituto do Coração da Universidade de São Paulo (InCor-HCFMUSP).
MÉTODOS: Entre 2007 e 2009, 3.000 pacientes foram operados consecutivamente de doença coronariana e/ou valvar no InCor-HCFMUSP. Desse registro, dados de 2/3 dos pacientes foram utilizados para desenvolvimento do modelo (técnica de bootstrap) e de 1/3 para validação interna do modelo. O desempenho do modelo (InsCor) foi comparado aos complexos 2000 Bernstein-Parsonnet (2000BP) e EuroSCORE (ES).
RESULTADOS: Apenas 10 variáveis foram selecionadas: Idade > 70 anos; sexo feminino; cirurgia de revascularização coronariana + valva; infarto de miocárdio < 90 dias; reoperação; tratamento cirúrgico da valva aórtica; tratamento cirúrgico da valva tricúspide; creatinina < 2mg/dL; fração de ejeção < 30%; e eventos. O teste de Hosmer Lemeshow para o InsCor foi de 0,184, indicando uma excelente calibração. A área abaixo da curva ROC foi de 0,79 para o InsCor, 0,81 para o ES e 0,82 para o 2000BP, confirmando que os modelos são bons e similares na discriminação.
CONCLUSÕES: O InsCor e o ES tiveram melhor desempenho que o 2000BP em todas as fases da validação; pórem o novo modelo, além de se identificar com os fatores de risco locais, é mais simples e objetivo para a predição de mortalidade nos pacientes operados de doença coronariana e/ou valvar no InCor-HCFMUSP.
Palavras-chave: Procedimentos Cirúrgicos Cardíacos, Mortalidade, Fatores de Risco, Modelos Estatísticos, Medição de Risco.
Introdução
Escores de risco podem ajudar a alcançar melhores resultados ao providenciar informações relevantes acerca dos pacientes. Evidências atuais para avaliação dos resultados em cirurgia cardíaca nos obrigam a utilizá-los1,2.
Existem, no entanto, realidades diferentes entre as populações de origem dos modelos e os locais onde eles são aplicados3. No Brasil, a procura de um modelo local se justifica por uma apresentação mais tardia da doença, uma distribuição desigual das instalações hospitalares, uma alta prevalência da doença reumática e, especialmente, uns dos maiores volumes cirúrgicos no mundo.
Como medida de precaução, portanto, sempre é sugerida a remodelação (adaptação do modelo à nossa realidade) dos escores de risco para garantir que fatores de risco locais ou emergentes não passem despercebidos4. Para isso, cada centro deve manter seu próprio banco de dados5, e mesmo que a simplificação para um sistema de escore sacrifique a precisão em busca da praticidade, uma nova tendência em favor da criação de modelos locais toma força6-10.
Mesmo assim, é imprescindível que as variáveis para estudo sejam derivadas de modelos desenvolvidos e validados adequadamente11. Desses, no Brasil, os melhores resultados foram encontrados com o EuroSCORE12-14 e o 2000 Bernstein-Parsonnet14. Assim, o remodelamento e a simplificação (poucas variáveis quanto possiveis), poderiam trazer modelos acuradose com melhor aplicabilidade, por serem mais baratos e fáceis de ser aderidos à prática assistêncial15.
O objetivo deste estudo, portanto, foi desenvolver um modelo local (InsCor),validá-lo e compará-lo com o 2000BP e EuroSCORE, na predição de mortalidade nos pacientes operados de doença coronariana e/ou valvar no Instituto do Coração do Hospital das Clínicas da Faculdade de Medicina da Universidade de São Paulo(InCor-HCFMUSP).
Métodos
Amostra
Este estudo prospectivo, unicêntrico e observacional foi conduzido na Divisão de Cirurgia Cardiovascular do Departamento de Cardiopneumologia do InCor-HCFMUSP.
Para o tamanho da amostra, uma regra dos estudos de simulação é de que essa deve ter pelo menos 10 eventos (sucessos ou fracassos, o mais raro) para cada variável, independentemente do modelo16. Assim também, é conhecido que para formulação de um modelo, amostras <100 são arriscadas, enquanto o aconselhado é > 500. Dentro das formas para reduzir o vício dos coeficientes do modelo houve destaque para as técnicas de bootstrap17. Portanto, a nossa amostra de 3.000 pacientes com 268óbitos para desenvolvimento de um modelo e sua validação respectiva seria adequada.
Critérios de inclusão e exclusão
Critérios de inclusão: Todos os pacientes (eletivos, urgência e emergência) submetidos consecutivamente a:
• Cirurgia valvar (troca ou plástica);
• Cirurgia de revascularização coronariana (com ou sem a utilização de circulação extracorpórea);
• Cirurgia associada (cirurgia de revascularização coronariana + cirurgia valvar).
Critérios de exclusão:
• Pacientes com perda de variáveis pertinentes ao estudo.
• Cirurgia de revascularização coronariana e/ou valvar em pacientes < 18 anos.
• Cirurgia associada não sendo cirurgia de revascularização coronariana + cirurgia valvar.
Coleta, definição e organização dos dados
Os dados foram coletados pré-operatoriamente à avaliação clínica e do sistema eletrônico de prontuários do InCor (SI3) e armazenados numa planilha única. Essa planilha foi adaptada, de forma a contemplar todas as variáveis descritas pelo modelo do 2000 Bernstein Parsonnet18 e do EuroSCORE19. Foi coletado um total de 60 variáveis pré-operatórias por paciente. Todas as definições atribuídas às variáveis por ambos os escores foram respeitadas junto a seus respectivos valores, segundo sua relevância com o evento morte. Assim, após o cálculo do valor do 2000BP e do ES para cada paciente, eles foram ordenados segundo os grupos de risco estabelecidos pelos escores. Os dados foram colocados no banco de dados confeccionado no programa Excel com essa finalidade. Todos os pacientes foram acompanhados até a alta hospitalar. Nenhum paciente foi excluído da análise por falta de dados. O desfecho de interesse foi mortalidade intra-hospitalar, definida como a morte ocorrida no intervalo de tempo entre a cirurgia e a alta hospitalar.
Formulação do modelo local (InsCor)
A técnica de bootstrap junto a procedimentos de seleção automatizada de variáveis "stepwise" foi utilizada para desenvolver um modelo parcimonioso mediante a regressão logística múltipla20. Essa técnica foi introduzida por Efron21 e tenta o que seria desejável realizar na prática: "repetir a experiência". As observações são escolhidas de forma aleatória e as estimativas, recalculadas. Trata a amostra observada como se essa representasse toda a população e, dessa forma, retira amostras de mesmo tamanho com repetição, gerando assim um grande número de amostras. Aplica-se a técnica de análise estatística em cada amostra e obtêm-se as estimativas desejadas. Espera-se que essas estimativas convirjam para uma estimativa única. São fortes as evidências que indicam que os modelos preditivos produzidos com técnicas de bootstrap são os mais estáveis, têm melhor acurácia e são constituídos por variáveis que são verdadeiros preditores reproduzíveis e independentes22. Para este estudo, o banco de dados constituído por 3.000 pacientes foi dividido em dois grupos: o grupo de desenvolvimento (2.000 pacientes) e o grupo de validação do modelo (1.000 pacientes).
Grupo de desenvolvimento do modelo (InsCor) - As variáveis utilizadas nas amostras de bootstrap foram as que apresentaram p<0,10 na análise univariada inicial. As variáveis contínuas foram analisadas com a partição já escolhida durante esta análise. Na sequência, a técnica de bootstrap foi utilizada nos primeiros 2.000 pacientes, selecionando 1.000amostras de repetição (cada uma contendo 2.000pacientes e o mesmo número de casos de óbito e de não óbito que a amostra original). Posteriormente, para cada amostra, foi rodado o modelo de regressão logística multivariado com processo de seleção "stepwise" e anotadas as variáveis que foram selecionadas em cada um dos 1.000modelos obtidos. Pelo número de vezes que uma variável foi selecionada, foi realizado o ranking das variáveis. Portanto, as variáveis escolhidas entrariam no modelo final de uma forma não ajustada, mantendo o peso (odds ratio) resultante da análise univariada inicial.
Grupo da validação do modelo (InsCor) -A avaliação do desempenho do modelo em dados não pertencentes ao grupo de desenvolvimento do modelo (próximos 1.000pacientes) é conhecido como a validação interna. Para isso, o InsCor teria que passar pelos testes sequenciais de calibração e discriminação. Calibração-A calibração avalia a acurácia do modelo para predizer risco em um grupo de pacientes. Em outras palavras, se o modelo propõe que a mortalidade em 1.000 pacientes seria 5% e a mortalidade observada é de 5% ou perto de isso, diremos que o modelo está bem calibrado. A força da calibração foi avaliada testando a qualidade do ajuste mediante o teste de Hosmer-Lemeshow23. O valor de p > 0,05 indica que o modelo se ajusta aos dados e prediz a mortalidade adequadamente. Discriminação- A discriminação mede a habilidade do modelo para distinguir entre pacientes de baixo e alto risco. Em outras palavras, se a maioria dos óbitos ocorre em pacientes que o modelo identifica como de alto risco, diremos que o modelo tem uma boa discriminação. Ao contrário, se a maioria dos óbitos ocorre em pacientes que o modelo identifica como de baixo risco, diremos que o modelo tem pobre discriminação. A discriminação é medida por meio da utilização da técnica estatística chamada área abaixo da curva ROC. Assim, a excelente discriminação refere-se a valores acima de 0,97; a muito boa discriminação está no intervalo entre 0,93 e 0,96; boa discriminação, entre 0,75 e 0,92; abaixo de 0,75 corresponde a modelos deficientes na capacidade de discriminação24.
Para melhor discernimento do estudo, optamos também por aplicar o 2000BP e o ES no mesmo grupo de validação.
Análise estatística - No grupo de desenvolvimento do modelo foi utilizada a técnica de bootstrap através do software SAS System versão 9.2for Microsoft Windows25. As variáveis com p < 0,10 foram identificadas como plausíveis preditores de mortalidade após cirurgia cardíaca. O risco aditivo foi obtido a partir dos coeficientes beta estimados do modelo de predição de risco proposto. As categorias de risco foram definidas de tal forma que fossem de tamanho semelhante19. No grupo de validação (1.000 pacientes), o desempenho do InsCor foi comparado ao do 2000BP e ES por meio da utilização do software SPSS versão 16.0 para Windows (IBM Corporation Armonk, New York). A calibração e a discriminação foram medidas para cada valor do escore nessa população de pacientes. O valor p<0,05foi considerado significativo.
Ética e termo de consentimento
Este trabalho foi aprovado pela Comissão de Ética para Análises de Projetos de Pesquisa (CAPPesq) do Hospital das Clínicas da Universidade de São Paulo com o número 1575, sendo isentada a necessidade do termo de consentimento livre esclarecido pelo tipo de desenho aplicado.
Resultados
Casuística
Todos os pacientes operados de doença coronariana e/ou valvar entre maio de 2008 e julho de 2010 no InCor-HCFMUSP foram incluídos no estudo. Dos 3.000 pacientes operados, 268(8,9%) morreram. Do total de procedimentos, 57,7% (1.731) foram submetidos a cirurgia de revascularização coronariana; 36,8% (1104), a cirurgia de valva; e 5,5% (165), a cirurgia de revascularização coronariana+ valva. Para efeito descritivo, mostramos na tabela 1 a prevalência dos fatores de risco na população de estudo, ES e 2000BP.
O modelo desenvolvido: InsCor
Após a obtenção dos modelos, fizemos uma ordenação das variáveis de acordo com o número de vezes em que elas foram selecionadas, e escolhemos as 10 primeiras, por acreditarmos que com um número reduzido de variáveis poderíamos obter um bom escore. Assim, o modelo selecionado foi o melhor dentro de três modelos iniciais (dados não mostrados) quanto a simplicidade, objetividade e força estatística para a predição de mortalidade. As variáveis selecionadas no modelo final foram as que apareceram em mais de 40% das 1.000 amostras bootstraps. Não houve evidência de interação de primeira ordem e multicolinearidade entre as variáveis do modelo final (Tabela 2). Apartir dos "Odds ratios" das variáveis selecionadas foi criado o modelo aditivo:
O modelo aditivo do InsCor pode variar de 0 a 30. Na figura 1, apresentamos a curva de probabilidade de óbito para todos os valores do InsCor. O modelo ficou dividido em três categorias: baixo risco (0-3); médio risco (4-7); e alto risco (<8). Para praticidade e melhor adoção do modelo, foi criada uma regra mnemotécnica com a palavra FICARTE, na qual as três primeiras letras contêm duas variáveis cada uma (F: feminino, fração de ejeção; I: idade, infarto recente; C: CRM + cirurgia valvar, creatinina) e as outras letras uma variável cada uma (A: tratamento da valva aórtica; R: reoperação; T: tratamento da valva tricúspide; E: eventos). Construído o InsCor, este passou pelos processos de calibração e discriminação.
Validação do InsCor e comparação com o EuroSCORE e o 2000BP (1000 pacientes) - Foi realizada a validação interna do InsCor no grupo da validação (1.000 pacientes). No mesmo grupo, foi realizada também a validação do EuroSCORE e do 2000BP para compará-los ao desempenho do InsCor. A calibração do InsCor foi adequada, com p=0,184 no teste de Hosmer-Lemeshow. Na tabela 3 é apresentada a calibração do InsCor por grupos de risco. A calibração do EuroSCORE (p=0,593) e do 2000BP (p=0,157) também foram adequadas no teste de Hosmer-Lemeshow e agrupadas por grupos de risco nas tabelas 4 e 5, respectivamente. Na discriminação, a área abaixo da curva ROC foi 0,79 para o InsCor; 0,81 para o ES e 0,82 para o 2000BP (Figura 2).
Na tabela 6, observamos uma sobreposição dos intervalos de confiança entre os três modelos, mostrando que na discriminação também não houve diferença significativa entre o InsCor, ES e 2000BP.
Dessa forma, cada variável selecionada para formulação do InsCor e seu valor obtido, podem ser utilizados para predizer mortalidade intra-hospitalar nos pacientes operados de doença coronariana e/ou valvar no InCor-HCFMUSP.
Discussão
A grande vantagem dos modelos de predição de risco em cirurgia cardíaca baseados em dados pré-operatórios é permitir a estratificação dos pacientes para o procedimento, podendo planejar o intra e o pós-operatório. Sabemos que não é possível comparar as instituições e profissionais de forma justa sem antes considerar a prevalência dos fatores de riscos, sobretudo quando existe diferença significativa como a mostrada neste estudo (Tabela 1). No entanto, podemos ver que modelos constituídos por variáveis verdadeiramente preditoras (2000BP e EuroSCORE) conseguiram ter bons resultados nessa primeira avaliação e para esse desfecho. O modelo InsCor, relacionado com a prevalência dos fatores de risco da população estudada, não teve melhor poder de discriminação em comparação com o 2000BP e EuroSCORE. Mesmo que o intuito do estudo fosse criar um modelo parcimonioso, e sobretudo mais simples e objetivo, é importante relatar que modelos locais englobam variáveis ocultas que não aparecem em razão da multicolinearidade das variáveis e do tamanho da amostra a ser validada11,15. Jones e cols.26, analisando especificamente a cirurgia de revascularização miocárdica (CRM), sugerem que a maior parte das informações relacionadas ao prognóstico está contida em relativamente poucas variáveis clínicas. Tu e cols.27 na época e Ranucci e cols.15 na atualidade testaram essa proposta e concluíram que modelos simples contendo apenas as variáveis essenciais são tão efetivos quanto modelos complexos para avaliação de resultados.
Em 2007, Gomes e cols.28 publicaram, no Brasil, o primeiro modelo brasileiro para uso local, porém não foi realizada a validação interna do modelo, que ficou na validação otimista. Assim mesmo, esse modelo inclui variáveis intraoperatórias e do primeiro dia do pós-operatório dificultando a sua aplicabilidade. No mesmo ano, Antunes e cols.7, a partir de 4.567 pacientes submetidos à CRM isolada, formularam um modelo com sete variáveis. A técnica de bootstrap foi escolhida pela primeira vez para modelos de predição em cirurgia cardíaca. O modelo local, chamado de Coimbra score, apresentou uma área abaixo da curva ROC de 0,752. O InsCor, formulado para pacientes submetidos à CRM, valva e associada apresentou as seguintes variáveis compartilhadas com o Coimbra score: idade <70a, reoperação e fração de ejeção <30%. O InsCor, mesmo com três variáveis especificas para doença valvar, consegue mostrar uma área abaixo da curva ROC de 0,79. Em 2008, D'Errigo e cols.29 elaboraram um modelo derivado da Italian CABG Outcome Project. Esse modelo constituído de 14 variáveis apresenta cinco variáveis compartilhadas com o InsCor (idade, sexo feminino, creatinina >2mg/dL, reoperação e fração de ejeção). Nesta análise, o EuroSCORE aditivo (p=0,228) e o modelo italiano (p=0,170) mostraram boa calibração. Na nossa análise, também foi adequada com p=0,595 para o EuroSCORE e p = 0,184 para o InsCor. Na discriminação, a área abaixo da curva ROC foi de 0,796 para o modelo italiano, e 0,773 para o EuroSCORE aditivo, semelhante ao encontrado no nosso estudo com uma área abaixo da curva ROC de 0,79 para o InsCor e 0,81 para o EuroSCORE aditivo. Em 2009, Ranucci e cols.15 demostraram, na Itália, que a limitação do número de variáveis usadas pelo EuroSCORE diminuiria o risco de sobreajuste, multicolinearidade e erro humano. Assim, o melhor modelo foi obtido com cinco variáveis; dessas, apenas cirurgia de emergência não é compartilhada com o InsCor. A área abaixo da curva ROC para esse modelo foi de 0,76 em comparação a 0,75 do EuroSCORE sem diferença significativa. Em 2010, Billah e cols.10 publicaram, na Austrália, um modelo de doze variáveis, também produto da técnica de bootstrap. Esse modelo apresentou cinco variáveis relacionadas com o InsCor (idade, sexo, reoperação, fração de ejeção e tipo de procedimento). Na calibração do modelo australiano, o teste de Hosmer-Lemeshow apresentou um p = 0,81, comparado a 0,18 do InsCor. A área abaixo da curva ROC do modelo australiano foi de 0,813 contra 0,79 do InsCor. O tamanho da população para a validação do modelo australiano foi dez vezes maior que o grupo de validação do InsCor, podendo ter influenciado nos resultados dos testes de validação. No mesmo ano, Cadoree cols.9, no Brasil, publicaram o primeiro escore de risco pré-operatório para pacientes submetidos a CRM. Essa análise retrospectiva em 1.875 pacientes operados entre 1996-2007 apresentou uma área abaixo da curva ROC de 0,86, porém, o período de realização das cirurgias (>5anos) e a mortalidade elevada poderiam superestimar resultados atualmente. Das onze variáveis do modelo, quatro variáveis são compartilhadas com o InsCor: idade, sexo feminino, fração de ejeção e creatinina. Porém as variáveis quantitativas apresentadas mostram diferentes pontos de corte. Em março de 2011, Shih e cols.30 publicaram, em Taiwan, uma análise multivariável que revelou sete fatores de risco; dessas, quatro variáveis são compartilhadas com o InsCor (idade, condição pré-operatória crítica, cirurgia associada, fração de ejeção <30). Em março de 2011, Berg e cols.31 publicaram, na Noruega, uma análise utilizando o EuroSCORE (aditivo+logístico) em 5.029 pacientes submetidos a cirurgia cardíaca. Um modelo pré-operatório de oito variáveis compartilhou três variáveis com o InsCor: idade, sexo feminino e cirurgia cardíaca prévia. Em abril de 2011, um trabalho publicado no Paquistão por Qadir e cols.32 analisou retrospectivamente 2.004 pacientes submetidos a CRM isolada. A análise multivariável selecionou cinco variáveis; dessas, três estão relacionadas com o InsCor (idade, sexo e infarto de miocárdio recente).
A técnica de bootstrap junto com procedimentos de seleção automatizada de variáveis "stepwise" é a mais nova inovação nos modelos de predição em cirurgia cardíaca. Esses modelos são práticos, pois exprimem o risco global do paciente representado pela soma dos valores atribuídos a cada uma das variáveis. A desvantagem é a menor precisão atribuída aos sistemas de escore quando comparados aos modelos de regressão, uma vez que são feitos arredondamentos e agrupamento de variáveis contínuas33. Porém, a diferença de performance parece não ser clinicamente importante34.
O InsCor considera a cirurgia de valva tricúspide como preditor de mortalidade, assim como os modelos Pons35 e 2000BP18. No entanto, em outros modelos36,37,é considerada a hipertensão pulmonar. Poderia tratar-se de multicolinearidade; no entanto, o 2000BP considera as duas variáveis no seu modelo, e no bootstrap (ranking das variáveis) para a formulação do InsCor a hipertensão pulmonar ocupou a 13ª posição.
Os únicos modelos que consideram a cirurgia da valva aórtica como variável preditora de mortalidade são o modelo inicial do Parsonnet36 e o InsCor. A exceção do InsCor, nenhum modelo atual considera a cirurgia valvar aórtica como preditor de mortalidade. Variáveis ocultas, não esclarecidas no estudo e provavelmente relacionadas à indicação mais tardia da doença, podem ter influenciado nos resultados.
As evidências confirmam que a condição clínica pré-operatória do paciente é o principal determinante dos resultados cirúrgicos. Variáveis isoladas prévias à cirurgia, tais como: balão intra-aórtico, choque cardiogênico, taquicardia ou fibrilação ventricular, intubação orotraqueal, insuficiência renal aguda, uso de drogas inotrópicas e massagem cardíaca são importantes, mas perdem força na análise por serem infrequentes; portanto, a variável combinada estado pré-operatório crítico se faz necessária, sendo variável preditora no InsCor e em outros modelos de risco19,36,37.
Limitações do estudo
As limitações do estudo foram: Primeiro, o InsCor foi validado em um único centro (validade interna), portanto a limitação mais importante é a generalização dos resultados (validade externa). Segundo, embora a mortalidade hospitalar (até 30 dias após cirurgia) pareça ser mais completa que a mortalidade intra-hospitalar (até a alta hospitalar), as definições atuais sugerem que ambas têm acurácia equivalente sendo a mortalidade intra-hospitalar mais prática e fácil de usar38. Terceiro, os avanços nos cuidados perioperatórios em cirurgia cardíaca poderiam ser mais bem comparados com o EuroSCORE II39, especialmente nos locais onde o EuroSCORE perdeu calibração, o que não foi mostrado em nossa realidade.
Dessa forma, o InsCor permite a monitorização dos resultados ao longo do tempo e o controle e seguimento dos fatores de risco conhecidos e desconhecidos podendo alterar sua prevalência. Ele é abrangente e pode ser utilizado em 80%-90% de todas as cirurgias cardiovasculares de adulto no InCor-HCFMUSP. Assim também, ele é o produto da síntese de dois dos modelos mais populares (2000BP e ES) adaptados à nossa realidade.
Por fim, podemos dizer que o InsCor tem desempenho semelhante ao EuroSCORE e é mais simples do que este e o 2000BP para predizer a mortalidade nos pacientes submetidos a cirurgia no InCor-HCFMUSP. Sendo assim, sua validação externa em nível nacional é obrigatória para que ele se consolide como o primeiro escore de risco pré-operatório para cirurgia de revascularização coronariana e/ou valva no Brasil.
Conclusões
O InsCor foi desenvolvido localmente por meio da técnica de bootstrap. Esse modelo mostrou-se adequado na validação e comparável ao EuroSCORE e o 2000BP na predição de mortalidade nos pacientes operados de doença coronariana e/ou valvar no InCor-HCFMUSP. Esta é nossa proposta para o futuro da avaliação do risco em cirurgia de revascularização coronariana e/ou valva no Brasil.
Contribuição dos autores
Concepção e desenho da pesquisa: Mejía OAV, Lisboa LAF, Puig LB, Moreira LFP, Pomerantzeff PMA, Jatene FB; Obtenção de dados e Análise estatística: Mejía OAV; Análise e interpretação dos dados: Mejía OAV, Lisboa LAF, Moreira LFP, Stolf NAG; Obtenção de financiamento: Mejía OAV, Dallan LAO, Stolf NAG; Redação do manuscrito: Mejía OAV, Lisboa LAF, Stolf NAG; Revisão crítica do manuscrito quanto ao conteúdo intelectual: Mejía OAV, Lisboa LAF, Moreira LFP, Dallan LAO, Stolf NAG.
Potencial Conflito de Interesses
Declaro não haver conflito de interesses pertinentes.
Fontes de Financiamento
O presente estudo foi financiado pelo CNPq.
Vinculação Acadêmica
Este artigo é parte de tese de Doutorado de Omar A. V. Mejía pelo Instituto do Coração do Hospital das Clínicas da Faculdade de Medicina da Universidade da São Paulo.
Omar A. V. Mejía
Rua Oscar Freire, 1961 / 31, Pinheiros
CEP 05409-011, São Paulo, SP – Brasil
E-mail:
omarvmejia@sbccv.org.br,
mayotato@msn.com
Artigo recebido em 30/05/12; revisado em 26/09/12; aceito em 05/10/12.
1. Braile DM, Monteiro R, Brandau R, Jatene FB. Risk prediction models: are they really necessary? Arq Bras Cardiol. 2010;95(6):677-8.Risk prediction models: are they really necessary?Arq Bras Cardiol20106778695BraileDMMonteiroRBrandauRJateneFB2. Staudinger O, Ostermann H, Laufer G, Schistek R, Staudinger B, Tilg B. Evaluation of cardiac scoring models for an Austrian cardiac register. Interact Cardiovasc Thorac Surg. 2007;6(4):470-3.Evaluation of cardiac scoring models for an Austrian cardiac registerInteract Cardiovasc Thorac Surg2007470346StaudingerOOstermannHLauferGSchistekRStaudingerBTilgB3. Shahian DM, Normand SL. Comparison of "risk-adjusted" hospital outcomes. Circulation. 2008;117(15):1955-63.Comparison of "risk-adjusted" hospital outcomesCirculation200819556315117ShahianDMNormandSL4. Ivanov J, Tu JV, Naylor CD. Ready-made, recalibrated, or Remodeled? Issues in the use of risk indexes for assessing mortality after coronary artery bypass graft surgery. Circulation. 1999;99(16):2098-104.Ready-made, recalibrated, or Remodeled: Issues in the use of risk indexes for assessing mortality after coronary artery bypass graft surgeryCirculation199920981041699IvanovJTuJVNaylorCD5. Siregar S, Versteegh MI, van Herwerden LA. Risk-adjusted hospital mortality rates. Ned Tijdschr Geneeskd. 2011;155(50):A4103.Risk-adjusted hospital mortality ratesNed Tijdschr Geneeskd2011A410350155SiregarSVersteeghMIvan HerwerdenLA6. Lisboa LA, Moreira LF, Mejia OV, Dallan LA, Pomerantzeff PM, Costa R, et al. Vinte e três anos de evolução da cirurgia cardiovascular em serviço de atendimento terciário no Brasil: análise de 67000 procedimentos registrados no banco de dados. Arq Bras Cardiol. 2007;89(1):205.Vinte e três anos de evolução da cirurgia cardiovascular em serviço de atendimento terciário no Brasil: análise de 67000 procedimentos registrados no banco de dadosArq Bras Cardiol2007205189LisboaLAMoreiraLFMejiaOVDallanLAPomerantzeffPMCostaR7. Antunes PE, Eugenio L, Ferrão de Oliveira J, Antunes MJ. Mortality risk prediction in coronary surgery: a locally developed model outperforms external risk models. Interact Cardiovasc Thorac Surg. 2007;6(4):437-41.Mortality risk prediction in coronary surgery: a locally developed model outperforms external risk modelsInteract Cardiovasc Thorac Surg20074374146AntunesPEEugenioL8. Grinberg M, Jonke VM, Sampaio RO, Spina GS, Tarasoutchi F. Validation of a new surgical risk score for heart valve surgery: VMCP. Arq Bras Cardiol. 2009;92(4):320-5.Validation of a new surgical risk score for heart valve surgery: VMCPArq Bras Cardiol20093205492GrinbergMJonkeVMSampaioROSpinaGSTarasoutchiF9. Cadore MP, Guaragna JC, Anacker JF, Albuquerque LC, Bodanese LC, Piccoli J da C, et al. A score proposal to evaluate surgical risk in patients submitted to myocardial revascularization surgery. Rev Bras Cir Cardiovasc. 2010;25(4):447-56.A score proposal to evaluate surgical risk in patients submitted to myocardial revascularization surgeryRev Bras Cir Cardiovasc201044756425CadoreMPGuaragnaJCAnackerJFAlbuquerqueLCBodaneseLC10. Billah B, Reid CM, Shardey GC, Smith JA. A preoperative risk prediction model for 30-day mortality following cardiac surgery in an Australian cohort. Eur J Cardiothorac Surg. 2010;37(5):1086-92.A preoperative risk prediction model for 30-day mortality following cardiac surgery in an Australian cohortEur J Cardiothorac Surg2010108692537BillahBReidCMShardeyGCSmithJA11. Omar RZ, Ambler G, Royston P, Eliahoo J, Taylor KM. Cardiac surgery risk modeling for mortality: a review of current practice and suggestions for improvement. Ann Thorac Surg. 2004;77(6):2232-7.Cardiac surgery risk modeling for mortality: a review of current practice and suggestions for improvementAnn Thorac Surg200422327677OmarRZAmblerGRoystonPEliahooJTaylorKM12. Moraes F, Duarte C, Cardoso E, Tenório E, Pereira V, Lampreia D, et al. Assessment of the EuroSCORE as a predictor for mortality in myocardial revascularization surgery at the Heart Institute of Pernambuco. Braz J Cardiovasc Surg. 2006;21(1):29-34.Assessment of the EuroSCORE as a predictor for mortality in myocardial revascularization surgery at the Heart Institute of PernambucoBraz J Cardiovasc Surg20062934121MoraesFDuarteCCardosoETenórioEPereiraVLampreiaD13. Andrade IN, Moraes Neto FR, Oliveira JP, Silva IT, Andrade TG, Moraes CR. Assessment of the EuroSCORE as a predictor for mortality in valve cardiac surgery at the Heart Institute of Pernambuco. Rev Bras Cir Cardiovasc. 2010;25(1):11-8.Assessment of the EuroSCORE as a predictor for mortality in valve cardiac surgery at the Heart Institute of PernambucoRev Bras Cir Cardiovasc2010118125AndradeINMoraes NetoFROliveiraJPSilvaITAndradeTGMoraesCR14. Mejía OA, Lisboa LA, Puig LB, Dias RR, Dallan LA, Pomerantzeff PM, et al. The 2000 Bernstein-Parsonnet score and EuroSCORE are similar in predicting mortality at the Heart Institute, USP. Rev Bras Cir Cardiovasc. 2011;26(1):1-6.The 2000 Bernstein-Parsonnet score and EuroSCORE are similar in predicting mortality at the Heart Institute, USPRev Bras Cir Cardiovasc201116126MejíaOALisboaLAPuigLBDiasRRDallanLAPomerantzeffPM15. Ranucci M, Castelvecchio S, Menicanti L, Frigiola A, Pelissero G. Accuracy, calibration and clinical performance of the EuroSCORE: can we reduce the number of variables? Eur J Cardiothorac Surg. 2010;37(3):724-9.Accuracy, calibration and clinical performance of the EuroSCORE: can we reduce the number of variables?Eur J Cardiothorac Surg20107249337RanucciMCastelvecchioSMenicantiLFrigiolaAPelisseroG16. Peduzzi P, Concato J, Kemper E, Holford TR, Feinstein AR. A simulation study of the number of events per variable in logistic regression analysis. J Clin Epidemiol. 1996;49(12):1373-9.A simulation study of the number of events per variable in logistic regression analysisJ Clin Epidemiol1996137391249PeduzziPConcatoJKemperEHolfordTRFeinsteinAR17. Nemes S, Jonasson JM, Genell A, Steineck G. Bias in odds ratio by logistic regression modeling and sample size. BMC Med Res Methodol. 2009;9:56.Bias in odds ratio by logistic regression modeling and sample sizeBMC Med Res Methodol2009569NemesSJonassonJMGenellASteineckG18. Bernstein AD, Parsonnet V. Bedside estimation of risk as an aid for decision-making in cardiac surgery. Ann Thorac Surg. 2000;69(3):823-8.Bedside estimation of risk as an aid for decision-making in cardiac surgeryAnn Thorac Surg20008238369BernsteinADParsonnetV19. Nashef SAM, Roques F, Michel P, Gauducheau E, Lemeshow S, Salamon R. European system for cardiac operative risk evaluation (EuroSCORE). Eur J Cardiothorac Surg. 1999;16(1):9-13.European system for cardiac operative risk evaluation (EuroSCORE)Eur J Cardiothorac Surg1999913116NashefSAMRoquesFMichelPGauducheauELemeshowSSalamonR20. Austin P, Tu J. Bootstrap methods for developing predictive models. The American Statistician. 2004;58(2):131-7.Bootstrap methods for developing predictive modelsThe American Statistician20041317258AustinPTuJ21. Efron B, Tibshirani R. An introduction to the Bootstrap. London: Chapman and Hall; 1993.An introduction to the Bootstrap1993EfronBTibshiraniR22. Altman DG, Vergouwe Y, Royston P, Moons KG. Prognosis and prognostic research: validating a prognostic model. BMJ. 2009;338:b605.Prognosis and prognostic research: validating a prognostic modelBMJ2009b605338AltmanDGVergouweYRoystonPMoonsKG23. Hosmer DW, Lemeshow S. Applied logistic regression. 2nd ed. New York: John Wiley and Sons; 2000.Applied logistic regression2000HosmerDWLemeshowS24. Jones CM, Athanasiou T. Summary receiver operating characteristic curve analysis techniques in the evaluation of diagnostic tests. Ann Thorac Surg. 2005;79(1):16-20.Summary receiver operating characteristic curve analysis techniques in the evaluation of diagnostic testsAnn Thorac Surg20051620179JonesCMAthanasiouT25. SAS System version 9.2 for Microsoft Windows [computer software]. North Carolina State University, USA, SAS Institute Inc.; 2008.System version 9.2 for Microsoft Windows200826. Jones RH, Hannan EL, Hammermeister KE, DeLong ER, O'Connor GT, Luepker RV, et al. Identification of preoperative variables needed for risk adjustment of short-term mortality after coronary artery bypass graft surgery. The Working Group Panel on the Cooperative CABG Database Project. J Am Coll Cardiol. 1996;28(6):1478-87.Identification of preoperative variables needed for risk adjustment of short-term mortality after coronary artery bypass graft surgery: The Working Group Panel on the Cooperative CABG Database ProjectJ Am Coll Cardiol1996147887628JonesRHHannanELHammermeisterKEDeLongERO'Connor GTLuepkerRV27. Tu JV, Sykora K, Naylor CD. Assessing the outcomes of coronary artery bypass graft surgery: how many risk factors are enough? Steering Committee of the Cardiac Care Network of Ontario. J Am Coll Cardiol. 1997;30(5):1317-23.Assessing the outcomes of coronary artery bypass graft surgery: how many risk factors are enough? Steering Committee of the Cardiac Care Network of OntarioJ Am Coll Cardiol1997131723530TuJVSykoraKNaylorCD28. Gomes RV, Tura B, Mendonça Filho HT, Almeida Campos LA, Rouge A, Matos Nogueira PM, et al. A first postoperative day predictive score of mortality for cardiac surgery. Ann Thorac Cardiovasc Surg. 2007;13(3):159-64.A first postoperative day predictive score of mortality for cardiac surgeryAnn Thorac Cardiovasc Surg200715964313GomesRVTuraBMendonça FilhoHTAlmeida CamposLARougeAMatos NogueiraPM29. D'Errigo P, Seccareccia F, Rosato S, Manno V, Badoni G, Fusco D, et al; Research Group of the Italian CABG Outcome Project. Comparison between an empirically derived model and the EuroSCORE system in the evaluation of hospital performance: the example of the Italian CABG Outcome Project. Eur J Cardiothorac Surg. 2008;33(3):325-33.Comparison between an empirically derived model and the EuroSCORE system in the evaluation of hospital performance: the example of the Italian CABG Outcome ProjectEur J Cardiothorac Surg200832533333D'ErrigoPSeccarecciaFRosatoSMannoVBadoniGFuscoD30. Shih HH, Kang PL, Pan JY, Wu TH, Wu CT, Lin CY, et al. Performance of European system for cardiac operative risk evaluation in Veterans General Hospital Kaohsiung cardiac surgery. J Chin Med Assoc. 2011;74(3):115-20.Performance of European system for cardiac operative risk evaluation in Veterans General Hospital Kaohsiung cardiac surgeryJ Chin Med Assoc201111520374ShihHHKangPLPanJYWuTHWuCTLinCY31. Berg KS, Stenseth R, Pleym H, Wahba A, Videm V. Mortality risk prediction in cardiac surgery: comparing a novel model with the EuroSCORE. Acta Anaesthesiol Scand. 2011;55(3):313-21.Mortality risk prediction in cardiac surgery: comparing a novel model with the EuroSCOREActa Anaesthesiol Scand201131321355BergKSStensethRPleymHWahbaAVidemV32. Qadir I, Perveen S, Furnaz S, Shahabuddin S, Sharif H. Risk stratification analysis of operative mortality in isolated coronary artery bypass graft patients in Pakistan: comparison between additive and logistic EuroSCORE models. Interact Cardiovasc Thorac Surg. 2011;13(2):137-41.Risk stratification analysis of operative mortality in isolated coronary artery bypass graft patients in Pakistan: comparison between additive and logistic EuroSCORE modelsInteract Cardiovasc Thorac Surg201113741213QadirIPerveenSFurnazSShahabuddinSSharifH33. Green J, Wintfeld N, Sharkey P, Passman LJ. The importance of severity of illness in assessing hospital mortality. JAMA. 1990;263(2):241-6.The importance of severity of illness in assessing hospital mortalityJAMA199024162263GreenJWintfeldNSharkeyPPassmanLJ34. Higgins TL, Estafanous FG, Loop FD, Beck GJ, Blum JM, Paranandi L. Stratification of morbidity and mortality outcome by preoperative risk factors in coronary artery bypass patients: a clinical severity score. JAMA. 1992;267(17):2344-8.Stratification of morbidity and mortality outcome by preoperative risk factors in coronary artery bypass patients: a clinical severity scoreJAMA19922344817267HigginsTLEstafanousFGLoopFDBeckGJBlumJMParanandiL35. Pons JM, Granados A, Espinas JA, Borras JM, Martin I, Moreno V. Assessing open heart surgery mortality in Catalonia (Spain) through a predictive risk model. Eur J Cardiothorac Surg. 1997;11(3):415-23.Assessing open heart surgery mortality in Catalonia (Spain) through a predictive risk modelEur J Cardiothorac Surg199741523311PonsJMGranadosAEspinasJABorrasJMMartinIMorenoV36. Parsonnet V, Dean D, Bernstein AD. A method of uniform stratification of risk for evaluating the results of surgery in acquired adult heart disease. Circulation. 1989;79(Suppl 1):3-12.A method of uniform stratification of risk for evaluating the results of surgery in acquired adult heart diseaseCirculation198931279ParsonnetVDeanDBernsteinAD37. Paiement B, Pelletier C, Dyrda I, Maillé JG, Boulanger M, Taillefer J, et al. A simple classification of the risk in cardiac surgery. Can Anaesth Soc J. 1983;30(1):61-8.A simple classification of the risk in cardiac surgeryCan Anaesth Soc J1983618130PaiementBPelletierCDyrdaIMailléJGBoulangerMTailleferJ38. Likosky DS, Nugent WC, Clough RA, Weldner PW, Quinton HB, Ross CS, et al. Comparison of three measurements of cardiac surgery mortality for the Northern New England Cardiovascular Disease Study Group. Ann Thorac Surg. 2006;81(4):1393-5.Comparison of three measurements of cardiac surgery mortality for the Northern New England Cardiovascular Disease Study GroupAnn Thorac Surg200613935481LikoskyDSNugentWCCloughRAWeldnerPWQuintonHBRossCS39. Nashef SA, Roques F, Sharples LD, Nilsson J, Smith C, Goldstone AR, et al. EuroSCORE II. Eur J Cardiothorac Surg. 2012;41(4):734-44.EuroSCORE IIEur J Cardiothorac Surg201273444441NashefSARoquesFSharplesLDNilssonJSmithCGoldstoneAROriginal ArticlesInsCor: a simple and accurate method for risk assessment in heart surgery
BACKGROUND: Risk scores show difficulties to attain the same performance in different populations. OBJECTIVE: To create a simple and accurate risk assessment model for patients submitted to surgery due to coronary and/or valvular disease at Instituto do Coração da Universidade de São Paulo (InCor-HCFMUSP). METHODS: Between 2007 and 2009, 3,000 patients were submitted to surgical procedure due to coronary artery and/or valvular disease at InCor-HCFMUSP. From this record, data of 2/3 of the patients were used for model development (bootstrap technique), and 1/3 for internal validation of the model. The performance of the model (InsCor) was compared to the 2000 Bernstein-Parsonnet (2000BP) and EuroSCORE (ES) complexes. RESULTS: Only 10 variables were selected: age > 70 years, female sex; coronary revascularization + valve, myocardial infarction < 90 days; reoperation; surgical treatment of aortic valve; surgical treatment of tricuspid valve; creatinine < 2mg/dL; ejection fraction < 30%, and events. The Hosmer Lemeshow test for the InsCor was 0.184, indicating excellent calibration. The area under the ROC curve was 0.79 for the InsCor, 0.81 for the ES and 0.82 for 2000BP, confirming that the models are good and have similar discrimination. CONCLUSIONS: The InsCor and ES performed better than 2000BP at all stages of validation, but the new model, in addition to showing identification with the local risk factors, is simpler and more objective for mortality prediction in patients undergoing surgery due to coronary and/or valvular disease at InCor-HCFMUSP.
Omar A. V. Mejía; Luiz A. F. Lisboa; Luiz B. Puig; Luiz Felipe P. Moreira; Luis A. O. Dallan; Pablo M. A. Pomerantzeff; Fabio B. Jatene; Noedir A. G. Stolf
Instituto do Coração do Hospital das Clínicas da Faculdade de Medicina da Universidade da São Paulo, São Paulo, SP - Brasil
Mailing Address
ABSTRACT
BACKGROUND: Risk scores show difficulties to attain the same performance in different populations.
OBJECTIVE: To create a simple and accurate risk assessment model for patients submitted to surgery due to coronary and/or valvular disease at Instituto do Coração da Universidade de São Paulo (InCor-HCFMUSP).
METHODS: Between 2007 and 2009, 3,000 patients were submitted to surgical procedure due to coronary artery and/or valvular disease at InCor-HCFMUSP. From this record, data of 2/3 of the patients were used for model development (bootstrap technique), and 1/3 for internal validation of the model. The performance of the model (InsCor) was compared to the 2000 Bernstein-Parsonnet (2000BP) and EuroSCORE (ES) complexes.
RESULTS: Only 10 variables were selected: age > 70 years, female sex; coronary revascularization + valve, myocardial infarction < 90 days; reoperation; surgical treatment of aortic valve; surgical treatment of tricuspid valve; creatinine < 2mg/dL; ejection fraction < 30%, and events. The Hosmer Lemeshow test for the InsCor was 0.184, indicating excellent calibration. The area under the ROC curve was 0.79 for the InsCor, 0.81 for the ES and 0.82 for 2000BP, confirming that the models are good and have similar discrimination.
CONCLUSIONS: The InsCor and ES performed better than 2000BP at all stages of validation, but the new model, in addition to showing identification with the local risk factors, is simpler and more objective for mortality prediction in patients undergoing surgery due to coronary and/or valvular disease at InCor-HCFMUSP.
Risk scores can help achieve better results by providing relevant information about patients. Current evidence for evaluating the results in cardiac surgery requires the use of these scores1,2.
There are, however, different realities between the populations where the models originated and the places where they are applied3. In Brazil, the demand for a local model is justified by a more delayed disease presentation, the unequal distribution of hospital facilities, high prevalence of rheumatic disease, and mainly, one of the largest surgical volumes in the world.
Therefore, as a precautionary measure, remodeling of risk scores (adapting the model to our reality) is always suggested to ensure that local or emerging risk factors do not go unnoticed4. For this purpose, each center must maintain its own database5, and even if a simpler scoring system must sacrifice accuracy in favor of practicality, a new trend toward the creation of local models becomes stronger6-10.
Nevertheless, it is essential that the study variables be derived from appropriately developed and validated models11. Of these, in Brazil, the best results were obtained with the EuroSCORE12-14 and the 2000 Bernstein-Parsonnet14. Thus, remodeling and simplification (as few variables as possible), would result in accurate models with better applicability, as they are cheaper and easier to be added to care practice15.
Therefore, the aim of this study was to develop a local model (InsCor), validate it and compare it with the 2000BP and EuroSCORE in predicting mortality in patients undergoing surgery for coronary and/or valvular disease at Instituto do Coração of Hospital das Clínicas da Faculdade de Medicina of Universidade de São Paulo (InCor-HCFMUSP).
Methods
Sample
This prospective and observational single center study was carried out at the Division of Cardiovascular Surgery of the Department of Cardiology of InCor-HCFMUSP.
As for the sample size, a rule of simulation studies is that it must have at least 10 events (successes or failures, the rarest) for each variable, regardless of the model16. It is also known that, to formulate a model, samples < 100 are risky, whereas the desirable number is > 500. One of the ways to reduce the model coefficient bias is to use the bootstrap techniques17. So our sample that included 3,000 patients with 268 deaths would be appropriate to develop a model and its respective validation.
Inclusion and exclusion criteria
Inclusion criteria: All patients (elective, urgency and emergency) submitted consecutively to:
• Valve surgery (valve replacement or repair);
• Coronary artery bypass grafting (on or off-pump);
• Associated surgery (coronary artery bypass surgery + valve surgery).
Exclusion criteria:
• Patients with loss of variables that are pertinent to the study.
• Coronary artery bypass grafting and/or valve surgery in patients < 18 years.
• Associated surgery that is not coronary artery bypass grafting + valve surgery.
Data collection, definition and organization
The data were collected preoperatively at clinical evaluation and from the electronic medical record system of InCor (SI3) and stored in a single spreadsheet. This spreadsheet was adapted in order to include all the variables described by the model of the 2000 Bernstein Parsonnet18 and EuroSCORE19. We collected a total of 60 preoperative variables per patient. All definitions assigned to variables by both scores were observed with their respective values, according to its relevance to the death event.
Thus, after calculating the value of 2000BP and ES for each patient, they were ordered according to risk groups established by the scores. The data were placed in the database created on Excel for this purpose. All patients were followed until hospital discharge. No patient was excluded from analysis due to missing data. The outcome of interest was in-hospital mortality, defined as death occurring in the time interval between surgery and discharge.
Formulation of the local model (InsCor)
The bootstrap technique, together with the "stepwise" variable selection procedure, was used to develop a parsimonious model by multiple logistic regression20. This technique was introduced by Efron21 and attempts to accomplish what would be desirable in practice, "to repeat the experience." The observations are chosen randomly and estimates are recalculated. It treats the observed sample as if it represented the entire population and thus, takes samples of the same size with repetition, therefore generating a large number of samples. The statistical analysis technique is applied in each sample and the desired estimates are obtained. It is expected that these estimates converge to a single estimate. There is strong evidence indicating that the predictive models produced with bootstrap techniques are more stable, have better accuracy and consist of variables that are actual reproducible and independent predictors22. For this study, the database that consisted of 3,000 patients, was divided into two groups: the model development group (2,000 patients) and model validation group (1,000 patients).
Model development group (InsCor) - The variables used in the bootstrap samples were the ones that had p < 0.10 in the initial univariate analysis. Continuous variables were analyzed with the previously chosen partition during this analysis. Subsequently, the bootstrap technique was used in the first 2,000 patients, selecting 1,000 samples of repetition (each containing 2,000 patients and the same number of cases of death and non-death than that of the original sample). Thereafter, for each sample, the logistic regression model was used with the "stepwise" multivariate selection process and the variables that were selected in each of the 1,000 models obtained were recorded. By the number of times a variable was selected, a variable ranking was performed. Thus, the chosen variables entered the final model in a non-adjusted way, keeping the weight (odds ratio) resulting from the initial univariate analysis.
Model validation group (InsCor) - The evaluation of the model performance in data that do not belong to the development model group (next 1,000 patients) is known as internal validation. For that, the InsCor would have to undergo sequential calibration and discrimination tests. Calibration - The calibration evaluates the accuracy of the model to predict risk in a group of patients. In other words, the model proposes that mortality in 1,000 patients would be 5% and if the observed mortality is 5% or close to that, we say that the model is well calibrated. The strength of the calibration was assessed by testing the goodness of fit by using the Hosmer-Lemeshow test23. The p value > 0.05 indicates that the model fits the data and appropriately predicts mortality. Discrimination - The discrimination measures the capacity of the model to distinguish between patients at low and high risk. In other words, if most deaths occur in patients that the model identified as high risk, we say that the model has good discrimination. Conversely, if the majority of deaths occur in patients that the model identified as low risk, we say that the model has poor discrimination. The discrimination is measured by using the statistical technique called area under the ROC curve. Thus, excellent discrimination refers to values above 0.97; very good discrimination is in the range from 0.93 to 0.96, good discrimination between 0.75 and 0.92; and below 0.75 corresponds to models that are deficient in the capacity to discriminate24.
For better understanding of the study, we also applied the 2000BP and ES in the same validation group.
Statistical Analysis - In the development model group, the bootstrap technique was used through the SAS System software version 9.2 for Microsoft Windows25. Variables with p < 0.10 were identified as plausible predictors of mortality after cardiac surgery. The additive risk was obtained from the estimated beta coefficients of the proposed risk prediction model. The risk categories are defined so that they were similar in size19. In the validation group (1,000 patients), the performance of InsCor was compared to that of 2000BP and ES by using the SPSS software, version 16.0 for Windows (IBM Corporation Armonk, New York). Calibration and discrimination were measured for each value of the score in this patient population. The value of p < 0.05 was considered significant.
Ethics and Informed Consent Form
This study was approved by the Ethics Committee for Analysis of Research Projects (CAPPesq), Hospital das Clinicas, Universidade de São Paulo under number 1575, being exempted from the need for informed consent explained by the type of the applied design.
Results
Cases
All patients undergoing coronary and/or valve replacement surgery between May 2008 and July 2010 at InCor-HCFMUSP were included in the study. Of the 3,000 patients who underwent surgery, 268 (8.9%) died. Of the total procedures, 57.7% (1,731) underwent coronary revascularization, 36.8% (1104), valve surgery, and 5.5% (165), coronary bypass + valve surgery. For descriptive purposes, Table 1 shows the prevalence of risk factors in the study population, ES and 2000BP.
The developed model: InsCor
After obtaining the models, the variables were ranked according to the number of times they were selected, and we choose the first 10, as we believe that with a reduced number of variables, we could obtain a good score. Thus, the selected model was the best among the three initial models (data not shown) regarding simplicity, objectivity and statistical power to predict mortality. The selected variables in the final model were those that appeared in more than 40% of the 1,000 bootstrap samples.
There was no evidence of first order interaction and multicollinearity between the variables of the final model (Table 2). The additive model was created from the "odds ratios" of selected variables:
The additive model of the InsCor can range from 0 to 30. Figure 1 shows the curve of probability of death for all values of InsCor. The model was divided into three categories: low risk (0-3), medium risk (4-7), and high risk (> 8). For convenience and better adoption of the model, we created a mnemonic rule with the word FICARTE, in which the first three letters each contain two variables (F: female, ejection fraction, I: age, recent Infarction, C: CABG + valve surgery, creatinine) and other letters one variable each (A: treatment of the Aortic valve, R: Reoperation, T: treatment of tricuspid valve; E: events). After the InsCor was developed, it went through the calibration and discrimination processes.
Validation of InsCor and comparison with EuroSCORE and 2000BP (1000 patients)- We performed the internal validation of InsCor in the validation group (1,000 patients). The EuroSCORE and the 2000BP validation was also performed in the same group, to compare them to the InsCor performance. The calibration of the InsCor was adequate, with p = 0.184 in the Hosmer-Lemeshow test. Table 3 shows the calibration of the InsCor per risk groups. The calibration of EuroSCORE (p = 0.593) and 2000BP (p = 0.157) were also adequate in the Hosmer-Lemeshow test and grouped by risk groups in Tables 4 and 5, respectively. As for the discrimination, the area under the ROC curve was 0.79 for the InsCor, 0.81 for the ES and 0.82 for the 2000BP (Figure 2).
Table 6 shows an overlap of confidence intervals of the three models, showing no significant difference in the discrimination between the InsCor, ES and 2000BP.
Thus, each variable selected to create the InsCor e, its obtained value can be used to predict in-hospital mortality in patients undergoing surgery due to coronary artery and/or valvular disease at InCor-HCFMUSP.
Discussion
The great advantage of risk prediction models in cardiac surgery based on preoperative data is to allow the stratification of patients for the procedure, and being able to plan the intraoperative and postoperative period. We know that it is not possible to impartially compare institutions and professionals without considering the prevalence of risk factors, particularly when there is a significant difference as shown in this study (Table 1). However, we can see that models consisting of truly predictive variables (2000BP and EuroSCORE) managed to achieve good results in this first evaluation and for this outcome. The InsCor model, related to the prevalence of risk factors in the study population, did not show better discrimination power, when compared with the EuroSCORE and 2000BP.
Even though the aim of the study was to create a parsimonious model, and above all, a simple and objective one, it is important to report that local models include hidden variables that do not appear due to the multicollinearity of variables and sample size to be validated11,15. Jones et al26, specifically analyzing myocardial bypass surgery (CABG), suggest that most of the information regarding prognosis is contained in relatively few clinical variables. Tu et al27 at the time and Ranucci et al15, currently, tested this proposal and concluded that simple models containing only the essential variables are as effective as complex models to evaluate results.
In 2007, Gomes et al28 published in Brazil, the first Brazilian model for local use, but the internal validation of the model was not performed, which ended up as optimistic validation. Moreover, this model includes intraoperative variables and those from the first postoperative day, which hinders its applicability. In the same year, Antunes et al7, analyzing 4567 patients undergoing isolated CABG, formulated a model with seven variables. The bootstrap technique was chosen, for the first time, for prediction models in cardiac surgery. The local model, called the Coimbra score, showed an area under the ROC curve of 0.752.
The InsCor created for patients undergoing CABG, valvular and associated surgeries, showed the following variables shared with the Coimbra score: age > 70 years, reoperation and ejection fraction < 30%. The InsCor, even with three variables that are specific for valvular disease, can show an area under the ROC curve of 0.79. In 2008, D'Errigo et al29 developed a model derived from the "Italian CABG Outcome Project". This model, which consists of 14 variables, has five variables that are shared with InsCor (age, female gender, creatinine > 2mg/dL, reoperation, and ejection fraction).
In this analysis, the additive EuroSCORE (p = 0.228) and the Italian model (p = 0.170) showed good calibration. In our analysis, it was also adequate with p = 0.595 for the EuroSCORE and p = 0.184 for InsCor. Regarding the discrimination, the area under the ROC curve was 0.796 for the Italian model, and 0.773 for the additive EuroSCORE, similar to that found in our study with an area under the ROC curve of 0.79 for the InsCor and 0.81 and for the additive EuroSCORE. In 2009, Ranucci et al15 demonstrated, in Italy, that limiting the number of variables used by EuroSCORE would decrease the risk of overadjustment, multicollinearity and human error. Thus, the best model was obtained with five variables; of these, only emergency surgery is not shared with the InsCor. The area under the ROC curve for this model was 0.76 when compared to 0.75 in EuroSCORE, with no significant difference.
In 2010, Billah et al10 published in Australia a twelve-variable model, also a product of the bootstrap technique. This model showed five variables related to InsCor (age, sex, reoperation, ejection fraction and type of procedure). In the Australian model calibration, the Hosmer-Lemeshow test showed a p = 0.81, compared to 0.18 of InsCor. The area under the ROC curve of the Australian model was 0.813 vs. 0.79 for the InsCor. The population size for the validation of the Australian model was ten times greater than the validation group of InsCor and this fact may have influenced the validation test results.
In the same year, Cadore et al9 in Brazil, published the first preoperative risk score for patients undergoing CABG. This retrospective analysis of 1875 patients operated between 1996 and 2007 showed an area under the ROC curve of 0.86; however, the timing of surgery (> 5 years) and high mortality could overestimate results nowadays. Of the eleven variables in the model, four variables are shared with InsCor age, female sex, ejection fraction and creatinine. But the quantitative variables used show different cutoffs.
In March 2011, Shih et al30 published in Taiwan, a multivariable analysis that showed seven risk factors; of these, four variables are shared with InsCor (age, critical preoperative condition, associated surgery, ejection fraction < 30). In March 2011, Berg et al31 published in Norway, an analysis using the EuroSCORE (additive + logistic) in 5029 patients undergoing cardiac surgery. A preoperative model with eight variables shared three variables with InsCor: age, female gender and previous cardiac surgery.
In April 2011, a study published in Pakistan by Qadir et al32 retrospectively analyzed 2004 patients submitted to isolated CABG. The multivariate analysis selected five variables; of these, three are related to InsCor (age, sex, and recent myocardial infarction).
The bootstrap technique with automated stepwise variable selection procedures is the newest innovation in prediction models for cardiac surgery. These models are convenient because they express the patient's overall risk represented by the sum of the values assigned to each variable. The disadvantage is the low-precision attributed to the scoring systems when compared to regression models, as rounding of numerical values and continuous variable grouping are performed33. However, the performance difference does not seem to be clinically important34.
The InsCor considers the tricuspid valve surgery as a predictor of mortality, as well as the Pons35 and 2000BP18 models. However, in other models36,37, it is pulmonary hypertension, instead. It could be the multicollinearity; however, the 2000BP considers the two variables in its model and at the bootstrap (ranking of variables) for the formulation of InsCor, pulmonary hypertension occupied the 13th position.
The only models that consider aortic valve surgery as a mortality predictor variable are the initial model of Parsonnet36 and the InsCor. Except for InsCor, no current model considers aortic valve surgery as a predictor of mortality. Hidden variables, not clarified in the study and probably related to later disease manifestation, may have influenced the results.
The evidence confirms that the patient's preoperative clinical condition is the primary determinant of surgical outcomes. Isolated variables prior to surgery, such as intra-aortic balloon, cardiogenic shock, ventricular tachycardia or fibrillation, orotracheal intubation, acute renal failure, inotropic drugs and heart massage are important, but lose strength in the analysis because they are infrequent; thus, the combined variable critical preoperative status is necessary, being a predictor variable in InsCor and other risk models19,36,37.
Study limitations
The limitations of this study were as follows: first, the InsCor was validated at a single center (internal validity), so the most important limitation is the generalization of the results (external validity). Second, although hospital mortality (up to 30 days after surgery) appears to be more complete than the in-hospital mortality (until discharge), current definitions suggest that both have equivalent accuracy, with in-hospital mortality being more practical and easy to use38. Third, advances in perioperative care in cardiac surgery could be better compared with the EuroSCORE II39, especially where the EuroSCORE lost calibration, which was not demonstrated in our reality.
Thus, the InsCor allows monitoring of results over time and the control and follow-up of risk factors, both known and unknown, which may change their prevalence. It is comprehensive and can be used in 80%-90% of all adult cardiovascular surgeries at InCor-HCFMUSP. Therefore, it is the product of the synthesis of two of the most popular models (2000BP and ES) adapted to our reality.
Finally, we can say that the InsCor has similar performance to EuroSCORE and it is simpler than the latter and 2000BP to predict mortality in patients undergoing surgery in InCor-HCFMUSP. Thus, its external validation at level national is mandatory for its consolidation as the first preoperative risk score for coronary revascularization and/or valve surgery in Brazil.
Conclusions
InsCor was developed locally through the bootstrap technique. This model showed adequate validation and was comparable to the 2000 Bernstein Parsonnet and EuroSCORE in predicting mortality in patients undergoing coronary and/or valve surgery at Incor-HCFMUSP. This is our proposal for the future of risk assessment in coronary artery bypass and/or valve surgery in Brazil.
Author contributions
Conception and design of the research: Mejía OAV, Lisboa LAF, Puig LB, Moreira LFP, Pomerantzeff PMA, Jatene FB; Acquisition of data and Statistical analysis: Mejía OAV; Analysis and interpretation of the data: Mejía OAV, Lisboa LAF, Moreira LFP, Stolf NAG; Obtaining funding: Mejía OAV, Dallan LAO, Stolf NAG; Writing of the manuscript: Mejía OAV, Lisboa LAF, Stolf NAG; Critical revision of the manuscript for intellectual content: Mejía OAV, Lisboa LAF, Moreira LFP, Dallan LAO, Stolf NAG.
Potential Conflict of Interest
No potential conflict of interest relevant to this article was reported.
Sources of Funding
This study was funded by CNPq.
Study Association
This article is part of the thesis of doctoral submitted by Omar A. V. Mejía, from Instituto do Coração do Hospital das Clínicas da Faculdade de Medicina da Universidade da São Paulo.