Francisco, 64 anos, vem ao seu consultório para uma avaliação preventiva. Ele tem um histórico de hipertensão bem controlada e não tem nenhuma queixa. Não tem outras comorbidades ou doenças prévias. Não há histórico familiar de doença cardiovascular ou tabagismo e LDL-colesterol (LDL-C) é de 90 mg/dL. Depois de discutir com o paciente, você não tem certeza se o perfil de benefício de risco desse paciente justificaria uso de estatina. Em vez de confiar em sua sensação subjetiva, você decide usar o escore de risco de Framingham (FRS) para definir o uso de estatina.
Um mês depois, Francisco retorna com angina típica aos grandes esforços, mas sem sinais de instabilidade. Mais uma vez para evitar excesso de confiança apenas em sua impressão inicial, você decide usar a escala de predição de dor torácica Diamond e Forrester (DF), que estima a probabilidade pré-teste de doença arterial coronariana obstrutiva (DAC).
Antes de realizar o exame, Francisco apresenta piora da dor torácica mesmo em repouso. O paciente procura o pronto-socorro. A dosagem de troponinas está normal e o ECG em repouso tem infradesinvelamento do segmento ST de 1 mm nas derivações anteriores. O escore de risco de TIMI é de 1, indicando baixo risco.
Os escores de FRS, DF ou TIMI foram corretos ou incorretos na estratificação de risco? Eles conseguiram prever o que aconteceu com o paciente? O FRS estratificou o paciente como baixo risco, <10% de risco de um evento cardiovascular maior em 10 anos. O DF sugeriu presença quase certa de DAC obstrutiva, enquanto o escore de risco de TIMI sugeriu baixo (5%) risco de morte, infarto agudo do miocárdio (IAM) recorrente ou isquemia grave em duas semanas. No entanto, o paciente apresentou IAM menos de uma semana depois.
Os cardiologistas são acostumados a utilizar escores de risco derivados de modelos de predição. Os modelos são simplificações da vida real, o que os torna mais generalizáveis para uma população mais ampla e externamente válidos para outros indivíduos além da coorte inicial de pacientes onde os escores foram desenvolvidos. Esses modelos selecionam um número limitado de variáveis consideradas de maior importância para prever o desfecho desejado. No entanto, várias premissas são feitas para cada variável e para a população a que se aplicam. Se tais suposições mudarem, o modelo pode não ser mais válido ou pode precisar ser recalculado ou recalibrado para se adequar ao novo ambiente. Por exemplo, o FRS considera apenas as condições de fumante ou não fumante. Assim, ex-fumantes são considerados de risco semelhante aos não fumantes, enquanto indivíduos que fumam dois cigarros por dia são considerados de risco semelhante aos que fumam três maços por dia. Esses aspectos podem levar a imprecisão na estimativa individual de risco. No entanto, eles podem ter implicações muito maiores quando tais mudanças no valor de cada variável ocorrem em nível populacional. Por exemplo, quando o FRS foi derivado, o fumante médio fumava de um a dois maços por dia. Atualmente, a maioria dos fumantes fuma menos de um quarto disso. Assim, a aplicação da versão antiga do FRS na atualidade pode resultar em uma estimativa de risco incorreta.
Essas dificuldades no uso de modelos de predição são conhecidas pelo cardiologista. Inclusive, a maioria dos escores são eventualmente atualizados para aumentar a precisão com o uso de variáveis novas ou recalibradas. Usando o exemplo de caso acima, pode-se sugerir o escore americano de doença cardiovascular aterosclerótica (
Em outras situações, pode-se até considerar que o modelo não seja mais útil e toda a abordagem deva ser diferente. Por exemplo, pode-se dizer que um infradesnivelamento do segmento ST de 1 mm em repouso configuraria alto risco independente de outras características clínicas. Nesse caso, o paciente teria sido encaminhado para cineangiocoronariografia invasiva durante a primeira internação e poderia não ter apresentado o IAM subsequente.
Finalmente, se o paciente tivesse realizado a cineangiocoronariografia antes de apresentar instabilização, ele poderia ter sido adequadamente tratado com aspirina, estatinas, betabloqueadores e outras medicações. Nesse cenário, esse paciente poderia ter vivido mais 10 anos sem qualquer outra complicação cardiovascular. Nesse caso, consideraríamos o seu FRS inicial como certo ou errado?
Os modelos não devem ser avaliados tardiamente para serem julgados como certos ou errados. A questão correta é se o modelo foi adequadamente desenhado para a situação em que está sendo utilizado, se o resultado que pretende prever é de interesse e se as informações fornecidas são incrementais ao que é conhecido no momento em que o modelo é utilizado. Quando tais premissas são atendidas, os modelos podem levar a decisões mais bem informadas que podem ter impacto significativo. No caso acima, o uso adequado do escore ASCVD na apresentação inicial ou uma interpretação diferente do infradesnivelamento do segmento ST poderia ter levado a mudanças no tratamento que poderiam alterar completamente a história da doença desse paciente.
Embora os cardiologistas clínicos mais experientes não se surpreendam com tais peculiaridades da modelagem da predição de risco, elas nem sempre são bem compreendidas pelo público leigo. Um problema semelhante é agora observado com destaque dado aos modelos epidemiológicos para a previsão do surto de COVID-19. Um modelo inicial publicado pelo Imperial College London sugeriu que o surto poderia ter grande impacto em todo o mundo,5 com mortes relacionadas à COVID-10 atingindo milhões nos Estados Unidos e no Reino Unido. O modelo também estimou o impacto de possíveis intervenções para controlar o surto que poderiam levar a uma redução colossal nas mortes. Outros modelos se seguiram, com números muito mais baixos, às vezes com ordens de magnitude inferiores aos cenários anteriores. Isso levou diversas vozes da comunidade científica, imprensa leiga e público em geral a fazer críticas incisivas contra esses modelos iniciais. A maior parte delas usando dados atuais ou projeções mais novas para ilustrar o quão “errado” o modelo inicial estava.
O desenvolvimento de modelos epidemiológicos para a COVID-19 tem pouca semelhança com os modelos mais simples utilizados para a previsão de risco em cardiologia, mas ambos utilizam dados atuais e prévios para projetar um cenário futuro e tentar estimar o valor das intervenções para reduzir o risco de desfechos negativos. No entanto, devido ao tempo limitado desde que a COVID-19 foi descoberta, vários parâmetros relacionados ao comportamento do vírus são estimados com base em dados preliminares bastante restritos. Às vezes, quando não há dados disponíveis, os parâmetros são apenas estimativas imprecisas baseadas em outras doenças ou condições semelhantes mais conhecidas. Além disso, esses modelos dependem da transmissão viral, um processo complexo que pode envolver parâmetros difíceis de estimar, como o número médio de interações sociais que cada indivíduo tem ou a densidade demográfica em cada área. Algumas dessas informações não estão facilmente disponíveis, e mais uma vez uma estimativa imprecisa pode ser utilizada pelos pesquisadores. Um exemplo é o uso de dados do Peru em um dos modelos do ICL para o cenário brasileiro para uma variável em que dados locais não estavam disponíveis para o Brasil. Com variáveis tão limitadas, não surpreende que tais modelos tenham grande variabilidade.
No entanto, isso é apenas uma parte da questão ao interpretar modelos após surto. Embora mudanças específicas nas intervenções possam ser consideradas no modelo, é impossível “prever” como o governo ou a população se comportarão no futuro, assim como não se pode prever se o paciente começará a fumar quando o risco cardiovascular é inicialmente calculado, como no caso inicial. Mesmo que o distanciamento fisico seja considerado no modelo, seu verdadeiro impacto depende do quanto a população segue tais medidas. Por exemplo, embora medidas rigorosas para aumentar o distanciamento social tenham sido propostas para a cidade de São Paulo, o governo reconhece que elas não alcançaram mais da metade do efeito esperado. Logo, sabe-se que seu impacto também será menor.
No entanto, mesmo que os modelos sejam bem sucedidos, eles podem ser interpretados como incorretos no futuro. Por exemplo, o modelo supracitado do ICL apresentou um cenário tão catastrófico que levou a mudanças em políticas públicas substanciais em todo o mundo. Se essas mudanças levarem a uma redução da taxa de mortalidade devido a sua implementação precoce e eficaz, tal redução nas mortes poderia levar a afirmações de que o modelo estava “errado” pois tinha estimado muito mais mortes.
Outro aspecto importante dos modelos durante uma epidemia como a COVID-19 é que quanto mais cedo eles são criados, menos informações estão disponíveis, levando a um modelo menos preciso. No entanto, quanto mais cedo o modelo for desenvolvido, maior será o impacto das intervenções derivadas dele. Em um mundo de informações perfeitas, a COVID-19 poderia ter sido extinta se as informações que temos atualmente sobre a doença estivessem disponíveis quando o primeiro caso foi diagnosticado e ele e seus contatos tivessem sido isolados desde o princípio. Por outro lado, o conhecimento perfeito de todos os detalhes da transmissão e propagação viral seriam de pouco impacto social depois que o surto terminasse. Assim, resta-nos conviver com as incertezas e imprecisões derivadas dos modelos e esperamos que tais modelos apareçam em tempo de orientar intervenções políticas eficazes.
Assim, para termos modelos bem sucedidos, precisamos aceitar, entender e reconhecer tais limitações. Além disso, precisamos ser humildes para ajustar as velas às condições do vento e atualizar e melhorar nossos modelos ao longo do caminho. Cada modelo só deve ser julgado tendo em conta o momento em que foi desenvolvido, incluindo as limitações do conhecimento disponível na época. No final, seria como para o caso do Sr. Francisco: poderíamos ter melhorado a previsão inicial de risco e a história de sua vida com um modelo inicial melhor para estimar seu risco cardiovascular. No entanto, após seu infarto do miocárdio, mesmo a informação perfeita da estratificação de seu risco cardiovascular seria de pouco valor. Assim como na prática clínica, ao avaliar esses modelos epidemiológicos, devemos abster-nos de ser médicos do dia seguinte, que estão sempre certos depois que o diagnóstico já é conhecido. Em vez de apontar agressivamente os dedos para modelos que sabemos ser incertos, sejamos humildes e práticos ao avaliá-los. O modelo foi capaz de informar melhor as intervenções na sua época, e foi capaz de reduzir, mesmo que por pouco, as imprecisões que tínhamos? Se sim, então o modelo foi útil, mesmo que estivesse errado.
Francisco, 64 years old, comes to your office for a preventive health evaluation. He has a history of well-controlled hypertension and is otherwise well. His past medical history is unremarkable. No family history of cardiovascular disease or smoking and LDL-cholesterol (LDL-C) of 90 mg/dL. After discussing with the patient, you are unsure if this patient’s risk benefit profile would favor the use of statins. Instead of trusting your personal feelings, you decide to use the Framingham risk score (FRS) to decide if statins would be recommended.
One month later, Francisco returns to your office with typical angina on major exertion but has no signs of unstable disease. Once again, to avoid overconfidence on your initial impression, you decide to use the Diamond and Forrester (DF) chest pain prediction rule, which estimates the pretest probability of obstructive coronary artery disease (CAD).
A couple of days before the test, Francisco calls you complaining of worsening chest pain similar to the previous presentation, but now at rest. You tell the patient to go to the emergency room, where troponins are normal and resting ECG has 1 mm ST-segment depression in the inferior leads. Calculated TIMI risk score is 1, indicating low risk.
Were the FRS, the DF or the TIMI risk scores correct or incorrect? Were the scores able to predict what happened to the patient? The FRS stratified the patient as low risk, meaning less than 10% risk of a major cardiovascular event in 10 years. The DF suggested an almost certain presence of obstructive CAD, whereas the TIMI risk score suggested low (5%) risk of death, recurrent myocardial infarction (MI) or severe ischemia requiring urgent revascularization in two weeks. Yet, the patient presented MI less than one week later.
Cardiologists are used to risk scores derived from risk prediction models. Models are simplifications of real life, and such simplifications make models generalizable to a broader population and externally valid to other individuals beyond the initial cohort of patients where they were developed. The models select a limited number of variables considered of higher importance to predict the desired outcome, but several assumptions are made based on each of those variables and the population they apply to. If such assumptions change, the model may no longer be valid or it might need to be recalculated or recalibrated to fit the new environment. For example, the FRS considers smoking as present or absent. Thus, past smokers are considered of similar risk to non-smokers. Also, individuals smoking two cigarettes a day are considered just like those smoking three packs a day. While those aspects may lead to imprecision when estimating the risk of an individual, they can have much broader implications when such changes in the value of each parameter occur at the population level. For example, when the FRS was derived, an average smoker would smoke one to two packs a day. Currently, most smokers smoke less than a quarter than that. Thus, applying the old version of the FRS in the current reality might result in an incorrect risk estimation.
This issues with models are known to cardiologists, and most scores are, at some point, updated to recalibrate and improve precision using new or recalibrated variables. Using the example case above, one might suggest the use of the atherosclerotic cardiovascular disease (ASCVD) score instead of the FRS. Using the ASCVD score, the 10-year risk of major cardiovascular events would be 10.6% and, according to newer guidelines, statins would be recommended to reduce this patient’s cardiovascular risk.
In other situations, we may even consider the model as no longer useful and the entire approach should be different. For example, one could say 1 mm ST-segment depression at rest would characterize high risk irrespective of other clinical characteristics. In such case, the patient would have been sent to the Cath lab upon the initial presentation and would not have had MI.
Finally, if the patient made into the Cath lab before clinical worsening, he could have been adequately managed medically with aspirin, statins, betablockers and other therapies. In such scenario, this patient could have lived another 10 years without any other clinical manifestation of ASCVD. Would his initial FRS be then interpreted as right or wrong?
Models should not be judged right or wrong long after they are developed. The appropriate question is whether the model had been adequately designed to the situation where it is being used, whether the outcome it aims to predict is of interest and whether the information is incremental to what is currently known. When such premises are met, models can lead to more well-informed decisions that may have a meaningful impact. In the case above, the adequate use of the ASCVD score in the initial presentation or a different interpretation of the ST-segment depression could have led to changes in management and completely modify the history of the disease for this patient.
While even the most experienced clinical cardiologists are unsurprised by such peculiarities of risk prediction models, they are not always well understood by lay people. A similar problem is now seen with the raising relevance assigned to epidemiological models for the prediction of the COVID-19 outbreak. An initial model published by the Imperial College London suggested that the outbreak could have a major impact across the world,5leading to millions of deaths related to COVID-10 in the United States and the United Kingdom. The model also estimated the impact of potential interventions leading to a colossal reduction in deaths. Other models followed, with much lower numbers, sometimes orders of magnitude lower than prior worst-case scenarios leading to several voices in the scientific community, the lay press and the general public to raise strong criticism against those initial models, most of which using current or newer projections to illustrate how “wrong” the initial model was.
The development of epidemiological models for COVID-19 have little resemblance to the simpler models used for risk prediction in cardiology. Yet, both use current and prior data to project a future scenario trying to estimate the value of interventions to reduce the risk of negative outcomes. However, due to the limited time since COVID-19 was discovered, several parameters related to the behavior of the virus are estimated based on restricted preliminary data. Sometimes, when no data is available, parameters are only best guesses based on related conditions or prior comparable situations. Additionally, such models are dependent on the viral transmission, a complex process that may involve hard-to-estimate parameters, such as the average number of social interactions each individual has or demographic density in each area. Some of those inputs might not be available and, once again, the best-informed guess is used by modelers. An example is the use of some data from Peru in an ICL model for the Brazilian case for pieces of data that were unavailable for Brazil. With such limited data inputs, it should come as no surprise that such models include immense variability.
Yet, this is only part of the issue when interpreting post-outbreak models. Although specific changes in the interventions can be considered in the model, it is impossible to predict how the government or the population will behave in the future, just like one cannot predict if the patient will start smoking when the cardiovascular risk is initially calculated. Even if social distancing is considered in the model, its true impact depends on how much the population follows such measures. For example, while strict measures to increase social distancing had been proposed for the city of São Paulo, the government recognizes they did not achieve more than half of the expected effect. Thus, its impact is also expected to be lower.
Yet, even if models are successful, they might be interpreted as being wrong in the future. For example, the aforementioned model from the ICL presented such a catastrophic scenario that it led to substantial policy changes across the world. If those changes led to a substantially lower death rate due to its early and effective implementations, such reduction in deaths could lead to claims that the model was “wrong” because it overestimated deaths.
Another important aspect of models in an epidemic such as COVID-19 is that the earlier they are developed, the less information is available, leading to a less precise model. However, the earlier the model is developed, the larger the impact of interventions derived from it. In a world of perfect information, COVID-19 could have been extinct if the information we currently have were available when the first case was diagnosed and the first case and its contacts were isolated. On the other extreme, perfect details of transmission and viral spread would be of little social impact after the outbreak ended. Hence, we are left to live with the uncertainty and imprecisions derived from models, particularly if we expect that such models will appear in time to guide effective policy interventions.
Thus, to have successful models, we need to accept, understand and acknowledge such limitations. Additionally, we need to be humble enough to adjust the sails to the ever-changing wind conditions update and improve our models along the way. Each model should only be judged bearing in mind the time when it was developed, including the limited knowledge available back then. In the end, it would be just like Francisco’s case: we could have improved the initial risk prediction and the course of his life with a better initial model to estimate his cardiovascular risk. Yet, after his myocardial infarction, even perfect information on his cardiovascular risk would be of little value. Just like in clinical medicine, when those epidemiological models are evaluated, we should refrain from being next day’s doctors who are always right after the diagnosis is known. Instead of aggressively pointing fingers at models that are known to be uncertain, let us be humble and practical when evaluating them. Was the model able to better inform interventions at its time and was it able to reduce, even by a little, the imprecisions we had? If yes, then the models were useful, even if wrong.