Arq Bras Cardiol abc Arquivos Brasileiros de Cardiologia Arq. Bras. Cardiol. 0066-782X 1678-4170 Sociedade Brasileira de Cardiologia - SBC ZXcY7GKRpnKdzQT46DqvF7z S0066-782X2020001100579 abc.20200143 10.36660/abc.20200143 Ponto de Vista Ética, Inteligência Artificial e Cardiologia 0000-0002-0381-3344 Souza Erito Marques de Filho 1 2 Fernandes Fernando de Amorim 1 3 0000-0002-7186-9876 Pereira Nikolas Cunha de Assis 1 0000-0002-1466-9413 Mesquita Claudio Tinoco 1 3 Gismondi Ronaldo Altenburg 1 5 Universidade Federal Fluminense Niterói RJ Brasil Pós-graduação em Ciências Cardiovasculares da Universidade Federal Fluminense,Niterói, RJ - Brasil Universidade Federal Rural do Rio de Janeiro Departamento de Tecnologias e Linguagens Nova Iguaçu RJ Brasil Universidade Federal Rural do Rio de Janeiro - Departamento de Tecnologias e Linguagens,Nova Iguaçu, RJ – Brasil Setor de Medicina Nuclear do Serviço de Radiologia Hospital Universitário Antônio Pedro UFF Niterói RJ Brasil Setor de Medicina Nuclear do Serviço de Radiologia do Hospital Universitário Antônio Pedro (EBESERH-HUAP-UFF),Niterói, RJ - Brasil Faculdade de Medicina Universidade Federal Fluminense Niterói RJ Brasil Faculdade de Medicina da Universidade Federal Fluminense,Niterói, RJ - Brasil Hospital Niterói D´or Niterói RJ Brasil Hospital Niterói D´or,Niterói, RJ – Brasil Correspondência: Erito Marques de Marques • Universidade Federal Fluminense - Departamento de Medicina Clínica – Av. Marques do Paraná, 303. CEP 24033-900, Niterói, RJ – Brasil. E-mail: mederitomarques@gmail.com

Contribuição dos autores

Concepção e desenho da pesquisa e Redação do manuscrito: Souza Filho EM, Fernandes FA, Pereira NCA, Mesquita CT, Gismondi RA; Obtenção de dados: Souza Filho EM, Pereira NCA, Mesquita CT, Gismondi RA; Análise e interpretação dos dados: Souza Filho EM, Fernandes FA, Mesquita CT, Gismondi RA; Revisão crítica do manuscrito quanto ao conteúdo intelectual importante: Souza Filho EM, Mesquita CT, Gismondi RA.

Potencial conflito de interesses

Declaro não haver conflito de interesses pertinentes.

 28 09 2020 09 2020 115 3 579 583 20 02 2020 04 04 2020 30 04 2020 This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License, which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited. Inteligência Artificial Programas Informáticos Tomada de decisões assistida por computador Gestão de Informações

“De longe, o maior perigo da Inteligência Artificial é que as pessoas concluam muito cedo que a entendem. ”

Eliezer Yudkowsky

 Introdução

Em um futuro não muito distante, um programa de computador artificialmente inteligente provavelmente diagnosticará as doenças cardíacas com mais precisão que um cardiologista certificado. O conhecimento biomédico cresce significativamente, impossibilitando que os profissionais de saúde contemporâneos se mantenham atualizados sobre todos os conteúdos publicados em seu campo. Da mesma forma, informações sobre os pacientes estão cada vez mais numerosas e acessíveis, tornando impraticável o gerenciamento, filtragem e seleção em tempo real. Nesse contexto, a Inteligência Artificial (IA) tem um papel relevante na tomada de decisões em saúde. É resultado da combinação de modelos matemáticos sofisticados e da computação, para produzir algoritmos refinados capazes de emular (ou imitar) a inteligência humana.1 A IA permitiu aplicações interessantes em praticamente todos os campos da medicina e do conhecimento humano. Particularmente, na cardiologia, várias aplicações se mostraram exitosas. Han et al.,2 por exemplo, usaram o Machine Learning (ML), um subconjunto da IA, para analisar se essa ferramenta seria útil para identificar pacientes com risco de rápida progressão de placa coronariana. Foram utilizadas características epidemiológicas clínicas e informações quantitativas e qualitativas da angiografia tomográfica computadorizada das coronárias (todas obtidas a partir do estudo PARADIGM). No total, 1.083 pacientes foram incluídos no estudo, sendo testados 10 modelos diferentes. O LogitBoost apresentou melhor desempenho. A área sob a curva (AUC) receiver operating characteristic foi de 0,83 — melhor que o escore de risco de doença cardiovascular aterosclerótica de 10 anos (escore de risco DCA), que foi de 0,59. Em outro estudo, Than et al.,3 avaliaram se o Gradient Boosting (também um algoritmo de ML) seria benéfico na previsão da probabilidade de infarto agudo do miocárdio tipo 1. Foram considerados aspectos como sexo, idade, taxa de alteração da concentração cardíaca de troponina I e troponina cardíaca pareada I de uma amostra com 11.011 pacientes. A AUC foi de 0,96 e o modelo de ML teve melhor desempenho do que a rota tradicional da Sociedade Europeia de Cardiologia de 0/3 horas. Hedman et al.,4 desenvolveram um algoritmo de ML para descrever grupos de pacientes com insuficiência cardíaca com fração de ejeção preservada com base em seu fenótipo. Eles usaram dados clínicos e eletrocardiográficos. Foram identificados seis grupos diferentes, com diferentes níveis de proteínas inflamatórias e cardiovasculares e também com diferentes desfechos. Diante disso, na cardiologia, o processo de incorporação da IA na prática clínica é acelerado. O uso da IA na cardiologia está presente em nossa rotina diária, como o reconhecimento de fenótipos de doenças, diagnóstico, prognóstico e algoritmos de tratamento. A IA tem um enorme potencial disruptivo e alguns defendem a possibilidade do surgimento de uma nova espécie, o Homo incredibile1, que apoia suas decisões sobre dados e promove uma revolução no ecossistema digital. No entanto, essa mudança de paradigma trouxe inúmeros desafios, infelizmente. Questões éticas são uma grande preocupação em relação a essas novas tecnologias, e discutiremos algumas delas, bem como possíveis soluções e precauções.

Aspectos Éticos Discriminação e Privacidade de Dados

Esses algoritmos podem, por exemplo, ser usados para discriminar pessoas, dar vida a dispositivos que colocam outras vidas em risco ou até para produzir e divulgar notícias falsas — sem falar dos possíveis danos em caso de políticas inadequadas de segurança da informação.5-7 O sequestro de arquivos, ocorrido em 2017, com mais de 300 milhões de computadores atacados pelo ransomware WannaCry em 150 países e o vazamento de dados pela empresa Ashley Madison em 2015, são exemplos do potencial destrutivo de ações de hackers. Isso exemplifica alguns obstáculos a serem superados na inclusão de dispositivos médicos portáteis na prática clínica e no uso de sistemas autônomos para apoiar a tomada de decisões na área da saúde.

A obtenção do consentimento informado é uma preocupação da maioria dos bioeticistas. Os modelos atuais de IA dependem muito das informações contidas nos prontuários médicos. É possível garantir que as informações pessoais permaneçam confidenciais, mesmo com dados que circulam pela internet? O vazamento de informações médicas de pessoas famosas, como a ex-primeira-dama Marisa Silva e o atual Presidente, são apenas alguns exemplos de problemas relacionados à confidencialidade de dados.

 Transparência e Segurança

Além disso, quando se trata de ciências médicas e da saúde, especificamente, outros riscos se destacam. Um deles é a falta de transparência na tomada de decisões ou a incapacidade de explicar o “raciocínio” por trás do resultado final, representado pelas chamadas caixas pretas. Foram feitas pesquisas em busca de soluções. No entanto, a realidade atual é que os responsáveis pela maioria das grandes coisas feitas com o Deep Learning não sabem explicar completamente o funcionamento de seus eficientes sistemas.8-10 Por outro lado, nem sempre é possível fornecer explicações detalhadas sobre a fisiopatologia de certas doenças ou sobre o mecanismo de ação de alguns medicamentos, mesmo que os ensaios clínicos tenham mostrado benefícios para o paciente. Isso aumenta o desafio de garantir a reprodutibilidade e a replicabilidade dos algoritmos de IA. Como apontado por Beam et al., um estudo é reproduzível se, com base no acesso a dados e na análise do código do algoritmo, um grupo independente puder obter os mesmos resultados observados no estudo original, enquanto a replicabilidade está associada ao fato de um grupo independente conseguir estudar o mesmo fenômeno e obter as mesmas conclusões após a realização de um conjunto de experimentos ou análises de um novo conjunto de dados.11 Outras questões relevantes são a segurança dos dados dos pacientes e a conscientização dos pacientes sobre o uso de seus dados. Uma parceria entre o Sistema Nacional de Saúde Britânico (NHS) e uma subsidiária de uma grande empresa privada de tecnologia em 2015, que incluiu a transferência não consentida de uma base de dados identificável de mais de 1,6 milhão de habitantes, é um dos casos mais famosos e controversos até o momento. Apesar das boas intenções de ambos os lados, ficou claro o quanto podemos estar expostos se não discutirmos, agora, até que ponto os dados pertencem a um indivíduo. Além disso, com esse tipo de contrato, grandes empresas de tecnologia tendem a aumentar ainda mais o oligopólio existente.

 Valores e Preferências do Paciente, Julgamento Clínico e Empatia

O contato humano entre médicos e pacientes é um dos fundamentos da medicina desde Hipócrates. Existem dúvidas sobre se a IA é capaz de levar em consideração o contexto social da pessoa, fatores ambientais, preferências e valores morais no algoritmo de decisão do tratamento.

Outro aspecto importante é a representação de minorias étnicas, sociais e culturais nos prontuários médicos que servem de base para o algoritmo da IA. Se esses dados não forem muito representativos ou forem distorcidos, poderão ocorrer erros de interpretação.

 Medidas a Serem Implementadas

Conforme definido por Keskinbora,12 para confiar na IA, precisamos do seguinte:

Transparência de dados, operação e algoritmos

Credibilidade e auditabilidade, incluindo o relatório de vieses e erros

Confiabilidade, com IA clinicamente validada

Recuperabilidade, permitindo o controle manual da operação, se necessário

Esse cenário traz consigo a necessidade de discussão sobre o uso da IA na saúde, e seus limites, considerando os princípios fundamentais da bioética na saúde: justiça, não maleficência, beneficência, equidade, igualdade, aceitação social e respeito à autonomia do paciente.13 A questão que surge nesse contexto é: como incorporar a IA à prática biomédica, respeitando esses princípios para gerar valor? Embora não haja resposta definitiva para a pergunta, uma estratégia promissora (Figura 1) inclui:

– Estratégia proposta para implementação da Inteligência Artificial na prática clínica considerando a ética. IA: inteligência artificial.

Cooperação: Os modelos de IA tendem a ter desempenho melhor quando temos dados saudáveis sobre o que queremos estudar. Assim, a colaboração interinstitucional exerce papel fundamental nesse processo, pois o compartilhamento desses dados favorece a obtenção de métricas de excelência.1

Literacia em Saúde: refere-se ao nível de informações de saúde que cada indivíduo é capaz de obter, gerenciar e entender para aplicar no processo de tomada de decisões em saúde.14 Indivíduos com maior nível de literacia tendem a tomar melhores decisões em saúde. Assim, à medida que os modelos de IA são incorporados à prática clínica, é essencial que a literacia sobre eles também seja ampliada. Isso inclui uma relação médico-paciente ampliada, preocupada em incluir o paciente no centro da tomada de decisão multifatorial e multiprofissional. Da mesma forma, a literacia dos profissionais de saúde em IA deve ser incentivada.

Segurança e privacidade: os dados criptografados são apenas o primeiro passo em medidas mais gerais para garantir a privacidade dos dados. O escândalo da Cambridge Analytica foi um grande aviso sobre os possíveis danos causados pelo mau uso dos BIG DATA. Nesse contexto, o estrito cumprimento do GDPR15 deve ser visto como um direito fundamental de qualquer ser humano, para o qual nenhum esforço deve ser feito para garantir. Essa é uma das questões mais centrais na referência ética para a implementação da IA e precisa estar bem estabelecida. Os prontuários médicos eletrônicos são os dados mais valiosos administrados por médicos e cardiologistas nos dias de hoje. Outra questão importante é a proteção das imagens fotográficas dos pacientes na medida em que se aplicam à tecnologia de reconhecimento facial, o que pode ameaçar o consentimento informado adequado e a segurança dos pacientes.16

Objetivo: A IA deve ser usada como uma ferramenta cujo objetivo é promover a qualidade de vida, a saúde e o bem-estar dos seres humanos. Permitir que os interesses econômicos superem as reais necessidades humanas é um erro grave que pode ter consequências desastrosas. Keskinbora12 sugere, por exemplo, o desenvolvimento de uma IA livre, criada com um objetivo comum e cujo sentimento se baseie na operação de acordo com valores éticos.

Otimização do tempo: o modus operandi da força de trabalho traz consigo tarefas que requerem inúmeras horas dos seres humanos em seu trabalho, realizando tarefas repetitivas. Muitas dessas tarefas podem ser substituídas por máquinas com desempenho melhor ou semelhantes aos humanos. Isso cria uma oportunidade na qual os seres humanos têm potencial para trabalhar menos, em empregos mais especializados. O tempo extra que eles têm deve ser investido em estudos adicionais, atividades de lazer, atividade física, dedicação à família etc. Isso certamente implica uma nova reformulação das políticas trabalhistas e educacionais.

Auditoria de erros e vigilância pública: Os modelos de IA podem cometer erros e suas decisões nem sempre são compreensíveis para os seres humanos. Portanto, é essencial que os algoritmos sejam auditados periodicamente e que suas métricas de desempenho sejam informadas aos pacientes antes de tomar decisões sobre sua saúde. Há um desafio importante aqui, que está relacionado ao desenvolvimento de um aparato jurídico específico sobre o assunto.

Educação: ao longo de sua vida, diferentes conjuntos de conhecimentos humanos se tornam inúteis. Em um mundo volátil, instável, complexo e ambíguo, as tecnologias disruptivas podem tornar obsoletas as habilidades e os conhecimentos anteriores ao longo do tempo: é a meia-vida do conhecimento biomédico. A solução é o processo de estudo contínuo, onde os seres humanos estudarão para sempre! Outro ponto é o quê estudar; certamente, um modelo centrado na memória deve ser substituído por um modelo voltado para a solução de problemas reais da sociedade. Para tanto, é obrigatório ampliar os estudos de matemática, computação e ciências básicas nos cursos de graduação e pós-graduação em saúde com esse objetivo.1

Atenção aos vieses: Os modelos de Machine Learning (um subconjunto da IA) produzem suas respostas de acordo com os dados que são usados como entradas para os algoritmos. Assim, é possível gerar comportamento discriminatório em relação a determinados grupos. Por exemplo, se não houver dados suficientes para serem usados no treinamento de algoritmos. Um exemplo desse viés foi o chatbot do programa Tay da Microsoft, que aprendeu linguagem racista e sexista e precisou ser removido no dia do seu lançamento.17,18

 Exemplo de Caso

Veja o seguinte exemplo hipotético. Um homem de 70 anos sofre de insuficiência cardíaca: dispneia ao esforço, ortopneia, crepitações nas bases pulmonares e edema dos membros inferiores. Preocupado com sua situação, acessou rapidamente um site de diagnósticos médicos online, que mostrou 99% de probabilidade de insuficiência cardíaca. Para economizar tempo, ele realizou um ecocardiograma sozinho. Um algoritmo de diagnóstico de IA mostrou 97% de chances de cardiomiopatia dilatada idiopática, com prognóstico de 12 meses de sobrevida de apenas 13% e contraindicação ao transplante. E isso veio escrito no prontuário automático gerado por um computador com IA.

Chateado com a situação, ele vendeu todos os seus pertences e reservou uma viagem pelos cinco continentes para o mês seguinte, mas a companhia aérea exigiu um atestado médico, alegando que havia 80% de chance de complicações a bordo, além de cobrar uma taxa extra de 30% sobre o valor final. A empresa de seguros de viagem não quis oferecer uma apólice de seguro ao paciente com base em seu perfil de risco e a companhia de seguros de saúde foi à justiça para rescindir o contrato, pois seu relógio de pulso indicava um período de arritmias ventriculares que o paciente negara ao assinar o contrato.

No entanto, na consulta médica, o médico constatou que o paciente havia nascido em uma área de risco para a doença de Chagas, um dado que havia sido omitido. Como resultado, foi realizada a sorologia Elisa, que permitiu o início do tratamento e atrasou a progressão da doença.

Ao ler esse trecho, que possíveis usos indevidos da IA foram identificados?

Privacidade de dados, respeito à autonomia, erros de entrada de dados, viés do algoritmo de diagnóstico. Você acha isso muito difícil de acontecer? Algumas pessoas ainda pensam que a conexão de vídeo e voz é uma cena dos Jetsons!

 Conclusões

A IA certamente traz uma possível revolução na área da saúde. No entanto, seu uso inadequado pode ser uma fonte prejudicial para os pacientes. Os preceitos éticos devem, portanto, ser o pilar norteador de qualquer implementação dessa tecnologia. Uma questão importante que deve sempre ser fundamental na prática clínica é a empatia; a capacidade de entender ou sentir o que outra pessoa está passando a partir do ponto de vista dela. Os cardiologistas precisam usar suas habilidades clínicas, sua sabedoria, empatia e princípios éticos para usar ferramentas de assistência baseadas em inteligência artificial no melhor interesse de seus pacientes. Nesse contexto, o reconhecimento e a identificação de vulnerabilidades e desafios associados ao tema devem fazer parte do cotidiano das instituições de saúde.

 Referências 1. Souza Filho EM, Fernandes FA, Soares CLA.Artificial Intelligence in Cardiology: Concepts, Tools and Challenges - “The Horse is the One Who Runs, You Must Be the Jockey”. Arq Bras Cardiol. 2020;114(4):718-25. Souza EM Filho Fernandes FA Soares CLA Artificial Intelligence in Cardiology: Concepts, Tools and Challenges - “The Horse is the One Who Runs, You Must Be the Jockey” Arq Bras Cardiol 2020 114 4 718 725 2. Han D, Kolli KK, Al’Aref SJ, Baskaran L, van Rosendall A, Gransar H, Machine Learning Framework to Identify Individuals at Risk of Rapid Progression of Coronary Atherosclerosis: From the PARADIGM Registry. J Am Heart Assoc. 2020 Mar 3;9(5):e013958. Han D Kolli KK Al’Aref SJ Baskaran L van Rosendall A Gransar H Machine Learning Framework to Identify Individuals at Risk of Rapid Progression of Coronary Atherosclerosis: From the PARADIGM Registry J Am Heart Assoc 2020 03 3 9 5 e013958 3. Than MP, Pickering JW, Sandoval Y, Shah A, Tsanas A, Apple FS. Machine Learning to Predict the Likelihood of Acute Myocardial Infarction. Circulation. 2019 ;140(11):899-909. Than MP Pickering JW Sandoval Y Shah A Tsanas A Apple FS Machine Learning to Predict the Likelihood of Acute Myocardial Infarction Circulation 2019 140 11 899 909 4. Hedman ÅK, Hage C, Sharma A, Brosnan MJ, Buckbinder L, Gan LM, et al. Identification of novel pheno-groups in heart failure with preserved ejection fraction using machine learning. Heart. 2020 Mar;106(5):342-9. Hedman ÅK Hage C Sharma A Brosnan MJ Buckbinder L Gan LM et al Identification of novel pheno-groups in heart failure with preserved ejection fraction using machine learning Heart 2020 03 106 5 342 349 5. Wang Y, Kosinski M. Deep neural networks are more accurate than humans at detecting sexual orientation from facial images. J Pers Soc Psychol. 2018;114(2):246-57. Wang Y Kosinski M Deep neural networks are more accurate than humans at detecting sexual orientation from facial images J Pers Soc Psychol 2018 114 2 246 257 6. Musk, Wozniak and Hawking urge ban on warfare AI and autonomous weapons. 27 Jul 2015.The Guardian. [Cited in 2020 May 20] Available from: https://www.theguardian.com/technology/2015/jul/27/musk-hawking-ban-ai-autonomous-weapons Musk, Wozniak and Hawking urge ban on warfare AI and autonomous weapons 27 07 2015 The Guardian Cited in 2020 May 20 https://www.theguardian.com/technology/2015/jul/27/musk-hawking-ban-ai-autonomous-weapons 7. Brundage M, Avin S, Clark J, Toner H, Eckersley P, Garfinkel B, et al.The Malicious Use of Artificial Intelligence: Forecasting, Prevention, and Mitigation. 2018. doi.org/10.17863/CAM.22520 Brundage M Avin S Clark J Toner H Eckersley P Garfinkel B et al The Malicious Use of Artificial Intelligence: Forecasting, Prevention, and Mitigation 2018 10.17863/CAM.22520 8. Brounillette, M. Deep Learning Is a Black Box, but Health Care Won’t Mind, MIT Technology Review. 2017. Brounillette M Deep Learning Is a Black Box, but Health Care Won’t Mind, MIT Technology Review 2017 9. Miotto, R, Li L, Brian A, Kidd &Joel T.Dudley. Deep Patient: An Unsupervised Representation to Predict the Future of Patients from the EHR. Sci Rep. 2016;6:26094. Miotto R Li L Kidd Brian A T.Dudley Joel Deep Patient: An Unsupervised Representation to Predict the Future of Patients from the EHR Sci Rep 2016 6 26094 10. Topol, EJ. Deep Medicine: how artificial intelligence can make healthcare human again. Philadelphia;2019.ISBN-13: 9781541644649 Topol EJ Deep Medicine: how artificial intelligence can make healthcare human again Philadelphia 2019 ISBN-13: 9781541644649 11. Beam AL, Manrai AK, Ghassemi M. Challenges to the Reproducibility of Machine Learning Models in Health Care. JAMA. 2020; Jan 6. doi: 10.1001/jama.2019.20866. [Epub ahead of print] Beam AL Manrai AK Ghassemi M Challenges to the Reproducibility of Machine Learning Models in Health Care JAMA 2020 01 6 10.1001/jama.2019.20866 Epub ahead of print 12. Keskinbora KH. Medical ethics considerations on artificial intelligence. J Clin Neurosci. 2019 Jun;64:277-82. Keskinbora KH Medical ethics considerations on artificial intelligence J Clin Neurosci 2019 06 64 277 282 13. Beauchamp T, Childress J. Principles of biomedical ethics. 7th Ed. USA: Oxford University Press; 2013. Beauchamp T Childress J Principles of biomedical ethics 7th USA Oxford University Press 2013 14. Parker RM, Ratzan SC, Lurie N. Health literacy: a policy challenge for advancing high-quality health care. Health Aff (Millwood) . 2003;22(4):147-53. Parker RM Ratzan SC Lurie N Health literacy: a policy challenge for advancing high-quality health care Health Aff Millwood 2003 22 4 147 153 15. The General Data Protection Regulation applies in on Member States from 25 May 2018.[Cited in 2020 jan19]. Available in https://eur-lex.europa.eu/content/news/general-data-protection-regulation-GDPR-applies-from-25-May-2018.html. The General Data Protection Regulation applies in on Member States from 25 May 2018 Cited in 2020 jan19 https://eur-lex.europa.eu/content/news/general-data-protection-regulation-GDPR-applies-from-25-May-2018.html 16. Rigby MJ. Ethical Dimensions of Using Artificial Intelligence in Health Care AMA Journal of Ethics February 2019, Volume 21, Number 2: E121-124 Rigby MJ Ethical Dimensions of Using Artificial Intelligence in Health Care AMA Journal of Ethics February 2019 21 2 E121 E124 17. Schönberger D. Artificial intelligence in healthcare: a critical analysis of the legal and ethical implications. International J Law Inform Technol. 2019;27:171-203. Schönberger D Artificial intelligence in healthcare: a critical analysis of the legal and ethical implications International J Law Inform Technol 2019 27 171 203 18. Vincent J. Twitter taught Microsoft’s AI Chatbot to be a Racist Asshole in Less than a Day. The Verge, 24 May 2016. [Cited in 2020 May 12]. Available in: https://www.theverge.com/2016/3/24/11297050/tay-microsoft-chatbot-racist Vincent J Twitter taught Microsoft’s AI Chatbot to be a Racist Asshole in Less than a Day. The Verge, 24 May 2016 Cited in 2020 May 12 https://www.theverge.com/2016/3/24/11297050/tay-microsoft-chatbot-racist

Vinculação acadêmica

Este artigo é parte de tese de Doutorado de Erito Marques de Souza Filho pela Universidade Federal Fluminense.

Aprovação ética e consentimento informado

Este artigo não contém estudos com humanos ou animais realizados por nenhum dos autores.

Fontes de financiamento

O presente estudo não teve fontes de financiamento externas.

 Viewpoint Ethics, Artificial Intelligence and Cardiology Souza Erito Marques de Filho 1 2 Fernandes Fernando de Amorim 1 3 Pereira Nikolas Cunha de Assis 1 Mesquita Claudio Tinoco 1 3 Gismondi Ronaldo Altenburg 1 5 Brazil Pós-graduação em Ciências Cardiovasculares da Universidade Federal Fluminense, Niterói, RJ - Brazil Brazil Universidade Federal Rural do Rio de Janeiro - Departamento de Tecnologias e Linguagens, Nova Iguaçu, RJ – Brazil Brazil Setor de Medicina Nuclear do Serviço de Radiologia do Hospital Universitário Antônio Pedro (EBESERH-HUAP-UFF), Niterói, RJ - Brazil Brazil Faculdade de Medicina da Universidade Federal Fluminense, Niterói, RJ - Brazil Brazil Hospital Niterói D´or, Niterói, RJ – Brazil Mailing Address: Erito Marques de Marques • Universidade Federal Fluminense - Departamento de Medicina Clínica – Av. Marques do Paraná, 303. Postal Code 24033-900, Niterói, RJ – Brazil. E-mail: mederitomarques@gmail.com

Author contributions

Conception and design of the research and Writing of the manuscript: Souza Filho EM, Fernandes FA, Pereira NCA, Mesquita CT, Gismondi RA; Acquisition of data: Souza Filho EM, Pereira NCA, Mesquita CT, Gismondi RA; Analysis and interpretation of the data: Souza Filho EM, Fernandes FA, Mesquita CT, Gismondi RA; Critical revision of the manuscript for intellectual content: Souza Filho EM, Mesquita CT, Gismondi RA.

Potential Conflict of Interest

No potential conflict of interest relevant to this article was reported.

 Artificial Intelligence Software Decision Making,Compter-Assisted Information Management

“By far, the greatest danger of Artificial Intelligence is that people conclude too early that they understand it.”

Eliezer Yudkowsky

 Introduction

In the not too distant future, an artificially intelligent computer program will probably diagnose heart conditions more accurately than a board-certified cardiologist. Biomedical knowledge grows significantly, making it impossible for contemporary health professionals to be updated on all content published in their field. Similarly, the amount of information about the patient is increasingly larger and more accessible, making real-time management, filtering and selection impractical for an individual. In this context, Artificial Intelligence (AI) has a relevant role in health decision-making. It is the result of the combination of sophisticated mathematical models and computation to produce refined algorithms capable of emulating (or imitating) human intelligence.1 It has allowed for interesting applications in virtually all fields of medicine and human knowledge. In particular, in cardiology, several applications have been shown to be successful. Han et al.,2 for instance, used machine learning (ML), a subset of AI, to analyze if this tool would be helpful to identify patients at risk of future rapid coronary plaque progression. Clinical epidemiological features and quantitative and qualitative information from coronary computed tomographic angiography were used (all of which were obtained from the PARADIGM study). They included 1,083 patients in the study and tested 10 different models. LogitBoost performed better. The area under the receiver operating characteristic curve (AUC) was 0.83 — better than the 10-year atherosclerotic cardiovascular disease risk score (ASCVD risk score), which was 0.59. In another study, Than et al.3 evaluated whether Gradient Boosting (also a ML algorithm) would be beneficial in predicting the likelihood of type 1 acute myocardial infarction. Features such as sex, age, rate of change of cardiac troponin I concentration and paired cardiac troponin I of a sample with 11,011 patients were considered. AUC was 0.96 and the ML model had better performance than the traditional European Society of Cardiology 0/3-hour pathway. Hedman et al.4 developed a ML algorithm to describe heart failure with preserved ejection fraction groups of patients based on their phenotype. They used clinical and electrocardiogram data. Six different groups were identified, with different levels of inflammatory and cardiovascular proteins and also with different outcomes. In light of that, in cardiology, the process of incorporating AI into the clinical practice is accelerated. The use of AI in cardiology is present in our daily lives, such as recognition of disease phenotypes, diagnosis, prognosis, and in treatment algorithms. AI has a huge disruptive potential and some advocate the possibility of the emergence of a new species, Homo incredibile,1 which supports its decisions on data and promotes a revolution in the digital ecosystem. However, this paradigm shift has unfortunately brought with it a myriad of challenges. Ethical issues are a great concern regarding these new technologies, and we will discuss some of them, as well as possible solutions and precautions.

Ethical Concerns Discrimination and Data Privacy

These algorithms can, for example, be used to discriminate against people, to give life to devices that put other lives at risk or even to produce and disseminate fake news — not to mention the potential damage in case of inadequate information security policies.5-7The hijacking of files that took place in 2017, with more than 300 million computers affected by the WannaCry ransomware in 150 countries and the data leak by the company Ashley Madison in 2015, are examples of the destructive potential of hacker actions. This exemplifies some obstacles to be overcome on the inclusion of wearable medical devices in clinical practice and on the use of autonomous systems to support decision-making in healthcare.

Obtaining informed consent is a concern of most bioethicists. Current models of AI are very dependent on information from medical records. Is it possible to ensure that personal information remains confidential even with data traveling over the internet? Leakage of medical information of famous people such as former First Lady Marisa Silva and the current President are just a few examples of problems with data confidentiality.

 Transparency and Safety

In addition, when it comes to the medical and health sciences, specifically, other risks stand out. One of them is the lack of transparency in decision-making or the inability to explain the “reasoning” to obtain the final result, represented by the so-called black boxes. Research has been carried out in search of solutions. However, the current reality is that those responsible for most of the great things done with Deep Learning do not know how to fully explain the functioning of their successful systems.8-10 On the other hand, it is not always possible to provide detailed explanations about the pathophysiology of certain diseases or about the mechanism of action of some drugs, even though clinical trials have shown benefits for the patient. This adds to the challenge of ensuring the reproducibility and replicability of AI algorithms. As pointed out by Beam et al., a study is reproducible if, based on data access and analysis of the algorithm code, an independent group can obtain the same results observed by the original study while replicability is associated with the fact that an independent group can study the same phenomenon and obtain the same conclusions after carrying out a set of experiments or analyses from a new set of data.11 Other relevant questions are how safe the patients’ data are and how aware the patients are about the use of their data. A partnership between the British National Health System (NHS) and a subsidiary of a big private tech company in 2015, which included the unconsented transfer of an identifiable database of more than 1.6 million inhabitants, was one of the most famous and controversial cases to date. Despite the good intentions of both sides, it was clear how much we can be exposed if we do not discuss, right now, the extent to which the data is owned by an individual. Moreover, with this type of agreement, large technology companies tend to further increase the existing oligopoly.

 Patient Values and Preferences, Clinical Judgement and Empathy

Human contact between doctors and patients is one of the foundations of medicine since Hippocrates. Doubts exist as to whether an AI is able to take into account the person’s social context, environmental factors, preferences and moral values in the treatment decision algorithm.

Another important aspect is the representation of ethnic, social and cultural minorities in the medical records that serve as the basis for the AI algorithm. If these data are not very representative or skewed, errors of interpretation may occur.

 Measures to be Implemented

As defined by Keskinbora,12 to trust AI we need the following:

Transparency of data, operation and algorithms

Credibility and auditability, including the report of bias and errors

Reliability, with clinically validated AI

Recoverability, allowing manual control of the operation if needed

This scenario brings with it the need for a discussion on the use of AI in health and its limits considering the fundamental principles of bioethics in health: justice, non-maleficence, beneficence, fairness, equality, social acceptance and respect for patient autonomy.13 The question that emerges in this context is: how to incorporate AI into biomedical practice while respecting these principles in order to generate value? Although there is no definitive answer to the question, a promising strategy (figure 1) includes:

– Proposed strategy for Artificial Intelligence implementation in clinical practice considering ethics. AI: artificial intelligence.

Cooperation: AI models tend to perform better when we have healthy data about what we want to study. Thus, interinstitutional collaboration has a fundamental role in this process, as the sharing of this data favors the achievement of metrics of excellence.1

Health Literacy: this relates to the level of health information that each individual is able to obtain, manage and understand to apply in the decision-making process of health.14 Individuals with greater literacy tend to make better health decisions. Thus, as AI models are incorporated into clinical practice, it is essential that literacy about them also be expanded. This includes an expanded doctor-patient relationship, which is concerned with including the patient at the center of multifactorial and multi-professional decision-making. Similarly, health professional literacy in AI should be encouraged.

Security and privacy: encrypted data is just the first step in more general measures to ensure data privacy. The Cambridge Analytica scandal was a major warning about the potential harms due to the misuse of BIG DATA. In this context, strict compliance with GDPR15 should be seen as a fundamental right of any human being for which no efforts should be made to ensure. This is one of the most central issues in the ethical reference for AI implementation and needs to be well secured. Medical electronic records are the most valuable data clinicians and cardiologists are managing today. Another important issue is the protection of patient photographic images as they apply to facial recognition technology, which could threaten proper informed consent and safety of patients.16

Purpose: AI should be used as a tool whose objective is to promote quality of life, health and well-being of human beings. Letting economic interests outweigh real human needs is a serious mistake that can have disastrous consequences. Keskinbora12 suggests, for example, the development of a free AI created with a common objective and whose feeling is based on the operation according to ethical values.

Time optimization: the modus operandi of the workforce brings with it jobs that require a large number of hours from human beings in their work, performing repetitive tasks. Many of these tasks can be replaced by machines that perform better or like humans. This creates a window of opportunity in which human beings have the potential to work less, in more specialized jobs. The extra time they have should be invested in further studies, leisure activities, physical activity, family care, etc. This certainly implies a new reformulation of labor and educational policies.

Audit of errors and public surveillance: AI models can make mistakes and their decisions are not always understandable to humans. Therefore, it is essential that the algorithms be audited periodically and that their performance metrics be informed to patients before making any decisions regarding their health. There is an important challenge here, related to the development of a specific legal apparatus on the subject.

Education: throughout its life, different sets of human knowledge become useless. In a volatile, unstable, complex and ambiguous world, disruptive technologies can render obsolete previous skills and knowledge over time: it is the half-life of biomedical knowledge. The solution is the process of continuous study, where human beings study forever! Another point refers to what to study; certainly a model centered on memory should be replaced by a model focused on solving real problems in society. To this end, expanding the study of mathematics, computing and basic sciences in graduate and postgraduate courses in health with this objective is mandatory.1

Attention to biases: Machine Learning models (a subset of AI) produce their responses according to the data that are used as inputs for the algorithms. Thus, it is possible to generate discriminatory behavior in relation to certain groups. For instance, if there is not enough data to be used in algorithm training. An example of this prejudiced bias was Microsoft Tay’s chatbot, which learned racist and sexist language and needed to be removed on the day of its launch.17,18

 Case Example

Consider the following hypothetical example. A 70-year-old man has a heart failure condition: dyspnea on exertion, orthopnea, crackles in the lung bases and edema of the lower limbs. Concerned about his situation, he made a quick visit to an online medical diagnosis website, which showed 99% probability of heart failure. In order to save time, he performed an echocardiogram on his own. An AI diagnostic algorithm showed 97% chances of having idiopathic dilated cardiomyopathy, with a prognosis of 12-month survival of only 13% and contraindication to transplantation. And that was written in the automatic report generated by a computer with AI.

Upset about the situation, he sold all of his belongings and booked a trip across five continents for the following month, but the airline demanded a medical certificate, claiming that there was an 80% chance of on-board complications, in addition to charging an extra fee of 30% on the final amount. The travel insurance firm did not want to offer an insurance policy to the patient based on his risk profile and the health insurance company went to court to break the contract, as his wristwatch had indicated a period of ventricular arrhythmias that the patient denied when he signed the contract.

However, at the medical appointment, the doctor found that the patient was born in a risk area for Chagas’ disease, which omitted. As a result, Elisa serology was conducted, which allowed the initiation of treatment and delayed the progression of the disease.

By reading this excerpt, what possible misuses of AI were identified?

Data privacy, respect for autonomy, data input errors, diagnostic algorithm bias. Do you find this very difficult to happen? Some people still think that the video and voice connection is a scene from the Jetsons!

 Conclusions

AI certainly brings a potential revolution in healthcare. However, its improper use can be a harmful source for patients. Ethical precepts must, therefore, be the guiding pillar of any implementation of this technology. An important issue that must be always key in clinical practice is empathy; the capacity to understand or feel what another person is experiencing from their point of view. Cardiologists need to use their clinical skills, wisdom, empathy and ethical principles to use artificial intelligence-based assistance tools in the best interest of their patients. In this context, the recognition and identification of vulnerabilities and challenges associated with the theme must be part of the routine of health institutions.

Study Association

This article is part of the thesis of Doctoral submitted by Erito Marques de Souza Filho, from Universidade Federal Fluminense.

Ethics approval and consent to participate

This article does not contain any studies with human participants or animals performed by any of the authors.

Sources of Funding

There were no external funding sources for this study.