【神麻人智】围手术期大数据与人工智能的伦理问题

摘要 由人工智能（Artificial intelligence，AI）所驱动的麻醉学与围手术期医学时代即将来临，我们需要用时间去检验其中所涉及的技术、伦理与道德等问题，坚持以患者为中心，以人文主义为核心，提高临床安全与改善患者预后。本文主要概述围手术期医生所涉AI的关键原则，探讨当前AI领域的局限性与伦理挑战。  关键词： 美国医学协会：American Medical Association，AMA； 重症监护医疗信息站：medical information mart for intensive care：MIMIC-III; 靶控输注:target-controlled infusion,TCI; 全凭静脉麻醉:total intravenous anesthesia,TIVA  2018年5月17日，媒体报道称剑桥分析公司在未经授权的情况下获取数百万脸书用户的个人信息，2019年11月11日，《华尔街日报》报道“南丁格尔项目”同样是在患者不知情的情况下，将数百万美国人群的健康信息发送给了谷歌，相关的报道引起了公众对数据和隐私的普遍关注。AI在医学领域的应用皆基于患者数据，我们应以伦理和人道主义原则为指导，将患者的隐私安全放在中心位置。 AI在大数据分析和解决疑难杂症等方面具有明显优势，现有证据表明在心电图读图和乳腺癌X线筛查读图中，AI的准确度可能优于医生。美国食品和药物管理局(FDA)已经批准了一系列AI系统使用，如利用AI系统可以在10min内检测出新生儿先天性心脏异常的确切位置。未来随着AI的不断发展，其在临床医学的适应症也将得到不断拓展。

所有应用于AI的研究数据均基于患者病例信息，不过值得注意是：“谁有权利拥有这些数据呢?”“AI应用与医疗领域，应如何保护患者安全、隐私权、自主权？”本文强调AI和算法的重要性，并关注麻醉医生工作中所涉及与AI相关的问题。前半部分旨在简要概述AI算法，阐述临床麻醉医生应该掌握与了解的内容；而文章的第二部分将深入研究相关的伦理问题。 

AI和医生之间信任的建立

随着AI时代的来临，相应的问题随之产生：如临床医生担心被取代，患者担心他们不会被“人性化”地对待，而被当成冰冷的数字代码。这种担心不无道理，因此揭开AI的神秘面纱，充分认识其优缺点，并向公众阐述明晰至关重要。随着AI发展，临床医生将不得不决定是忽略还是采纳AI所输出的建议。医生应向患者告知应用AI技术的风险和局限性。为了未来熟练地应用AI技术，临床医生必须了解AI工作原理，因此，需要更多临床医生参与到开发过程中来。 

“黑匣子”效应

普通人很难理解AI及其算法，即使对开发者来说也是比较困难的，所以我们常常会怀疑其结果是否正确，即“黑匣子”效应。其实，在临床麻醉中也常会遇到类似情况，就如麻醉医生是否能够解释脉氧仪波形信号的具体处理过程？在医疗领域对科技的信任至关重要，因为其所提供的信息可能直接关系到患者的生命安全。不过对于大部分人而言可能永远无法完全理解AI算法的复杂性，正如我们不理解麻醉药物是如何引起意识消失一样。

医疗教育

近期，美国医学协会(AMA)众议院代表通过了一些决策，建议将AI的知识融入医学生的课程和实习中以促进患者、医生和其他相关人员对AI的理解，以促进AI在医学领域的应用。 

医生是AI团队的一部分

AI能够提高临床医生的决策能力，改进治疗策略、简化流程，增加医疗资源的可利用性。AI有助于减少医生的时间与精力，同时能够提高医生诊断和治疗疾病的能力，改善患者预后。虽然AI和各种辅助手段可以帮助诊断和治疗，但当临床情况不适用时，医生的临床直觉和专业素养就会显现出来。AI的算法依据依赖于大规模样本统计，但如果某些疾病非常罕见或从未遇到过，那么AI得出结论的准确性则会显著下降。 虽然AI在导航和计算大量数据方面优于人类大脑，但人类大脑在复杂多变或者前所未有的情况中可能更具优势，例如飞行员可能在手动驾驶、降落飞机方面更优于自动系统，而医生同样也可以优于AI，成熟的AI团队应囊括临床医生，以能够为更多的患者提供更好的治疗与服务。

医疗卫生中的AI伦理问题

AI的伦理影响可以分为以下几类:数据采集、偏倚、AI的应用和社会影响。（如下图所示）

从数据采集到数据管理

公司、医院、大学和研究人员已经开始明白数据的价值，但是谁可以访问、如何访问、访问流程，以及患者隐私问题不容忽视。数据管理员必须确定数据可用于编辑、访问、检索，而且对研究人员可使用。

数据管理的概念带来了更多的伦理问题:

1. 谁有权利拥有医疗卫生数据? 

2. 患者是否有权选择加入或退出数据库?

3. 医疗卫生部门如何在保持数据应用的同时保护病人隐私?

4. 谁可以访问数据，如何访问？

谷歌、苹果、亚马逊等科技巨头早已意识到AI与医疗的结合是一个新兴市场与机遇。这些公司通过跟踪随访人群的睡眠或锻炼情况、呼吸的空气质量、体重及其他生命体征, 已获取了解越来越多人群的个人健康数据，发送个性化的健康提醒与推荐；同时通过与医院合作获得患者数据用作商业用途。因此，人们有权力要求保护自身的数据隐私安全。通过引入了联合学习模式，即数据不离开使用设备，能够增加患者的隐私和数据的安全性，已有试验将联合学习模式应用于预测ICU患者的院内死亡率，虽然精确度略低于当前的标准集，但该研究结果显示联合学习模式可以利用临床患者数据，并在一定程度上能够保护患者隐私安全。

患者数据即使是匿名数据，识别个人身份依然是相对容易的，这就使得患者的隐私安全难于获得保障。数据收集时需权衡可能给患者、机构和科学带来的影响，并规范获得数据的资质，如没有购买数据能力的公司不应被剥夺访问的权利；同样机构也不应该根据资料库中有多少患者数据来量化 “价值”。

随着患者数据的变化和增长，有助于公司和研究人员合作开发诊断与治疗策略，使精准医疗的概念用于营销，销售特定的产品。因此，麻醉医生需采取有效行动来缓解患者和收集数据之间可能存在的伦理冲突，因我们得到的数据可能会被用于商业化，如用于构思未来的医学电影，需引起重视并妥善解决。

AI中的算法偏差可能导致不恰当的治疗

众所周知，人类易受认知错误或偏见的影响，导致诊断与治疗出现偏差。AI可以有效规避人为错误，保障患者安全，但问题是AI算法是由人类构建和开发，同样可能存在错误。使用卫生保健系统的数据验证AI的算法显示目前的医疗可能已经存在误差，且这种误差可能会被逐步放大。

数据源 AI算法的价值取决其所基于的数据，一个强大丰富的数据库对于设计模拟真实临床场景的算法至关重要。误差的最大来源是样本偏差，是由于患者不同种族、社会经济地位、诊断或治疗模式不同所导致。基因组库缺乏多样性会阻碍精准医疗的发展。非洲、亚洲和拉丁美洲祖先人口的代表性要少于欧洲，所以很难鉴定基因与疾病的关系，也就限制了基因在不同患者群体中的推广的适用性。例如在一份英国的生物样本库中，近50万的参与者比全国整体更健康，但从人口统计学上看，其中94.5%参与者均为白人，难免使其他人种不禁担心，该生物库的基因组研究可能只适用于白人，而对其他人种可能并适用。

没有一个生物银行或数据库能够回答当今世界上所有的健康问题。孤立不具代表性的数据库得出的算法不能应用于整个种群。为了解决这个问题，必须作出协调使代表不足的算法更具包容性，即该领域相关论文应该报告人口信息，以确定算法可能适用的人群范围。

模型发展  模型开发人员对健康、医学有自己的见解，他们对种族、民族或社会的偏倚可能反应在代码中。Joy等研究表明面部识别系统在创建和测试其算法的数据库中存在偏倚：这些数据库通常由浅肤色的面孔组成，无法代表少数族裔，导致系统识别区分深肤色面部的能力有限，皮肤科医生也在使用类似的算法来区分良性和恶性皮肤病变。该算法对于白皙皮肤准确性高，但深色皮肤可能表现不佳，这些系统和技术未经监督或审计的情况下被应用，可能会对有色人种产生影响。最近，一种用于管理美国人群医疗保健的算法被证明对非裔美国人患者存在严重偏倚，该算法对非裔美国患者病情进行风险分级，但使得病情严重的非裔患者得不到应有的治疗，产生偏倚的原因是因为算法开发者将医疗成本作为医疗需求的重点，而没有考虑到在美国非裔患者所拥有的健康资金较少。

算法的应用可能导致医疗领域产生不公，所以在开发时须注意。公司、学校和主要研究人员必须意识到数据具有多样性，可使建立的算法更强大、更稳定。而当算法仅由较为单一的数据形成时，可能在疾病诊疗过程中产生局限性，算法由不同数据集构成至关重要，但也不能解决所有偏倚。因此，编程和模型开发的兼容性是解决AI偏倚的另一个重点。

算法测试与验证 算法在开发过程中会出现误差，同样在测试时也会出现。 创建AI算法不只是简单代码编写。开发人员建模成功后，需在不同的环境下进行测试，使算法变得更具兼容性和预测性，所以对不同环境、不同数据进行测试，对于识别系统中的偏倚至关重要。

AI在现实生活中的应用  

现实生活中AI的应用是一把双刃剑，既可产生新的偏倚，也可识别已存偏倚。各种偏倚都会影响AI诊断或治疗疾病的功能。例如尽管乳腺癌是一个全球性的问题，但在撒哈拉以南非洲，妇女往往更早被诊断出患有乳腺癌，甚至比高收入国家的妇女更严重，预后也更差。高收入国家接受胸部X线检查的AI诊断仪器对撒哈拉以南非洲妇女的特异性很低，因为算法是基于美国人群数据所建立的，且胸部X线检查不适合于检测晚期肿瘤。此外，美国治疗乳腺癌的方式可能与欧洲、亚洲或撒哈拉以南非洲不同。

临床工作流程在不同的医院中也是不同的，临床医生之间也有差异，甚至在数据的记录方式上亦存在差异。类似全凭静脉麻醉(TIVA)这样的常规技术也有较大差异。在欧洲、亚洲和南美，靶控输注(TCI)的应用需要患者的年龄、性别或肌酐清除率等特征以达到预期的药物浓度，而在TIVA的设定只需考虑患者体重，因此，有必要，采取措施以确保这类偏差不会影响高质量的患者护理。

AI的解决方案

AI的使用引发了有关安全的伦理问题讨论，患者是否被告知及谁应该为技术的成功和失败负责。FDA和国际医疗设备监管机构论坛提出了将AI作为医疗设备优化的监管框架，以确保患者安全使用。但现实是这个领域的规则是随着科技的发展而变化的，正如摩尔定律：电路的密度大约每两年增加一倍，而成本是减半的。

使用AI的知情同意引发更多的伦理问题，当我们审视传统的设备或治疗方式时，我们不会就使用麻醉机或者监测设备进行许可，但会对特殊操作 (如动脉穿刺或深静脉穿刺)进行许可。外科医生也会决定使用机器人手术或者腹腔镜或者开放式手术。

我们应该同意患者使用AI吗? 

AI能够帮助临床医生对高危患者进行风险分层，并确定哪些患者可能预后不良。那么如按照AI输出进行医疗决策，当出现问题或偏差时，谁能为此负责？最近，Schiff和Borenstein概述了使用AI时可能对被追究的对象：编码员、医疗设备公司、医生和其他医疗专业人员、医院和医疗保健实体、监管机构、医学院，甚至保险公司。然而从法律而言很难实施。目前，大多数AI都应用在设备或者工具上，由医生负责诊断和决策，这意味着由医生承担主要责任。然而，随着治疗标椎和使用技术的联合应用，临床医生很可能更倾向于相信机器而不是自己。随着AI技术变得更加自主，可能会导致不可预见的后果，并将给患者带来新的风险。现行法律规定的过失责任是根据一个合格的医生在类似情况下的行为而定的，因为临床新技术的不断改进，标准也可能会随之改变。

社会影响

我们从数以百万计的患者那里获取数据，创建算法来预测识别高危人群。保险公司能够使用这些数据来拒绝或改变条款吗? 因此，政策制定者需要积极地与医疗单位合作，以兼顾保护患者的权利和隐私，也能平等对待身患不同疾病的患者。

在美国，不同社区患者获得医疗服务的标准不同。我们需要确保AI在各个社区和卫生保健系统中公平应用，使其覆盖所有患者人群，必须确保合理使用这些技术，但AI在使用过程中可能会发生错误，所以对AI进行监测至关重要。

总结  

总之，临床医生与模型开发者应积极投入时间与精力以解决AI所带来的技术道德和伦理问题，以更好地促进AI驱动的医疗模式进展，使用过程中应以患者为中心，同时兼顾创新。

编译：李雪莹，审校：罗猛强

原文链接：Canales C, Lee C, Cannesson M. Science Without Conscience Is but the Ruin of the Soul: The Ethics of Big Data and Artificial Intelligence in Perioperative Medicine. Anesth Analg. 2020 May;130(5):1234-1243.