医疗AI的“人在回路”监督存在缺陷责任重构实现实质性问责

“人在回路”（Human-in-the-loop）监督机制被广泛视为防止医疗AI潜在危害的保障措施，然而近期《柳叶刀》（The Lancet）发表的一项观点文章尖锐指出，这一机制实际上更多是“象征性的安慰，而非实质性的保护”。该机制存在三个相互关联的深层缺陷。

第一，AI可能以前所未有的规模放大现有的结构性不平等。

医疗AI系统并非中立的技术工具，它们往往将已经存在于医疗数据、资金结构和准入机制中的歧视模式固化下来，将局部化的歧视转化为系统性的排斥-1-2。例如，广泛引用的Optum健康预测算法使用保险理赔数据——这些数据反映的是医疗保健支出情况而非真实的健康需求，从而在算法层面复制了既有的获取不平等-1-2。

第二，基于“中立单一评审者”假设的监督模型无法发现交叉性危害。

传统的监督模式预设了一个能够客观、中立地审查算法输出的评审者，但现实中临床医生自身的认知框架、文化背景和结构性位置使其难以全面识别那些跨越种族、性别、阶级等多重维度的交叉性伤害--1。这些危害往往在单一维度的审查中被忽略。

第三，临床医生的工作环境严重制约了他们对算法输出进行有意义的审查。

研究表明，即使算法输出与其他可用信息相矛盾，临床医生也往往会遵循这些输出——这种“自动化偏见”（automation bias）既反映了认知压力，也体现了结构性压力-1-2。在低中收入国家，临床医生面对极为庞大的患者负荷，基于“持续人工可用性”的监督模式在结构上是不现实的，甚至可能增加风险-5。正如《新英格兰医学杂志·AI》所指出的，“人在回路”原则被广泛认可但定义模糊，其失效可能发生在临床回路、治理回路和学习回路三个不同层面，任何一个层面的监督失效都会损害安全性、问责制和社会价值的一致性--11。

此外，当前的治理机制将责任个体化，同时掩盖了机构的共谋行为-1-2。当AI系统出错时，责任往往落到被期望“抓住错误”的临床医生身上，但他们并不处于能够有效检测或纠正这些错误的位置——这种现象被学者称为“道德皱缩区”（moral crumple zone）-。《BMJ》的分析文章进一步指出，“临床医生在回路”模式实质上将AI安全的责任从开发者转移到了医生身上，而其赖以成立的前提——临床医生既能照顾患者，又能可靠地检测和纠正复杂AI系统的错误——是脆弱的-7。

共同推理（co-reasoning）框架反对将AI仅仅视为一个输出建议的工具，而是主张将其定位为临床审慎 deliberation 中的一个参与性声音-。这一框架的核心在于：AI的贡献不应被赋予超越其他临床信息的特权地位，而应与其他证据来源一起接受批判性审查。研究表明，人机混合系统能够结合医生的专业知识与大型语言模型的能力，生成更准确的鉴别诊断-。然而，共同推理的关键不在于技术层面的协作，而在于认知层面的重新定位——AI的输出不是需要被“批准”或“否决”的结论，而是需要被“审议”的输入之一。这种框架要求从根本上改变临床工作流程的设计，使AI的参与促进而非削弱审慎的临床判断-1。

社区治理（community-owned governance）路径主张建立由社区拥有的治理机制，赋予其暂停有害系统运行的权力--1。这一主张的理论基础来自政治哲学家Iris Marion Young提出的“正义社会连接模型”——在医疗保健领域使用AI所带来的影响是集体性的而非个体的，因此治理也必须是集体性的-1-2。

在实践中，这意味着通过参与式设计方法，建立社区论坛和由地方利益相关者组成的咨询委员会，与当地社区共同设计适应区域医疗需求的AI工具--27。患者和社区通过公民大会、伦理陪审团等参与式治理形式在伦理层面发挥作用，并在追究机构责任方面扮演角色-。这种治理机制的关键在于：它不仅仅是“咨询”社区意见，而是赋予社区实质性的决策权和干预权，包括在发现系统造成伤害时暂停其运行的权力。

责任重构（institutional liability restructuring）路径主张设立制度性责任结构，将责任从个体临床医生转移到设计和部署这些工具的组织--1-2。这一主张的理论基础来自行动者网络理论（Actor-Network Theory）——医疗决策过程极为复杂，将责任简单地归因于个体行动者既不符合现实，也不利于真正的问责-1-2。

在制度设计层面，这意味着从个体过失责任转向企业责任-。欧盟《人工智能责任指令》构建的分级责任框架提供了可资借鉴的制度创新：AI开发者承担技术缺陷责任，部署机构承担临床适配责任，临床使用者承担最终决策责任，并通过举证责任倒置机制要求医疗机构提供多次人工复核记录-。有学者建议，责任可划分为医疗机构与医务人员的过错责任，以及AI服务开发方的无过错产品责任，并通过技术审计推动算法缺陷的举证责任适度转移-。

上述三条路径构成了一幅从“象征性监督”走向“实质性问责”的系统性改革蓝图，但其可行性、挑战与局限同样值得深入审视。

从理论贡献来看

，这三条路径实现了三个重要的范式转换：第一，从“个体责任”转向“集体责任”——不再将问责简化为追究某个临床医生的过失，而是承认AI医疗决策是一个涉及开发者、部署机构、临床使用者和患者的多主体系统过程-1-31；第二，从“技术审查”转向“社会治理”——承认AI治理不仅是技术问题，更是涉及权力分配、社区参与和制度设计的政治与伦理问题；第三，从“被动监督”转向“主动治理”——不是简单地要求临床医生“看着”AI，而是通过制度设计主动塑造AI的开发、部署和使用条件。

然而，这些路径在现实中面临显著的落地挑战。

首先，

共同推理框架

面临认知负荷与 workflow 整合的难题。临床医生已经处于时间和注意力的极限状态-7，“将AI作为一个声音”进行 deliberation 需要额外的时间和认知资源。如何在日常临床实践中落实这一框架，而不是使其沦为另一种形式上的“签字”程序，是需要解决的实操问题。

其次，

社区治理机制

面临代表性与专业性的张力。社区是否有足够的技术素养来评估复杂的AI系统？谁来代表“社区”？社区治理的权力边界如何界定？这些问题在实践中尚无成熟答案。同时，正如《CAOS框架》所指出的，这一治理模式的采纳可能遭遇来自各方的阻力——开发者可能视合规要求为创新约束，管理者可能担忧财务和后勤负担-27。

第三，

责任重构

面临法律与技术的双重挑战。AI不具备法律主体资格，现行法律框架下只能定位为医疗辅助工具-。将责任“转移”到组织层面，需要重构产品责任法、医疗损害责任法和监管体系，这是一个漫长而复杂的制度工程。此外，AI系统的自适应性和持续学习特性使得责任的静态分配变得困难——系统在部署后的性能漂移和持续更新可能导致责任归属的动态变化-。

更深层的问题在于

，这三条路径仍然在很大程度上预设了一个功能良好的制度环境——有足够资源进行社区参与、有足够能力进行制度重构、有足够意愿进行责任再分配。然而在资源匮乏的环境中，这些条件往往并不具备-5。正如NEJM AI的评论所强调的，“人在回路”实践受到医疗体系结构、报销模式、监管框架和文化优先级的深刻塑造，无法普遍标准化-11。因此，这三条路径的有效性高度依赖于具体的制度和文化语境。

总体而言

，这三条路径为超越“人在回路”的象征性监督提供了富有洞见的方向，但其成功实施需要技术设计、制度创新、文化变革和资源保障的多重协同。医疗AI的实质性问责不可能通过单一机制实现，而必须依托于一个覆盖AI全生命周期的、多层次的治理体系——从算法设计时的公平性考量，到部署前的临床验证，到使用中的持续监测，再到伤害发生后的责任追溯与赔偿-。这不仅是技术问题，更是一个深刻的社会选择问题。