医疗AI的“人在回路”监督存在缺陷，需通过共同推理、社区治理

“人在回路”（Human-in-the-loop，HITL）被广泛视为医疗AI的安全保障，但《柳叶刀》近期的一篇观点文章明确指出，它实际上更多是一种“象征性的安慰，而非实质性的保护”-1-2-5。这种失效源于三个相互关联的结构性问题：

第一，AI可能以前所未有的规模放大系统性不平等。

医疗AI系统并非凭空创造新的偏见，而是将已经存在于医疗数据、资金结构和准入机制中的歧视模式固化并规模化-1-2。例如，Optum公司广泛引用的健康预测算法使用的是保险理赔数据——这些数据反映的是医疗支出情况而非真实的健康需求，从而将局部化的歧视转化为系统性排斥-

第二，基于“中立单一评审者”的监督模型无法发现交叉性危害。

当偏见以交叉、叠加的方式出现时，传统监督模式难以察觉--27。监督预设了评审者的“中立”和“客观”，但这种假设本身掩盖了问题的复杂性-1-2。

第三，临床医生的工作条件从根本上制约了有意义监督的可能性。

研究表明，即使算法输出与其他可用信息相矛盾，临床医生也往往倾向于遵循算法输出——这种“自动化偏见”既反映认知压力，也体现结构性压力-1-2-5。脓毒症预测工具可能产生大量警报，导致警报疲劳，使有意义的审查难以为继-2。在中低收入国家，临床医生面对极大的患者负荷和有限的诊断资源，以“持续人类可用性”为前提的监督模式在结构上不现实，甚至可能增加风险-5。

此外，有学者将“人在回路”的失效归结为传统机器学习流程的“角色割裂”——数据科学家优化的是F1值等技术指标，而非临床医生实际面临的工作流程和决策环境-。监管机构和开发者偏爱人类监督模式，因为它似乎同时解决了程序和法律层面的顾虑-，但这种安排实质上将AI安全的责任从开发者转移到了不堪重负的临床医生身上

针对上述缺陷，《柳叶刀》文章提出了三条改革路径-1-2-5：

共同推理（co-reasoning）的核心在于：AI不应被视为提供“正确答案”的权威，而应被定位为临床决策讨论中的参与者之一--1。这与传统的“AI先输出、人再审核”模式有着根本区别——后者容易形成认知锚定，使临床医生在见到AI结论之后难以独立判断-11。

在共同推理框架下，临床医生与AI之间形成的是协作关系而非监督关系。AI提供一种视角和证据整合，但临床医生保留独立判断的空间和权利。有研究团队提出了“模型对抗与协作”（MCC）框架，通过构建可辩论、可追溯、动态协作的“模型圆桌”，推动医疗AI从“单点智能”迈向“协同推理”-。这种多模型交叉质证、协同决策的机制，类似于多学科专家会诊-。

这一路径主张将AI治理的权力从少数专家和机构手中扩展到更广泛的社区-。社区拥有的治理机制意味着：受AI系统影响的患者群体、社区代表和其他利益相关者，拥有实质性的监督权力，包括在发现系统造成危害时有权暂停其运行-1。

这种思路借鉴了社区参与式研究（CBPR）的框架——将社区视为创新伙伴而非数据捐赠者，建立在共同决策、共同学习和相互问责的基础上-。只有当社区真正拥有治理权力时，AI系统才不会沦为“数据榨取”的工具-。

当前“人在回路”模式最严重的后果之一，是将责任个体化——出了问题，问责落到具体医生头上，而开发和部署AI的机构却得以隐身-1-2。有研究指出，“人在回路”有沦为“仪式化的责任转移机制”的风险-。

制度性责任重构要求：将AI安全的主要责任从个体临床医生转移到设计、开发和部署这些工具的组织-1-2。具体而言，需要建立企业责任（enterprise liability）制度，设立强制性的可解释性门槛，以及从“人在回路中”转向“人监督回路”的治理理念-。这种转变的核心逻辑在于：临床医生既没有参与系统的选择与配置，也缺乏足够的时间和工具来对算法输出进行有意义的审查，因此不应成为AI错误的最终责任承担者-28。

《BMJ》的一篇分析文章进一步指出，监管机构和卫生系统需要建立的是“系统层面的监督”，而非依赖“个体的警觉”-。有效的监督至少需要四个相互关联的条件：专业判断能力、足够的认知时间、实际决策权，以及能够真正阻止或纠正结果的干预能力——缺少任何一个，人工复核都可能沦为形式-11。

上述三条路径的共同指向，是从个体化的责任模式转向系统性的责任模式。当前的“人在回路”监督之所以失效，根本原因在于它将一个系统性问题（AI的安全与公平）错误地简化为一个个体问题（医生的判断与责任）。这种简化不仅不公平——医生没有参与系统的设计、选择和配置-28——而且在实践中也是危险的，因为它制造了“有监督”的假象，却未提供真正的安全保障。

有学者提出应从“人在回路中”（human in the loop）转向“人监督回路”（human on the loop）-。这一区分至关重要：“在回路中”意味着人是决策流程的一个环节，承担着审查和纠正的责任；“监督回路”则意味着人站在更高的层面，监督整个系统的运行、监控其漂移和偏差、在必要时介入，而非承担每一个具体决策的最终责任。这一转变要求建立持续监测和模型更新机制-，而非将监督压缩为决策瞬间的“点头或摇头”。

将AI定位为“决策中的一个声音”在理念上令人信服，但在实践中面临严峻挑战。首先，临床医生需要接受新的培训，学会如何与AI系统进行有效的“共同推理”-。其次，工作流程需要重新设计——当前医疗系统的时间压力和认知负荷不允许医生进行深入的“共同推理”-1。最后，AI系统需要达到足够的可解释性，才能成为“可对话”的合作伙伴而非“黑箱”-。

社区拥有的治理机制在理论上赋予受影响群体实质性权力，但社区与科技公司、医疗机构之间的信息、资源和权力不对称是真实存在的。如何确保社区治理不是又一个象征性的“参与”仪式，而是真正拥有暂停有害系统的权力和手段，是这一路径落地的最关键挑战-1。这需要在法律和制度层面赋予社区治理机构实质性的权力，而非仅仅提供“咨询”或“反馈”的通道。

将责任从临床医生转移到设计和部署AI的组织，需要根本性的法律和监管改革。当前的监管框架——如FDA的医疗设备审批、欧盟的AI法案——虽然在强化透明度和问责要求-，但尚未完成从“个体医生是最终责任人”到“开发者与部署者承担首要责任”的范式转换。此外，跨国AI系统的责任归属、开源模型的责任界定等问题，进一步增加了制度性责任重构的复杂性。

“人在回路”监督的缺陷不是技术细节问题，而是治理范式的根本缺陷。它试图用一个个体化的、象征性的机制去解决一个系统性的、实质性的问题。共同推理、社区治理和责任重构三条路径提供了一种更有希望的方向——将AI治理从“谁在最后签字”的个体责任问题，转变为“系统如何设计、如何监督、谁来负责”的制度设计问题。但这一转变的实现，需要临床教育、工作流程、法律制度、监管框架和社区赋权的系统性变革，而非仅仅在技术层面打补丁。