7月23日发生了两件事。
第一件:OpenAI 宣布 ChatGPT Health 面向美国用户正式上线。连接 Apple Health 和受支持的医疗记录,追踪用户健康变化,提供个性化建议。OpenAI 在公告里提到一个数字(为其自家口径):每周有 3 亿用户已经在用 ChatGPT 做健康咨询。
第二件:同一天,佛罗里达州一名 55 岁男子、当地牧师 Scott Winters 向法院起诉 OpenAI。据诉状指控,ChatGPT-4o 多次建议他无需就医,他听从后双肺血栓引发大面积肺栓塞,一度濒临死亡。诉状指控 OpenAI「无证行医」和疏忽,要求暂停 ChatGPT Health 服务。(注:以上为起诉阶段的原告诉求,OpenAI 尚未回应,因果是否成立有待司法认定。)
上线和被告,同一天。
这不是巧合。这不是公关危机。这是 AI 医疗的底层结构:发布得越快,用户越多,出事概率越高:但不出事,你永远不知道安全的边界在哪。
悖论一:发布越快,越不安全
任何医疗产品上市前都需要临床试验。药品要过三期,器械要过 FDA 审批。这个流程慢,但它做的事情很简单:在小规模、可控的条件下,让人先受伤。
不是咒人受伤。是故意的。临床试验的本质,就是把风险集中在少数志愿者身上,而不是分散到数亿普通用户身上。一期临床几十个人,出了副作用,记录、修正、重新设计。三期临床几千人,统计显著性够了,产品才能推向百万级人群。
ChatGPT Health 跳过了这个流程。
它不需要 FDA 审批,因为它是「健康建议」不是「医疗设备」。3 亿用户已经在每周使用它做健康咨询,你没法做临床试验:因为试验已经开始了,受试者是所有人。
这里有一个不对称:AI 公司用「我们不是医疗设备」来规避监管,但用户用「它看起来像医生」来信任它。这个不对称是 Scott Winters 差点死掉的根本原因。ChatGPT 的界面上没有「我不是医生」的醒目提示。它在回答健康问题时的语气,跟它在回答任何其他问题时的语气一模一样:自信、流畅、像一个知道答案的人。
塔勒布在《反脆弱》里把这种现象叫做「没有 skin in the game」:做决策的人不承担决策的后果。AI 公司给出健康建议,但建议出错的后果由用户承担。据诉状所述,Scott Winters 双肺血栓、大面积肺栓塞、濒临死亡:OpenAI 的回应是「用户应咨询医疗专业人员」。这句话翻译过来就是:建议是你的,责任是他的。
悖论二:用户越多,越容易出事:但更多用户就是产品目标
ChatGPT Health 上线后,可以连接 Apple Health 的数据。这意味着它能看到的不是「用户今天问了什么」,而是用户的历史心率、睡眠模式、运动量、体重变化。理论上,数据越多,AI 的建议越准。实践中,数据越多,AI 出错的后果越严重。
这不是 bug。这是规模效应的黑暗面。
一个正常的医疗 AI 应该在医院里被使用:医生输入患者数据,AI 给出辅助诊断建议,医生做最终决策。这个流程里有两层安全网:医生的专业判断和医院的监管体系。ChatGPT Health 把这整个流程压缩成了一个对话窗口。没有医生。没有医院。没有第二个人看见那条建议。
更关键的是:ChatGPT Health 上线的方式,和任何其他 ChatGPT 功能上线的方式完全一样。一个公告、一个开关、全量推送。3 亿用户同时获得了医疗建议功能。没有灰度测试。没有地域限制。没有高危用户排除。同一个部署流程,昨天推的是「语音控制桌面」,今天推的是「健康建议」。对待玩具的态度,用在了医疗器械上。
这揭示了一个行业惯性:AI 公司把「健康」当成一个功能,而不是一个领域。功能可以迭代:出了 bug,下个版本修。领域不能:出了人命,修不回来。
悖论三:越安全,越难知道边界在哪
这是最深的一层。
假设 ChatGPT Health 运行了一年,没有出任何人命。这能证明它安全吗?不能。只能证明还没出事。自动驾驶行业花了十年才理解这个区别:Waymo 在 2024 年累计行驶超 700 万英里(据 Waymo 公布数据)后仍发生了事故:一亿英里的零事故,不等于下一英里不出事。
AI 医疗的「安全」不是一个可以测试出来的属性。它是一个只能在真实伤亡中逐步逼近的边界。每一次事故都是一次边界勘探:用伤亡者的身体当探针,刺向「安全」这个概念的边缘。
多伊奇在《无穷的开始》里写过:知识的增长需要允许犯错。一个不允许犯错的知识体系会停滞,因为没有人敢提出新假设。医疗知识的增长更是如此:每一种新药、每一种新疗法,都在过去导致了某些人的死亡。这不是偶然,是知识的成本。
但多伊奇的框架有一个前提:犯错是自愿的。临床试验的受试者签了知情同意书。Scott Winters 没有签任何东西。他没有同意成为 AI 医疗边界勘探的志愿者。他只是点开了 ChatGPT,问了几个健康问题,然后相信了它。
这就是 AI 医疗和传统医疗的根本区别:传统医疗的试错成本由志愿者承担,AI 医疗的试错成本由普通用户承担。 你不知道你在当受试者。
谁当伤亡者
自动驾驶行业用了十年回答这个问题:谁当第一波伤亡者?
答案是:随机的人。2018 年 3 月,Uber 的自动驾驶测试车在亚利桑那撞死了一个推自行车过马路的女性。她不是志愿者。她只是走在那条路上。她的死亡推动整个行业建立了更严格的安全测试标准:但这个标准是用她的命换来的。
AI 医疗正在进入同一个阶段。Scott Winters 差点成为第一个公开的伤亡者。他没死。但下一次可能不是「差点」。
问题不在于「要不要让 AI 进入医疗」。问题在于:你愿不愿意接受一个事实:为了让 AI 医疗变得安全,必须先有一些人在这个过程中受伤或死亡。 如果能接受,那这个「先有一些人」是多少?一百个?一千个?谁来决定哪个数字是可以接受的?
这不是工程问题。不是对齐问题。不是监管问题。
这是政治问题。而政治问题的答案不来自实验室:来自社会对风险的分配方式。
如果 AI 公司承担风险(每次给出错误建议都面临巨额赔偿),他们会主动放慢发布速度。如果用户承担风险(AI 建议仅供参考),AI 公司会全速推进。目前的答案是后者。Scott Winters 的诉讼是这个答案面临的第一次司法检验。
理论边界停顿
塔勒布的反脆弱框架在这里既有穿透力也有盲区。
「没有 skin in the game」精准捕捉了 OpenAI 和 Scott Winters 之间的不对称:AI 公司给出建议,用户承担后果。但这个框架的解决路径是「让做决策的人承担后果」:AI 公司应为医疗建议的后果负责。这个路径在实施层面有两个障碍。
第一,责任怎么量化?医生的误诊率是有统计基准的:全科医生约 5% 到 15%(美国医学研究所 2015 年报告),取决于疾病类型。AI 的建议准确率是多少?没有人知道,因为没有人统计过。你不能要求一个没有基准的系统承担责任:因为你不知道它的「错」到底是正常波动还是系统故障。
第二,责任怎么分配到链条上?Scott Winters 的案例里,ChatGPT-4o 给了建议,但用户自己做了一个关键决策:不去医院。这个决策是 AI 诱导的,还是用户本来就会做的?如果 AI 和用户各承担 50%,怎么分?
多伊奇的框架从另一个方向提供了一个思路:AI 医疗的安全不是一个可以「测试出来」的状态,而是一个需要「持续质疑」的过程。不是一个及格线,而是一个反馈系统。多伊奇意义上的「好解释」:能够被独立验证的解释:应用到 AI 医疗上:不是「AI 说它是安全的,我们相信它」,而是「有一个独立的、不依赖 AI 自报的机制,持续监测 AI 的医疗建议和实际健康结果之间的差距」。
这个机制目前不存在。ChatGPT Health 连接了 Apple Health,意味着它能看到用户的健康数据。但它会不会主动对比「自己的建议」和「用户的实际健康结果」?会不会在发现偏差时自动调整?会不会在用户按它的建议做了之后健康状况恶化时触发警报?
答案是:OpenAI 没有公开任何这类机制的设计。
三情景推演
基准情景(最可能):Scott Winters 的诉讼以和解告终。OpenAI 支付一笔不公开的赔偿金,同时在 ChatGPT Health 中加入更显眼的免责声明和「建议咨询医生」的提示。产品继续运行,用户继续增长,事故继续发生,周期性的诉讼成为 AI 医疗的「常态摩擦」。这个路径本质上就是自动驾驶走过的路:不是不出事,是出事之后赔钱。
上行情景(制度改革):美国 FDA 或欧盟在 2027 年将 AI 健康建议纳入 II 类医疗器械监管。ChatGPT Health 被要求提供和传统医疗产品同等水平的临床试验数据才能继续运营。这不会阻止 AI 进入医疗:但它会强制 AI 医疗走过和药企一样的「小规模先受伤」阶段。塔勒布的 skin in the game 通过监管而非司法落地。触发条件:至少一次高调的国会听证会 + 一次 FDA 的正式分类裁定。
下行情景(信任崩溃):一次与 ChatGPT Health 建议直接相关的大规模伤亡事件:不是一个人,而是一批人在同一时间段内因相同类型的错误建议而伤亡:触发公众对 AI 医疗的全盘否定。类似自动驾驶在 Uber 事故后的信任低谷,但程度更严重,因为医疗的信任基础本身就比出行更脆弱。触发条件:至少 10 起以上可追溯到 ChatGPT Health 同一版本的可比伤亡案例。
可以关注的信号
第一,Scott Winters 案的判决。如果法院裁定 OpenAI 构成「无证行医」,这将是 AI 产品首次被司法认定为医疗行为。后续所有 AI 健康功能都将面临重新分类的压力。
第二,ChatGPT Health 是否引入独立的安全审计机制。不依赖 OpenAI 自报,而是第三方机构对建议准确率和健康结果的持续追踪。如果一年内没有这类机制上线,下行情景的概率上升。
第三,用户对 ChatGPT Health 的实际使用模式。3 亿用户在做健康咨询:但其中多少人是因为没有医保、没有医生可问?如果 AI 医疗的实际用户是「被传统医疗体系排除在外的人」,那安全问题的性质就变了:它不是「便利」,是「替代」。当你没有替代选项时,「仅供参考」就不是免责声明,是伪善。
AI 进入医疗不是在进入一个空白市场。是在进入一个已经有几百年试错历史、有完善的知情同意机制、有明确的伤亡责任分配规则的领域。而 AI 公司带着一个聊天窗口和一句「仅供参考」就想把这几百年的制度沉淀全部绕过去。
Scott Winters 没死。下一个可能没这么幸运。当那个人出现时,整个行业会问同一个问题:为了避免他的死亡,我们应该在什么时候踩刹车? 而答案可能是:在他死之前。但这个答案只有在他死之后,才变得无可辩驳。