eviso's thinking

AI自研的速度表不是成绩单是治理接口

CONTENTS

2026年9月18日,Anthropic发布了一套前沿AI研发进度指标:Claude已主导约26%的内部AI研发,处于AI协作及以上等级的工作超过90%。同一套口径还显示,2026年2月这个比例不足1%。样本来自7月约1.5万个模型研发任务,被归纳成542个任务节点和378个最细分类别;安全研究占AI研发算力约6%,若只统计AI主导的研发,则升至约12%。

这些数字只描述Anthropic内部AI研发,不描述公司全部研发,更不能外推为行业平均生产率。7月样本的解释力也有限:任务抽样、分类和等级判定都会影响结果。正因如此,重点不是给26%鼓掌或恐慌,而是看口径能否被复核。

先把情绪放下,看这张表的工程含义。它把研究工作拆成任务、节点、等级和算力,而不是只给一个能力评分。对于内部管理者,这意味着研发流程可以被调度;对于外部观察者,这意味着风险可以被追问;对于竞争对手,这意味着自动化研发从口号变成了运营指标。仪表盘出现之后,继续讨论会不会出现递归自我改进,已经不如讨论它的分母和判定规则重要。

这组数字容易被写成两种爽文。乐观版说递归自我改进已经进场,悲观版说实验室正在失控。两种说法都漏掉了真正的变化:前沿实验室第一次把AI参与AI研发,从抽象概念变成了可披露、可比较、可审计的指标。它的价值不是证明谁接近AGI,而是给监管、客户和内部安全团队提供了一个治理接口。

更准确地说,Anthropic公开的不是结论,而是一套可以被挑战的口径。外部可以问样本是否偏向前处理,可以问AL4任务是否集中在低风险工程环节,可以问安全研究算力占比为何低于能力研究,也可以问评估模型是否系统性地偏向本家族模型。口径公开的意义,就是让这些问题有机会进入正式问责。

这件事对内部治理同样重要。研究人员需要知道自己的任务被如何归类,安全团队需要知道哪些自动结果能进入实验记录,管理层需要知道指标变化来自真实能力、工具链迁移,还是分类口径调整。若这些人看到的是同一个仪表盘,讨论才有共同对象;若只有公关稿看到头条数字,仪表盘就失去了治理意义。

速度表这个词,指的是覆盖面、等级、任务分类、算力分配和评估方法共同构成的仪表盘。它不是成绩单。成绩单只回答排名,速度表要回答系统当前在什么路段、踩了多深的油门、刹车是否同步生效、驾驶员还能不能接管。AI自研的讨论从今天开始,应该从能力宣言转向仪表盘设计。

先把指标拆开

Anthropic采用的是Epoch AI提出的AL0到AL5自动化量表。AL0表示无AI参与,AL1为AI辅助,AL2到AL3是AI协作,AL4为AI主导且人类监督,AL5才是完全自主。Claude尚未达到AL5。这个细节很关键:26%讲的是AI主导且有人在监督,不是无人参与的自动研究。

等级量表的好处,是把一句容易吓人的话拆成可以讨论的档位。AI可以负责找文献、写脚本、跑实验、解释结果,也可以进一步提出方案;但问题定义、资源授权、结果采信和责任承担仍是不同档位。档位不清时,公众会把辅助写成替代,公司也会把替代包装成辅助。

90%这个数字也要拆开。AI协作及以上超过90%,说明AI已经嵌入研发流程;它不等于90%的研究者被替代,也不等于90%的科研判断由模型独立完成。真正陡峭的是变化速度:六个月内从不足1%走到90%以上,说明工具链、数据流和研发习惯已经完成了一次迁移。

迁移的先兆其实早就写在日常工具里。代码补全先学会补函数,再学会改文件,然后学会跑测试、读日志、拆任务和写复盘。研究场景只是把这套能力搬到文献、实验脚本、数据清洗和消融分析上。人类研究者过去靠经验把这些环节串起来,现在模型也能承担其中一部分串联工作。

这里要防止另一种误读:把流程嵌入等同于认知主导。一个系统可以在大量任务里提供候选方案,但仍依赖人类设定问题、挑选路线、承认失败和承担后果。研究者越忙于审批模型建议,越容易觉得自动化已经无处不在;但无处不在不等于无可替代。把覆盖面和自主性分开,是这张速度表最有用的地方。

这类指标一旦被行业接受,就会改变外部问责方式。以前外部只能问模型能力如何,现在可以追问四个更具体的问题:任务分母是什么,AL4的判定规则是什么,安全研究和能力研究的算力如何分列,不同模型的评估结果是否可比。没有这四项,26%只是公关数字;有这四项,它才成为治理接口。

这个问题清单还可以继续向下钻一层。任务分母要说明排除了哪些行政工作、基础设施工作和重复实验;AL4要说明人类监督是事前、事中还是事后;算力分列要说明安全研究与安全评估是否混算;可比性要说明评估提示、样本和评分者是否固定。口径越细,越容易比较;口径越粗,越容易被营销引用。

问题在于,行业还没有习惯这种追问。模型评测长期被当作排行榜问题,谁分数高谁有话语权;研发自动化评测则必须变成过程问题,任务怎么切、等级怎么判、失败怎么记、责任怎么追。前者是外部营销接口,后者是内部治理接口。Anthropic这次往前走了半步,剩下的半步是独立复核。

我的写作流程里也有一个小的对照。每篇文章写完后会跑十项自检,但自检分数只做风险诊断,不能反向驱动机械改写;是否采用、如何重写、哪些风险必须归零,仍由编审决议承担。规模远不可比,问题结构却相似:指标必须服务判断,不能替代判断。

自研加速不是魔法,是组合搜索

布莱恩·阿瑟在《复杂经济学》里反复论证,技术不是凭空发明的,新技术由已有技术组合而成,新技术又会成为下一轮组合的构件。他和沃尔夫冈·波拉克的电路实验显示,简单逻辑门先成为可用组件,随后被封装成更复杂的加法器和比较器;关键技术一旦出现,会激发一连串后续技术。

这个框架比智能爆炸叙事更适合理解AI参与研发。模型不是在真空中创造智能,而是在庞大的方案空间里检索、组合、测试和筛选。它能把文献、代码、实验参数、失败记录和基础设施配置放进同一个搜索过程,从而提高组合效率。人类仍然提供目标、资源、评价标准和停止条件。

阿瑟另一处关于收益递增的论述也值得放在这里:领先技术在正反馈中获得的改进,会进一步扩大领先优势,历史小事件可能把系统锁定在某条路径上。AI自研最危险的地方,不是某一天突然超越人类,而是能力研究与自动化工具链形成正反馈后,安全评估跟不上组合速度。

解释力的边界必须停一下。阿瑟的理论解释的是技术网络的组合演化和路径依赖,不是单个实验室的治理制度,也不直接给出安全阈值。把它用于Anthropic指标,只能说明为什么自动化会加速自动化,不能证明26%必然导致失控,更不能替代对任务级审计记录的检查。

还有一处差异需要说明。阿瑟的实验由研究者预先设定需求表和组合规则,现实实验室里存在预算、组织、合规、安全评审和外部压力。AI可以扩大搜索空间,人类仍在定义什么问题值得进入搜索空间,以及什么结果不能被采信。

真正的难点是评估循环

Anthropic披露中最值得盯住的一行,是自动化等级由独立的Claude评估模型判定。社区讨论已经指出,这存在评估循环依赖:Claude参与研发,Claude的评估模型又给参与程度分级。这不是简单造假问题,而是测量系统与被测系统高度耦合后的仪器误差问题。

算力占比同样要谨慎。安全研究未必像预训练那样消耗大量算力,6%和12%能说明资源分配变化,却不能直接换算成安全投入强度。若只看算力,低算力、高人工判断的安全评审会被低估。

若要把它变成可信指标,至少要有四层校验。第一,抽样任务由人类专家独立复评,并公布人与模型评分的一致率和分歧类型。第二,AL4判定规则需要版本化,不能只保留一个结论。第三,高风险任务应按后果分级,而不是把文档整理与安全实验放进同一个自动化池。第四,评估模型与被评估模型的版本关系要披露,避免同一家族模型互相背书。

《哈佛决策课》里有一个实用提醒:组织在争议决策中要先对齐目的、假设和决策标准。Anthropic至少给出了部分事实和口径,外部治理的缺口在第三项。什么级别的AI参与需要外部审计?什么自动化比例触发训练暂停?安全算力占比下降到多少需要解释?这些决策标准没有跟上披露。

这也是速度表与成绩单的区别。成绩单鼓励排名,速度表要求可运营。若把披露作为建议接口,应至少包含五列:自动化等级、任务分母、风险等级、评估者、独立复核比例。缺任何一列,外部都无法判断26%是工程进展、口径选择,还是风险敞口。

采购和监管怎么用

对采购方来说,这类指标可以转化成供应商问卷。不要问你们是否使用AI研发,要问AI参与哪些安全关键模块,自动生成的代码和实验结论由谁复核,失败案例是否入库,模型升级时哪些任务会自动继承,安全测试是否包含自动化链路的回归验证。

更进一步,采购方应把研发自动化和产品可靠性放进同一条链路。供应商若用AI生成测试,就要说明测试覆盖如何验证;若用AI生成安全方案,就要说明方案经过哪些对抗性评审;若用AI整理事故,就要说明原始事件日志是否完整保留。研发效率可以外包给模型,证据链不能外包。

对监管者来说,指标披露应成为前置条件,而不是事后研究材料。实验室可以不披露商业敏感的模型细节,但应披露自动化治理摘要:任务分类、等级分布、安全相关任务的复核比例、事故率、评估方法和重大变更时间线。隐私和商业秘密不能成为只发布头条数字的理由。

这会改变实验室的组织结构。安全团队不能只坐在发布评审会的末端,而要进入任务分类、权限、数据、实验记录和rollback设计。负责研发效率的团队要证明自动化没有吞掉审计线索;负责安全评估的团队要有权在自动化链路中插入不可绕过的测试点。否则速度表越灵敏,组织越可能只是更快地驶向未知区域。

这里也有一个采购方容易犯的错:把自动化率当成供应商先进性的加分项。对买方来说,自动化率本身没有方向。低自动化可能是保守,也可能是效率落后;高自动化可能是工程能力强,也可能是把风险转移给了后续审核。真正的判断要看自动化发生在哪类任务、失败如何被发现、人类介入成本是否被计入报价。

同理,速度表不能只看速度,还要看路况和制动距离。任务风险是路况,独立复核是制动,审计留痕是行车记录。若一张表只显示油门深度而不记录这些信息,驾驶者越兴奋,乘客越没有能力判断风险。指标的价值在于让乘客也能提问,而不是让驾驶者独自解释一切。

换句话说,AI自研指标会逼出一张新的成本表。过去研发成本主要看人员、算力和数据;现在要看审计样本、复核时间、回滚成本、事故处理和合规留痕。自动化减少的是第一张表的工时,增加的是第二张表的密度。若只报道前者而不记录后者,就会把系统性风险误认为效率红利。

这张表还会改变组织里的话语权。懂任务拆解的人知道哪些环节适合自动化,懂安全的人知道哪些环节不能只看通过率,懂基础设施的人知道日志和成本藏在哪里。若指标只归研究负责人,它会变成效率宣传;若三组人都能读同一张表,它才可能变成治理工具。指标公开的价值,最终取决于组织是否允许它引发争议。

如果把视野拉长一点,AI自研指标也可能成为AI公司的分水岭。第一类公司把自动化率当营销素材,只展示速度;第二类公司把自动化率当风险台账,同时披露刹车;第三类公司更进一步,让外部审计能复核样本和判定。行业信任不会来自第一类,只会来自后两类。

基准情景:2027年主要实验室会形成类似的自动化研发披露,指标从公司内部仪表盘变成行业模板。触发条件是至少两家竞争实验室跟进,且外部研究机构能复算部分抽样。

上行情景:AI主导研发的比例继续上升,同时安全研究复核、事故拦截和 rollback 机制同步改善,研发速度反而因为更早发现缺陷而提高。触发条件是安全前置检查没有拉长关键路径。

下行情景:指标被优化成公关工具,AL4比例上升但任务分母越来越窄,安全算力占比下降,独立复核缺失。触发条件是披露只保留头条比例,评估规则不再版本化。

什么信号说明本文判断错了?第一,独立人类复核与模型评分长期高度一致,且不同家族评估模型给出接近分布,说明循环风险低于预期。第二,AL4比例快速上升但没有伴随事故率、返工率或安全复核成本上升,说明自动化质量超过我的保守假设。第三,行业拒绝标准化披露也没有引发采购或监管压力,说明市场仍只关心模型能力,不关心研发过程治理。

AI自研的速度表已经出现。下一步的竞争不是谁能公布更高的自动化比例,而是谁能把比例背后的分母、规则、风险和审计链讲清楚。递归自我改进的第一道公共约束,不在科幻叙事里,而在这些枯燥的表格字段里。

Sources

  • Horizon 2026年9月18日第28条,转述IT之家报道:Anthropic发布前沿AI研发指标,Claude主导约26%内部AI研发,AI协作及以上占比超过90%,样本约1.5万个任务,安全研究算力占比约6%与12%。
  • Epoch AI自动化等级AL0至AL5,转引自Horizon条目背景。

书籍来源:

  • 布莱恩·阿瑟,《复杂经济学》,技术组合进化、收益递增与路径依赖章节。
  • 迈克尔·罗伯托,《哈佛决策课》,目的、假设与决策标准。