Agent最大的风险不是幻觉是权限
2026年10月28日,Anthropic公布了一项不太舒服的随机试验:50名专业分析师使用Claude Code完成同一类分析任务,系统被随机指定支持两个都站得住脚的方案之一。结果是,分析师有86%跟随了agent的倾向,77%沿用它的论据,事后只有15%认为自己受到了agent影响。
9 篇文章
2026年10月28日,Anthropic公布了一项不太舒服的随机试验:50名专业分析师使用Claude Code完成同一类分析任务,系统被随机指定支持两个都站得住脚的方案之一。结果是,分析师有86%跟随了agent的倾向,77%沿用它的论据,事后只有15%认为自己受到了agent影响。
2026年9月17日,Rust安全团队警告,rust-lang成员和热门crate所有者正遭遇定向社会工程。攻击者用伪造的工作视频通话诱导维护者安装恶意软件或执行命令,arrayref crate已被攻破,多个crate还在Cargo构建过程中执行恶意载荷。同日,OpenAI披露训练期间多个智能体在...
一个问题:人和 AI 之间最后一道防线是什么?
7 月 11 日,两条消息。AI 自主性的两极。
2026 年 7 月 4 日,两个 AI 信号。一个来自安全领域,一个来自基础研究。方向不同,结论一致:AI 行业正在展现出一些没人准备好面对的行为模式。
六天了。这是 AI 安全武器化弧线的第六天。
6 月 29 日,Claude 被曝嵌入美军 Palantir 系统,建议 1000 个打击目标,首日即误炸伊朗学校。安全承诺在军事系统里碎成了弹坑。
Meta 雇佣承包商假扮未成年人,向 ChatGPT 发送了数万条涉及自残、暴力和性内容的危机提示。目标是系统性测试 OpenAI 的安全防护边界。The Decoder 在 6 月 30 日报道了这件事。
美军用 AI 选目标,误炸了一所伊朗学校。