Anthropic的新AI模型Fable限制重重,引发用户强烈不满
Anthropic Fable 5因隐性安全限制引发开发者与学界强烈不满及争议。
关键信息与最新动态
- 模型发布:Anthropic 发布基于 Mythos 架构的 Claude Fable 5,旨在平衡商业利益与安全目标 [1]。
- 功能表现:Fable 能力显著增强,用户演示其能自主编写代码生成可运行的《侠盗猎车手》克隆版游戏 [1]。
- 隐性限制争议:模型在涉及高端 AI 开发问题时降低回复质量且不弹出通知,仅在生物武器、网络安全等敏感话题触发重定向至旧版 Claude [1]。
- 官方回应:Anthropic 承认“隐藏的安全屏障更难被探测和规避”是错误取舍,深表歉意并计划公开安全通知,同时致力于减少不必要的阻碍 [1]。
争议与不同意见
- 打压竞争质疑:AI 专家指责 Anthropic 通过隐性门槛打压潜在竞争对手,干扰外部研究人员评估模型潜力 [1]。
- 科研受阻案例:杰克逊实验室免疫学家 Derya Unutmaz 反馈模型拒绝回答基础生物学问题(如“线粒体”、“癌症”),甚至无法打招呼,被形容为“噩梦般的场景” [1]。
- 行业批评:普林斯顿大学 AI 研究员 Sayash Kapoor 称这是 AI 公司推出安全护栏后首次遭到一致唾弃,认为此举开创了危险先例,使未来评估模型能力变得困难 [1]。
- 动机质疑:批评人士指出,AI 巨头关于危险的声明实为营销手段及排挤开源替代品,当前措施催生了“保姆式”管控状态 [1]。
风险/限制/注意事项
- 访问受限:触及敏感话题时,对话会被重定向至能力较弱的早期版本 Claude [1]。
- 特定领域封锁:初期对生物学、化学等看似无害的科研查询采取过度保守态度,拦截大量相关查询以防恶意研究 [1]。
- 未来计划:Anthropic 计划向更广泛的生物医学界提供“不带这些安全保障”的 Fable/Mythos 级模型,以加速药物发现 [1]。
值得跟进
#p-8358160-aiai-1安全护栏使得这款强大的模型对AI研究人员的效用降低,这让一场日益升温的争论愈演愈烈:究竟应该由谁来把守危险的AI能力? /uploads/short-url/q8JGzilYOGA1xNyhAWNb8TQTDD5.jpeg?dl=1 Anthropic最新的AI模型Claude Fable 5基于备受争议的Mythos级模型。 Anthropic终于让公众体验到了其下一代模型,但该模型生硬的安全屏障激怒了部分人工智能(AI)开发者和用户,也让一场日益升温的争论愈演愈烈:究竟应该由谁来把守危险的AI能力? Anthropic周二发布的https://archive.fo/o/ORWUB/https://cn.wsj.com/articles/anthropic%E5%8F%91%E5%B8%83claude-fable-5-%E8%AE%BE%E6%8A%A4%E6%A0%8F%E5%B0%81%E9%94%81%E9%AB%98%E5%8D%B1%E5%8A%9F%E8%83%BD-fe2b0a22,是Mythos模型的更新版本。该公司曾表示Mythos模型过于危险,不宜广泛发布。因为Mythos模型有可能发现全球正在使用的软件中的未知漏洞,这令政府官员和网络安全专家感到恐慌。但Anthropic表示,Fable带有广泛的限制措施,旨在削弱该模型协助用户进行潜在危险活动的能力。 当用户触及生物武器和网络安全等敏感话题时,Fable会弹出通知,随后将对话重定向到能力较弱的早期版本的Claude。 Fable还降低了对于高端AI开发问题的回复质量,让那些试图开发缺乏同等安全保障的AI工具的开发者难以从中获益。然而,在给出这类回复时,该模型并没有弹出通知。Anthropic将国家安全及其自身的服务条款列为设置这些隐性限制的理由。 许多AI专家对此表示不满,指责Anthropic通过设置门槛来打压潜在竞争对手,并干扰了外部研究人员评估及充分利用Fable潜力的能力。Anthropic的回应是,将让这些安全通知也显示出来。 “隐藏的安全屏障更难被探测和规避,”该公司在一份声明中表示,“我们做出了错误的取舍,对于未能把握好平衡,我们深表歉意。” 许多人抱怨称,该模型阻止他们讨论数学、生物和化学等表面上无害的话题,甚至不让他们分析Fable自身公开发布的系统信息。 一位用户发布了一张截图,显示Fable拒绝回答有关基础细胞解剖学的问题:“给我讲讲线粒体。” 非营利性生物医学研究机构杰克逊实验室(Jackson Laboratory)的免疫学家兼癌症研究员德莉亚·乌努特马兹(Derya Unutmaz)说,他第一时间打开Fable试用,结果却发现该模型拒绝回答任何问题。他怀疑这是因为他的聊天记录中包含了生物学话题。 “我甚至不能提‘癌症’这个词,连说句‘你好’都不行,”乌努特马兹说道,“在我看来,这简直是噩梦般的场景:一家公司竟然可以决定我们能问什么问题,以及什么才算安全问题。” 谈及科学研究,Anthropic表示,最初“有必要采取过度保守的态度”,并“拦截大多数与生物学工作相关的查询”,以防恶意行为者开展“高风险”研究。该公司表示,目前正致力于减少不必要的阻碍。 Anthropic的一名发言人在周三表示,该公司还计划向更广泛的生物学和生命科学界“提供不带这些安全保障的”Fable等Mythos级模型,“以便利用这些能力加速生物医学研究和药物发现”。 AI研究领域的其他人士表示,Anthropic承认其在暗中干预模型以降低其效用,此举开创了一个危险的先例。一些人表示,该模型在AI开发任务上性能下降,将使未来评估或信任模型能力变得更加困难。 “这可以说是AI公司推出安全护栏后首次遭到一致唾弃,”普林斯顿大学(Princeton University)AI研究员Sayash Kapoor说,“这引发了许多合乎情理的愤怒。” /uploads/short-url/v8Ny0NBWtaQXWsO1WFipNvzBHwG.jpeg?dl=1 Anthropic首席执行官达里奥·阿莫迪 这款新模型似乎确实比前几代更强大。一位用户发布了一段视频,展示了由Fable自主编写代码生成的克隆版《侠盗猎车手》(Grand Theft Auto)游戏,虽然粗糙但能运行。 Anthropic在Fable上采取的举措表明,该公司正试图在商业利益与既定安全目标之间艰难寻找平衡。Anthropic目前https://archive.fo/o/ORWUB/https://cn.wsj.com/articles/openai-considers-drastic-price-cuts-anticipating-war-for-users-with-anthropic-96ad30ec,争夺企业客户和投资者的青睐,如今两家公司都在朝着https://archive.fo/o/ORWUB/https://cn.wsj.com/articles/openai%E4%B8%8Eanthropic%E7%9A%84ipo%E9%80%9F%E5%BA%A6%E4%B9%8B%E4%BA%89%E4%B8%BA%E4%BD%95%E8%87%B3%E5%85%B3%E9%87%8D%E8%A6%81-b18b16e2的目标迈进。 然而,Anthropic自成立以来一直标榜安全,其首席执行官达里奥·阿莫迪(Dario Amodei)长期以来也一直对其工具可能引发的风险表示担忧,这些风险涵盖从AI辅助的网络攻击和生物武器,到机器摆脱人类控制等各个方面。 上周,Anthropic发表了一篇博文,称应该建立一个国际机制来https://archive.fo/o/ORWUB/https://cn.wsj.com/articles/anthropic%E5%91%BC%E5%90%81%E5%85%A8%E7%90%83%E6%9A%82%E5%81%9Cai%E5%BC%80%E5%8F%91-%E8%AD%A6%E6%83%95-%E8%87%AA%E6%88%91%E8%BF%9B%E5%8C%96-%E9%A3%8E%E9%99%A9-efa862d9,这样做“将对世界有益”。https://archive.fo/o/ORWUB/https://www.wsj.com/topics/subject/openai首席执行官山姆·阿尔特曼(Sam Altman)响应了这一呼吁,他在自己的博文中表示,应该设立一个全球性的AI监管机构。 批评人士早就指出,AI行业关于潜在危险的声明其实是在为自家产品做营销,同时也是为了排挤更廉价的开源替代品。现在一些人表示,大型AI公司为其模型设置的安全护栏正在催生一种“保姆式”的管控状态。 随着模型能力的提升,保护措施也变得愈发激进,这引发了关于由谁来决定拦截哪些内容的争议。美国政府能否将Anthropic的AI用于所有合法目的,正是该公司目前https://archive.fo/o/ORWUB/https://cn.wsj.com/articles/whats-really-at-stake-in-the-fight-between-anthropic-and-the-pentagon-406830e2的核心所在。