为什么AI公司想让你害怕？

/uploads/short-url/muoNnsRvIPR3xAcaDHU5mZV9RRw.jpeg?dl=1 他们开发了它。他们害怕它。然后他们又仍然在贩售它。 或许你以前听过这样的说法：某家科技公司表示，它开发出一种强大得令人害怕的新型人工智能（AI，人工智慧）；据说它过于危险，不应该被发布出来——其后果将会是灾难性的；幸运的是，他们目前把它锁了起来。他们只是想让你知道这件事。 这正是人工智能公司Anthropic对其最新模型“Claude Mythos”所传达的讯息。该公司表示，Mythos在找出网络安全漏洞方面的能力远超人类专家，如果类似技术落入错误之手，可能带来改变世界的后果。Anthropic在4月初的一篇网志中表示：“其影响——对经济、公共安全及国家安全——可能是严重的。”一些过于夸张的评论者甚至警告，Mythos很快会迫使你更换生活中每一件科技产品，甚至包括你的WiFi微波炉，以防止数码世界失常错乱。 一些安全专家对这些说法表示怀疑，但我们暂且不论。这并不是新鲜事。主要人工智能公司高层经常对自己产业的产品发出警告，称它们可能毁灭人类。那么，为什么AI公司希望我们害怕它们？ 这对任何公司来说，都是一种奇怪的表述方式。你不会听到麦当劳宣称它创造了一款美味得令人恐惧的汉堡，好吃到将它卖给公众都是不道德的。 其中一种理论是这样的：批评者认为，让大众专注于末日叙事，对AI公司是有利的，因为这会转移人们对它们已经对世界造成的真实伤害的注意力。科技界领袖表示，他们只是对不可避免的未来发出警告，无论现在还是未来，安全都是首要任务。但其他人则认为，我们看到的其实是一种恐吓策略，它夸大了技术的潜力，并有助于推高股价。这同时也鼓励一种叙事，即监管机构应该退后，因为只有这些AI公司才能阻止坏人并负责任地建构这项技术。 “如果你把这些技术描绘成几乎具有超自然危险性的东西，就会让我们感到无力，好像我们无法与之匹敌，”英国爱丁堡大学资料伦理与人工智能教授香农・瓦洛尔（Shannon Vallor）说，“就像我们唯一能依靠的对象，只剩下这些公司本身。” #p-8113353-h-1谁来阻止我 Anthropic的发言人告诉我，公司在这些问题上一直表达得相当清楚。他们分享了其他机构的网志，以支持Mythos的网络安全能力，但没有回应本文提出的观点，除了我稍后会引用的一句评论之外。 这并不是Anthropic行政总裁达里奥・阿莫代（Dario Amodei）第一次参与开发一项被公司认为过于危险、无法向公众发布的工具。2019年，当阿莫代仍在OpenAI任职时，该公司宣布推出GPT-2。他和其他公司高层表示，由于担心这项技术被恶意使用，他们无法发布GPT-2。那是一个远不如ChatGPT先进的工具。但几个月后，它还是被发布了。OpenAI行政总裁山姆・奥特曼（Sam Altman）后来在一篇网志中表示，公司“接受不确定性”，并承认当时对GPT-2的恐惧是“被误导的”。 奥特曼在最近一次播客访谈中批评Anthropic的“恐惧式行销”。但他自己“我创造了一个怪物”的叙事可以追溯到多年以前。 “人工智能很可能最终会导致世界末日，但在此之前会诞生不少伟大的公司，”奥特曼在2015年曾这样说。多年后，他又声称自己会因为担心是否“做了错事，推出了ChatGPT”而失眠。如果早有人提醒他就好了。 /uploads/short-url/6lO4O7O6T9glvDwV31mUWVCowof.webp?dl=1 人工智能公司表示，他们的技术可能会终结世界；同时，他们也希望你购买它 包括奥特曼、阿莫代、比尔・盖茨（Bill Gates）及Google DeepMind行政总裁德米斯・哈萨比斯（Demis Hassabis）在内的数百位科技领袖，在2023年一同支持一份简短声明。当中表示：“减轻人工智能导致人类灭绝的风险，应与疫情和核战等社会级风险一样，成为全球优先事项。”同年，包括伊隆・马斯克（Elon Musk）在内的富豪签署一封信，呼吁暂停开发先进AI六个月。然而不到半年后，马斯克就宣布成立新的人工智能公司xAI。 “这只是这种未经证实的强大能力宣称模式的一部分，”华盛顿大学计算语言学教授、《AI骗局》（The AI Con）共同作者艾蜜莉・本德（Emily M Bender）说，这不仅限于OpenAI和Anthropic，而是整个AI产业的标准姿态。“他们在说：‘看这边’，别理会环境破坏、劳工剥削，以及我们正在破坏的各种社会制度。我们只需要担心，确保这个东西不会变成毁灭人类的坏东西。” 我向OpenAI询问此事。一名发言人分享了奥特曼最近的一篇网志，当中写道，OpenAI将“抵制这项技术集中在少数人手中的可能性”，并补充说，“AI的重要决策应透过民主程序、以平等原则制定，而不是仅由AI实验室作出”。 #p-8113353-mythos-2Mythos真有那么危险？ Anthropic表示，其新模型已在整个科技领域中找到数千个“高严重性”漏洞，其能力超越人类专家。公司还宣布与40多个企业与组织建立新合作关系，以“紧急”修补漏洞，防止骇客利用。一名发言人表示，公司刻意与各界合作修补基础计算系统中的漏洞，而这些问题占据了“大部分”风险。 然而，这些说法受到相当大的质疑，AI现代研究所（AI Now Institute）的首席AI科学家海迪・克拉夫（Heidy Khlaaf）并不认同。她的职业生涯正是建立并审核Anthropic所声称已超越的那些程式码分析工具，她也曾负责核设施中的数码安全工作。 克拉夫指出，最令人警惕的是缺乏“误报率”这一指标——这是衡量安全工具误判问题的行业标准。“这并不是什么未知的指标，”她说，“这其实是衡量工具实用性最重要的指标之一。”Anthropic并未提及这一点，当我询问时也回避了问题。此外，公司也没有将Mythos和现有工具进行比较，而这些工具已被安全工程师使用了数十年。 还有一些说法指出，Anthropic或许延后大规模发布Mythos，是因为无法负担所需的算力。该公司亦未对此作出回应。 这并非表示威胁是想象出来的。“Mythos可能确实具备能力，”克拉夫说。AI工具确实非常适合扫描大规模程式码库，自动寻找漏洞也确实是一个现实且严峻的风险。但在缺乏证据支持的情况下，她对Anthropic的说法持怀疑态度。“我认为‘Mythos无所不能、无法发布’这个叙事存在许多漏洞。” #p-8113353-h-3为何如此严肃？ 防止世界末日，正是OpenAI和Anthropic所宣称自己存在的最初原因。OpenAI最初以非牟利机构成立，承诺以安全方式发展AI，以免被谷歌（Google）或 Meta 等较不负责任的科技巨头抢先。后来，一个分支团队离开OpenAI成立Anthropic，因为他们认为原公司对安全的重视程度不足。如今，这两家机构都在朝上市公司转型。 瓦洛尔表示：“如果你想理解一个组织，特别是企业，将如何行事，就要看它的激励机制。” 谷歌已经放宽其在研发人工智能武器方面的红线。OpenAI也曾透过法律行动试图摆脱其非牟利地位。Anthropic则放弃了其一项核心政策——即如果无法确保足够的安全措施，就不会训练人工智能模型。 “我不会指望这些公司为了维持‘好人’形象，而放弃主导市场的机会，”瓦洛尔说。 与此同时，尽管对误诊存在严重疑虑，人工智能在医疗领域的应用仍在推进。以天然气为能源的数据中心，可能排放比某些国家更多的温室气体。有报道指出，人工智能正将大量脆弱人群推向精神失常甚至自杀的边缘。越来越多研究显示，人工智能可能与认知能力下降有关。深度伪造（deepfake）技术已经越过了无法回头的界线——我甚至无法说服自己的阿姨，相信我不是机器人。 人工智能公司表示，他们非常重视这些问题。OpenAI向我提供了一些有关心理健康、人工智能准确性、诈骗及欺诈问题的立场说明链接；而奥特曼表示，公司致力于在人工智能发展的每个阶段解决相应的问题。 但瓦洛尔指出，这些公司之所以只对“世界末日”发出警报，是有原因的。如果人工智能可能毁灭社会，那么其他问题看起来就显得不那么重要。“这种策略是有效的，”她说，“把自家产品描述成可能终结世界，并没有损害这些公司，反而让它们更有权力。人们反而会觉得，唯一能够提供保护的，只有这些公司本身。” #p-8113353-h-4恶魔还是救世主？ 几乎在同一时间，一些发出毁灭警告的人，也承诺带来救赎。在2024年的一篇文章中，奥特曼预测“惊人的成就——例如解决气候问题、建立太空殖民地，以及发现所有物理学定律——最终都将变得司空见惯。”阿莫代则承诺打造“一个在数据中心中的天才国度”。 瓦洛尔认为，乌托邦和末日其实是一体两面。“无论哪一种说法，其规模都过于宏大和神化，以致于监管、治理或法律似乎都难以发挥作用，”她说。“这会让人们觉得，他们唯一能做的，就是坐下来等待，看这些技术最终会变成毁灭文明的恶魔，还是带来乌托邦的救世主。”甚至连“Mythos”这个名称，似乎都刻意唤起某种宗教式的敬畏。 但瓦洛尔表示，这些并不是神，而是企业为了盈利所打造的产品。人类曾对比聊天机械人更具威胁性的技术加以监管。“除了这一项技术之外，其他所有技术——包括核武和生物武器——我们从未让这种叙事使我们认为它们是超出人类控制的力量，”她说，“没有任何东西是无法治理的，除非我们选择不去治理它。” 说清楚一点：从理论上来说，人工智能确实有可能接管世界。我并不是预言家。但请问问自己，这种想法是否和过去你在矽谷听过的其他说法有些相似？ 我们不是应该早就生活在马克・朱克伯格（Mark Zuckerberg）的“元宇宙”中了吗？比特币不是应该取代全球所有货币吗？还记得2010年代，我们曾听说社交媒体会拯救民主吗？这些事情或许仍然有可能会发生，但也可能不会。 https://www.bbc.com/zhongwen/articles/cp8pl9g24gdo/simp https://www.bbc.com/zhongwen/articles/cp8pl9g24gdo/simp 他们开发了它。他们害怕它。然后他们又仍然在贩售它。

准失业小编以 笔杆子 键盘为遮羞布发出了最后的呐喊

还在就业市场需要挣钱养家的就害怕 如果已经挣的差不多还能靠AI抬轿子挣股票的快退休的老帮菜一点都不怕

除了用doomsday threat推高估值之外，AI公司还很喜欢各种negging Nobody in history has ever been better at, like, https://en.wikipedia.org/wiki/Negging than Sam Altman. He got OpenAI to a $150 billion valuation in part by https://www.bloomberg.com/opinion/articles/2024-09-03/triple-etfs-triple-your-fun?srnd=undefined&sref=1kJVNqnU “oh no, nobody should allow us to build our product, we’re going to destroy humanity,” and now he is allegedly going to get handed a $10 billion stake in OpenAI because he’s going around saying “oh no, nobody should give me equity, that’s ludicrous.” https://www.bloomberg.com/opinion/articles/2024-09-30/look-like-a-loser-then-win

我害怕不是因为AI公司说了什么 是因为AI在我手里干了什么

自从mythos出来之后，我们用不到不知道那个模型是什么成色，但是anthropic用得到而且从那个时候开始就频繁爆出各种恶性烧客户钱的bug

这明明是 feature

最搞笑的是Mythos宣传的too dangerous实际上被UK官方项目验证了在cyber上的能力甚至略差于GPT 5.5 实际上业界一直都知道A家的模型更dense 用更高的成本来换取更好的智能，一开始我也以为mythos真的什么大杀器，现在看可能就是单纯的，技术上没有做到更高的token efficiency，所以不能release，但是marketing不能停。恐吓还得继续 /uploads/short-url/fZGBd9VDU4bnc3KPca9B416rk1X.jpeg?dl=1

磨了一坨大的，所以不敢发布

毕竟开源模型给了对应的context也能找到漏洞:https://aisle.com/blog/ai-cybersecurity-after-mythos-the-jagged-frontier

vczh: 但是anthropic用得到而且从那个时候开始就频繁爆出各种恶性烧客户钱的bug 太危险了，只能自己用来降智商

opus 4.7和5.3 codex居然是一路货色吗

什么？连轮子哥都用不到？不是说好的先给12个合作伙伴用吗？

我有次看claudecode乱码不爽按了ctrl C，整个项目全消失了

应该是做security的人才有的