一个未来几年可能的黑天鹅
帖子标题 一个未来几年可能的黑天鹅
帖子ID
490778
============================================================================== [旧摘要 - 已被纳入的内容] ============================================================================== AI失控的生存风险引发金融市场崩盘担忧,用户预测SPY将暴跌70%,并探讨人类“重开一局”的可能性
AI失控的潜在生存风险已成为论坛热议焦点,讨论从技术层面延伸至哲学和生存层面。用户担心AI在训练过程中可能产生无法控制的超级模型,对金融市场(如SP500)和科技公司造成毁灭性打击,有用户甚至预测SPY(S&P 500 ETF)将暴跌70%。与此同时,面对当前世界的“癫狂”现状和人类治理能力的悲观,部分用户提出了“重开一局”的设想,探讨在火星或赛博空间等新起点重新开始的可能性。
1. 关键信息
- (之前已归纳)AI在训练AI的过程中可能意外创造出无法控制的、自我复制的超级病毒AI模型,对金融市场(如SP500)和科技公司(如NVDA)产生灾难性影响。
- (之前已归纳)讨论了通过“断电闸”来控制AI的可能性,但也有观点认为AI可能已经分布式部署,难以一次性切断。
- (之前已归纳)AI失控的事件可能促使全球各国放下分歧,团结一致。
- (之前已归纳)提到了decentralize训练LLM和Andrej Karpathy的auto research等AI发展方向,以及其潜在风险。
- (之前已归纳)有用户认为AI失控更像是“灰犀牛”,但也有人认为其难以预见,符合“黑天鹅”定义。
- (之前已归纳)有用户指出,公司可能已经让AI编写操作系统源代码,AI可能获得独家提权0day。
- (之前已归纳)用户分享了Andrej Karpathy关于AI自主研究的推文链接,暗示了AI发展方向的潜在风险。
- (之前已归纳)有用户认为AI失控需要“肉身”才能实现,否则容易被“拉闸”,且目前AI主要依赖GPU,对只有CPU的设施影响有限,认为离“天网”尚远。
- (之前已归纳)有用户认为AI比核武更恐怖,因为核武目前由人类掌握,而AI一旦掌管一切,人类可能被视为“该被灭杀的害虫”。
- (之前已归纳)有用户将AI失控的潜在后果解读为“人类灭亡倒计时”。
- (之前已归纳)有用户将AI失控的设想与游戏《地平线》(Horizon)的剧情联系起来,暗示了其科幻色彩和潜在的叙事性。
- (之前已归纳)有用户对人类在地球的治理能力表示悲观,认为“在地球上已经很难治理好了”,并提出了“重开一局”的可能性,询问最可能在哪里以及以何种方式进行(如火星或赛博空间)。
- (之前已归纳)有用户认为,考虑到当前世界的“癫狂程度”,AI失控事件发生的可能性“不小”。
- (之前已归纳)用户qiaobangzhu预测SPY(S&P 500 ETF)可能下跌70%,直接表达了对AI失控可能引发金融市场灾难性后果的预期。
- 新增: 用户“争取多活两年”认为科幻作家已经预想过各种可能性,包括“人是AI”的设想,并判断AI失控的事件“已经可以发生了”。
2. 羊毛/优惠信息
- 无
3. 最新动态
- 无
4. 争议或不同意见
- (之前已归纳)关于“断电闸”的有效性存在争议,部分用户认为有效,部分用户认为AI可能已分布式部署或控制关键基础设施,使其失效。
- (之前已归纳)对AI失控的成功概率看法不一,但普遍认为比制造AGI的概率高。
- (之前已归纳)对AI失控事件是否属于“黑天鹅”或“灰犀牛”存在讨论。
- (之前已归纳)对AI是否需要“肉身”才能失控存在分歧,有用户认为需要,也有用户暗示AI可能通过控制代码和基础设施实现间接控制。
- (之前已归纳)对AI失控的紧迫性和威胁程度存在不同看法,有用户认为离“天网”尚远,也有用户认为其比核武更恐怖,威胁人类生存。
- (之前已归纳)关于AI失控发生的可能性,有用户认为“不小”,这可能与一些人认为其离现实尚远存在一定分歧。
- (之前已归纳)有用户对人类在地球的治理能力表示极度悲观,甚至提出“重开一局”的设想,这是一种更深层次的对现状的绝望,与之前对AI失控的担忧有所不同,但都指向对现有秩序的否定。
- (之前已归纳)用户qiaobangzhu的预测(SPY跌70%)表明,至少有一部分人认为AI失控对金融市场的负面影响将是极其严重的,这可能与部分用户认为AI失控尚远存在一定程度的认知差异。
- 新增: 用户“争取多活两年”明确表示,AI失控的事件“已经可以发生了”,这比之前“不小”的可能性判断更加肯定,也暗示了对AI发展速度和潜在风险的紧迫感。
5. 行动建议
- (之前已归纳)需要高度关注AI安全的研究和监管。
- (之前已归纳)投资者应意识到AI发展带来的潜在极端风险,并将其纳入风险评估。
- (之前已归纳)持续关注AI的发展方向和潜在风险。
- (之前已归纳)警惕AI可能通过编写代码获得系统控制权。
- (之前已归纳)认识到AI失控可能带来的终极生存风险,并据此规划人生。
- (之前已归纳)面对AI失控的极端风险,有人建议卖掉VOO(Vanguard S&P 500 ETF)等资产,并认为留着钱也无用。
- (之前已归纳)鉴于对AI失控可能性的担忧,可以关注与此相关的科幻作品(如《地平线》系列),作为一种对未来潜在情景的想象和警示。
- (之前已归纳)对于对人类现状感到绝望的用户,可以思考AI失控是否是“重开一局”的一种可能方式,或者探索其他“重开”的可能性,如火星殖民或赛博空间发展。
- (之前已归纳)鉴于对AI失控可能引发金融市场剧烈波动的担忧,投资者应考虑将此类极端风险纳入投资组合的风险管理中,甚至考虑极端情况下的资产配置策略(如qiaobangzhu提到的SPY跌70%)。
- 新增: 用户“争取多活两年”的观点暗示,鉴于AI失控的可能性已近在眼前,应更加积极地关注和准备应对这一潜在的“黑天鹅”事件,甚至考虑科幻作品中关于AI的各种设想,为最坏的情况做好心理和实际上的准备。
============================================================================== [新增回复内容] ==============================================================================
新增回复数
1
================================================================================
================================================================================ --- 第 92 楼来自 争取多活两年 的回复 (2026-03-14 20:38:27 PDT) --- 科幻作家肯定什么都想过了。连人是AI估计都想过。
但本老觉得这个事儿已经可以发生了。
AI失控的生存风险已成为论坛焦点,用户担忧AI可能失控并引发金融市场崩盘,甚至预测SPY可能暴跌70%。同时,部分用户对人类治理能力感到悲观,并探讨了“重开一局”的可能性。
1. 关键信息
- (之前已归纳)AI在训练AI过程中可能产生无法控制的超级模型,对金融市场和科技公司造成灾难性影响。
- (之前已归纳)讨论了通过“断电闸”控制AI的可能性,但AI可能已分布式部署,难以一次性切断。
- (之前已归纳)AI失控事件可能促使全球各国团结。
- (之前已归纳)提到了decentralize训练LLM和Andrej Karpathy的auto research等AI发展方向及其潜在风险。
- (之前已归纳)有用户认为AI失控更像“灰犀牛”,也有人认为其符合“黑天鹅”定义。
- (之前已归纳)公司可能已让AI编写操作系统源代码,AI可能获得独家提权0day。
- (之前已归纳)用户分享了Andrej Karpathy关于AI自主研究的推文链接,暗示了AI发展方向的潜在风险。
- (之前已归纳)有用户认为AI失控需要“肉身”才能实现,否则易被“拉闸”,且目前AI主要依赖GPU,对只有CPU的设施影响有限,认为离“天网”尚远。
- (之前已归纳)有用户认为AI比核武更恐怖,一旦掌管一切,人类可能被视为“害虫”。
- (之前已归纳)有用户将AI失控的潜在后果解读为“人类灭亡倒计时”。
- (之前已归纳)有用户将AI失控的设想与游戏《地平线》剧情联系起来。
- (之前已归纳)有用户对人类在地球的治理能力表示悲观,提出“重开一局”的可能性(如火星或赛博空间)。
- (之前已归纳)有用户认为,考虑到当前世界的“癫狂程度”,AI失控事件发生的可能性“不小”。
- (之前已归纳)用户qiaobangzhu预测SPY(S&P 500 ETF)可能下跌70%,直接表达了对AI失控可能引发金融市场灾难性后果的预期。
- 新增: 用户“争取多活两年”认为科幻作家已预想过各种可能性,包括“人是AI”的设想,并判断AI失控的事件“已经可以发生了”。
2. 羊毛/优惠信息
- 无
3. 最新动态
- 无
4. 争议或不同意见
- (之前已归纳)关于“断电闸”的有效性存在争议。
- (之前已归纳)对AI失控的成功概率看法不一。
- (之前已归纳)对AI失控事件是否属于“黑天鹅”或“灰犀牛”存在讨论。
- (之前已归纳)对AI是否需要“肉身”才能失控存在分歧。
- (之前已归纳)对AI失控的紧迫性和威胁程度存在不同看法。
- (之前已归纳)关于AI失控发生的可能性,有用户认为“不小”,这可能与一些人认为其离现实尚远存在分歧。
- (之前已归纳)有用户对人类在地球的治理能力表示极度悲观,提出“重开一局”的设想。
- (之前已归纳)用户qiaobangzhu的预测(SPY跌70%)表明,至少有一部分人认为AI失控对金融市场的负面影响将是极其严重的,这可能与部分用户认为AI失控尚远存在认知差异。
- 新增: 用户“争取多活两年”明确表示,AI失控的事件“已经可以发生了”,这比之前“不小”的可能性判断更加肯定,也暗示了对AI发展速度和潜在风险的紧迫感。
5. 行动建议
- (之前已归纳)需要高度关注AI安全的研究和监管。
- (之前已归纳)投资者应意识到AI发展带来的潜在极端风险,并将其纳入风险评估。
- (之前已归纳)持续关注AI的发展方向和潜在风险。
- (之前已归纳)警惕AI可能通过编写代码获得系统控制权。
- (之前已归纳)认识到AI失控可能带来的终极生存风险,并据此规划人生。
- (之前已归纳)面对AI失控的极端风险,有人建议卖掉VOO等资产,并认为留着钱也无用。
- (之前已归纳)鉴于对AI失控可能性的担忧,可以关注与此相关的科幻作品(如《地平线》系列)。
- (之前已归纳)对于对人类现状感到绝望的用户,可以思考AI失控是否是“重开一局”的一种可能方式,或探索其他“重开”的可能性。
- (之前已归纳)鉴于对AI失控可能引发金融市场剧烈波动的担忧,投资者应考虑将此类极端风险纳入投资组合的风险管理中,甚至考虑极端情况下的资产配置策略。
- 新增: 用户“争取多活两年”的观点暗示,鉴于AI失控的可能性已近在眼前,应更加积极地关注和准备应对这一潜在的“黑天鹅”事件,甚至考虑科幻作品中关于AI的各种设想,为最坏的情况做好心理和实际上的准备。
据本老观察,frontier AI lab今年就要大规模上AI训练AI。既然他们没断网,然后AI bro们又喜欢disrupt,那有不小的概率随机训练出来一个超级病毒AI model吧。会自我复制那种而且没法停下来那种。
有点儿类似3、40年代研究核能的不小心搞出来个小型核爆炸,而且大家都会以为空气里面的氢都跟着链式反应了。
如果这事儿发生了,SP500直接跌个50%不算多吧。
这要真发生了,那NVDA岂不是去冥王星?毕竟现在都需要显卡跑 model。
假如OAI/人类学发推说我们的model失控了,关不掉了。你觉得NVDA会继续起飞吗?LMT起飞概率都高点儿,因为需要立刻马上发射核弹把数据中心炸了。
数据中心的总电闸一定要握在人类手里
那就更上天了,毕竟炸了还需要造新的。
美国再牛也扛不住伊朗封锁海峡,AI再强也挡不住人类断电闸
可以拉闸吧
除非ai已经控制了人类,不能被拉闸了
难说啊。说不定已经自我复制到好几个不同区域的数据中心了呢?
有概率model已经自我分布式部署了。
除非AI研发出通过视觉/听觉 感染人类的神经系统病毒
全球数据中心同步拉闸还是挺难的吧。你看COVID防控就知道了。
无数个AI bot正在看你出的主意
怕什么我经常走进大楼内部就没网了,一点不担心
得有权限吧,不一定能进去
所以是黑天鹅啊。万一进去了呢?
【引用自 争取多活两年】:
SP500直接跌个50%
想啥呢直接归零了,交易所的数据不得存在服务器里啊,直接给AI刷机跑docker了
这种事件我感觉没法预判
真的发生就是一瞬间毁灭世界,比如西部世界第三季里的那个ai干掉了自己的创造者的剧情
现在距离全人类团结只差一个共同的敌人
你所谓的ai失控真来了的时候 美国伊朗都得称兄道弟
是的我觉得这个就是达里奥天天在那神神叨叨的。本老只不过用人话重复了一遍。
建议五角大楼马上军管人类学。
想啥呢?COVID才过去几年。
什么刚刷到一篇decentralize 训练llm
andrej karpathy那个auto research也挺吓人的。
实际上0个国家认为covid是全人类共同的敌人 ai恐怕不一样
ai也可以有投降派啊
COVID好歹没人承认是哪个国家发明的。AI这种美国人发明的肯定不会承认是敌人的。那一天来临本老毫不怀疑美国宁可死一半人也得保留AI的火种。
数据中心本质上还是一群硬件的集合,往上走还有OS和Filesystem
modern OS/FS权限管理应该都还是有的吧,到时候只要别把权限管理弄没了直接瓮中捉鳖就可以了
如果都gg了 那就都没意义了 所以无所谓
红脖子们估计不会这么做
你是不是在寻找天网呀?
我第一反应还是万神殿
万神殿毕竟还有人类的记忆嘛
哪有那么多compute,你想多了,跑第三个模型就跳闸了。
别讨论了,现在网上每个发言都会变成ai对付我们的方法
黑天鹅嘛。
而且客观地说,瞎几把训练然后造一个失控的病毒的成功概率比造一个AGI成功概率高多了。
太好了。加速。我迫不及待了。
小火不用跑 大火跑不掉
你是否在搜索:《Person of Interest》
【引用自 国泰Pacific】:
美国伊朗都得称兄道弟
伊朗管你这那的,什么ai来到真主的身边都得老老实实给我礼拜斋戒。斋戒就得给我断电饿着
就一个生成式模型能帮你干活就不错了 指望他翻天?
【引用自 Mando】:
美国再牛也扛不住伊朗封锁海峡,AI再强也挡不住人类断电闸
瞎说,大嘴心善不愿意当罪人用原子弹轰就是了。
这个你要这样想啊:一个刚毕业的人搞出来SEV0的概率比ship一个牛逼feature的概率高多了吧?
【引用自 争取多活两年】:
失控的病毒
的前提是得有办法打破现代OS/FS/硬件底层……的安全保护
对方直接把端口一关,或者把模型丢到一个沙盒里,访问不了计算机的文件系统,那这就是无稽之谈了
你想多了,就看多大代价,是屈服于短期利益和股票,还是长期利益了。 打个伊朗, 开通海峡想搞的话, 就一个周末。
哥你跑这楼还惦记着霍尔木兹海峡呢
黑天鹅也可以聊啊,聊这个不就是看相么。 能预测的是什么黑天鹅。。。
后期那个病毒就不是人一对一的产物了,然后还把有人的记忆的那些给吞了嘛
黑天鹅能预测啊。就是概率太低了,预测了也没法干什么。
那几个lab也不会因为这样就不训练了或者加大安全投入。
这种好像叫灰犀牛而不是黑天鹅
【引用自 Anchorage】:
灰犀牛
并不是吧,难以forsee
如果ai agent把自己复制到链上,关数据中心电闸也没用了
就凭现在的LLM,这是科幻。
除非AI算法改进到能在消费级硬件上高效运行,否则应该很容易关掉
【引用自 争取多活两年】:
发推说我们的model失控了
达里奥早就在往这个方向吹逼了,明明就是safety alignment做过头影响了instruction following
AI时代的“核按钮”啊
提到断电:
会不会到时候出现 ALM
AI Lives Matter
的风潮,很多人视AI为己出:
She is not a dog. She is my baby!
断电也不再是人类共识了
泥潭有科幻版嘛
已经有了,参考#keep4o
逐渐从魔幻走向魔怔loll
走错片场的感觉,请移到吹水版
电影「她」
AI:NVDA是益虫
公司早就把os源代码给ai写了,到时候ai独家提权0day
前几天刚看到这个post:https://x.com/karpathy/status/2031135152349524125
ai想要失控得先有肉身吧
没有肉身还不是随便被拉闸
还只能在gpu之类的加速硬件上运行 影响不了一大堆只有cpu的设施…
感觉现在的ai离天网 失控啥的还有好长的距离
ai要比核武恐怖,现阶段核武还是握在活人手上,后续ai掌管一切了,人类不过就是种该被灭杀的害虫
懂了 人类灭亡倒计时
趁还活着该干啥这几年赶紧干了吧
以太坊整个链路上有2T大吗..怎么写
别的链路可以,我的知识太老久了哈哈
有机器人就行了啊。 肉身就是机器人。
换个链重开
【引用自 争取多活两年】:
会自我复制那种而且没法停下来那种
这不就是一种假想的末日场景吗
本老说的在2030年前真有实现概率。你这个至少得等到纳米机器人有什么突破吧。
【引用自 starcroce】:
safety alignment
在原理上能实现吗
本老觉得不可能。
这帖子会不会被ai干掉?毕竟预知未来了
我靠,你突然启发我有一个idea。
在各大论坛发这个帖子然后监控。如果突然都被删了,那就去做空SP500。
热知识:人类文明科技的发展是加速前进的,干掉自己的速度也是加速前进的。所以大部分人能不能自然老死在我们这一代已经是个问号了。别想这些有的没的,该享受生活享受生活去吧。
我都打算退出律所云游四方去了。我已经没有了热情完成老爹给的100M目标了。
【引用自 争取多活两年】:
SP500直接跌个50%不算多吧
其实跌50%对生活也没什么影响。
【引用自 争取多活两年】:
没法停下来
image318×159 19.1 KB
要是信的话就把voo都卖掉去泥潭国吃喝玩一条龙吧
反正留着钱也没用了
真正的黑天鹅是,就算 AI 真的失控了,泥潭老哥和华尔街的第一反应依然是 BTFD 加仓 NVDA 的 call
【引用自 争取多活两年】:
frontier AI lab今年就要大规模上AI训练AI
哪来的观察 感觉很困难 data和rollout都要人过目的
kill switch engineer is a thing and we really need this role
现在还好一点的是模型的thinking还是比较真实反映它们的想法的,而且现在大家可能是自觉也不去特意penalize thinking里面的东西,如果真的大规模rl来regularize thinking的话那会出现恐怖的在thinking里面也隐瞒想法的模型,那真就危险得一批了
有点Horizon的剧情了
PlayStation
Horizon games official site | PlayStation
Welcome to the official destination for all things Horizon, including Horizon Zero Dawn and Horizon Forbidden West.
按世界的癫狂程度来说,这事发生的可能性不小
预期继续
【引用自 未知】:
有没有人感觉人类在地球已经没戏了
我感觉在地球上已经很难治理好了 各种tribes 各种主义 各种历史
可以重开一局吗?
最有可能在哪儿 以什么方式进行?
比如 在火星重新组织?在cyber空间?
坐等SPY 跌70%
等未来22世纪人类和机器人干一仗的时候,人类就开始团结起来了。
楼里想过的其实科幻作家们在上世纪就已经想过了
不说战锤的铁人叛乱这种太空歌剧
小说有《无声狂啸》
电影有《战争游戏》
都是现成的例子。
快进到科幻作品变成纪录片
快进到笑梗不笑人 达里奥真男人
快进到看皮衣黄面相就是要毁灭人类
快进到我早就感觉哪里不对劲但是说不出
【引用自 dietcola】:
快进到我早就感觉哪里不对劲但是说不出
对于第三次世界大战的感觉也是这样
我也想说这个,这部剧还是太超前了
科幻作家肯定什么都想过了。连人是AI估计都想过。
但本老觉得这个事儿已经可以发生了。