大胆预测:今后大学CS/AI专业的分水岭是预训练
预训练成为CS/AI专业核心能力筛选标准,资源门槛与工程价值引发争议。
1. 关键信息
- 预训练被视为CS/AI专业分水岭能力,类似EE的流片(#1, #4)。
- 小模型(如qwen 2B)预训练有意义,并非毫无用处(#1, #4, #16)。
- 旧GPU(A100/H100)资源因新架构(rubin)缓解,不再紧张(#1, #24)。
- 预训练工程难度高,涉及数据清洗、tokenizer、分布式训练(#1)。
- RL post training被认为更易上手且体现ML水平(#11, #12, #16)。
- 规模化深度学习训练(infra搭建与优化)被视为核心稀缺能力(#20)。
2. 羊毛/优惠信息
无
3. 最新动态
无
4. 争议或不同意见
- 多数人认为预训练对就业无用,仅少数人能完成(#3, #7, #10)。
- 有人质疑预训练与资源强相关,非能力本质(#10)。
- 比较类比争议:预训练 vs 手搓CPU/FPGA(#22, #24)。
- 观点对立:预训练简单 vs 极难(#16, #33)。