我被 gemini 的 context window size 震惊了
大模型上下文窗口普遍扩展至1M+ token，技术突破引发讨论。
1. 关键信息
- 1M token 成为多款模型（如 Gemini 1.5 Pro/Flash、Claude 4.6 Opus）标准配置，#1、#2、#5、#7、#11、#12、#18。
- 实际有效上下文可能远低于标称值，#10、#13。
- RoPE 与可扩展性（Scalability）为核心技术议题，#16、#17。
- 不同平台/代理对同一模型设置不同窗口，#18。
2. 羊毛/优惠信息
无
3. 新动态
无
4. 争议或不同意见
- 算力提升是否真能解决问题，#3、#4、#9。
- 厂商承诺与实际支持存在落差，#6、#12。
- 压缩技术与架构设计是否已解决内存瓶颈，#2、#8、#15。
5. 行动建议
- 关注模型实际表现而非标称上限，#10、#13。
Gemini 1.5 Pro and Flash models feature a standard 1 million token context window, capable of processing over 1,500 pages of text, 30,000 lines of code, or 1 hour of video. Some versions and future updates are designed to support up to 2 million tokens. Transformer 什么时候能够处理这么长的数据了？是实现了什么技术突破吗？
Claude 4.6 opus 好像也是1m token 可能使用了某种压缩技术
等算力上去了就没关系了 感觉回到了小时候28K猫上网的年代，大家都在使劲优化程序体积，现在都没人在意了一个程序几个鸡的到处都是
window会指数变大 弯曲底特律化可能要不了几年了
https://llm-stats.com/ https://llm-stats.com/ Compare AI models in one AI leaderboard with rankings for top AI models, best AI models, and best LLMs by price, speed, and performance. 今夕是何年? 大部分 model 都是1m以及以上的context window了
不是，葛萌，1.5 Pro和1M窗口都多久以前的事情了……
下意识看了下发帖时间，1M的窗口的模型挺多了 /uploads/short-url/uP2OxG3JQDxiIrrMbP0qJfptHx2.jpeg?dl=1
flywire: window会指数变大 transformer 的 scalability issue 解决了吗？
See: 现在都没人在意了一个程序几个鸡的到处都是 mac 用户还是很在意，感谢厨子
只是模型最大支持这么多，并不代表实际跑的时候支持这么多，最近很多类似的模型都是发布那一会给了这么大的context，后来就降本了
啥？1m不是很多都做到了吗？有一点时间了吧
业界好像普遍这样，没办法。印象中，claude当年说好给200k，结果就给几十k，不知道是不是被抱怨太多了，后来又偷偷加回到160k。弄得云提供商一直在把锅甩回去说都是他们自己限制的，不是我们限制的
额…… A家1M都快大半年了吧，不过LLM focus不了那么多，大概300k的时候就开始降智了，如果是特别棘手的问题，还是要重开context。
村网通
你先别急
跟RoPE关系比较大
Rope貌似不能改变 memory usage?
同一个opus, 在不同的ai coding agent里面提供的context window size是不一样的 以前买东西, 买了啥东西, 是啥东西, 今天用和明天用不会变. 现在的提供商后台改了, 体验完全不一样
快进到随机输出吧