为什么国内ai公司这么强?
中美AI差距源于资源、人才与工程效率的差异。
1. 关键信息
- 中国AI公司以算法巧思与极致工程化弥补算力劣势,MoE优化与FP8训练显著提升算力利用率[#26]。
- 人才方面,中国拥有规模巨大的廉价顶级工程师群体,迭代速度远超美国[#26][#84]。
- 数据与infra细节决定成败,LLM训练均需多样化数据,蒸馏技术已成行业标配[#93][#122]。
- 领导力是关键因素,懂技术的管理者能显著提升团队效率[#118]。
- 先发优势与组织文化差异:Google与DeepMind的技术沉淀与用人机制领先[#2][#24][#116]。
2. 羊毛/优惠信息
无
3. 最新动态
无
4. 争议或不同意见
- 是否低估美国大厂实力与数据资源[#94][#126]。
- 国内模型在代码能力与生态位上仍落后于闭源模型[#131][#139]。
- 企业文化与制度差异导致工程效率分化[#141]。
5. 行动建议
- 聚焦算法优化与工程效率提升,务实推进infra建设。
- 加强数据积累与多样化,避免过度依赖蒸馏。
- 引进懂技术、重执行的领导力,改进组织文化。
美国的传统大厂微软 亚马逊 meta等开出来顶级工资,无限资源。连个有亮点的模型都做不出来。
但是国内别说deepseek了,minimax这类startup了,连阿里/字节这种传统大厂都能做出来qwen/豆包这种有亮点的模型,
美国的传统大厂怎么了?
你是不是故意忽略 Google?
ChatGPT挖走了
我另外一个帖子说了:google是唯一真神 不参与传统大厂排名。
这个很难说,传统大厂里的走的大部分本来也不是做大模型的。
【引用自 Startrek】:
无限资源
美国缺电。缺工程师。
但是 meta 也搞出过llama 1, 2, 3。
微软也曾经有比较好的小模型。
但是美国可以用美国的gpt,gemini模型。
中国被封锁,不许用啊,只能自己肝了。
前面有人提谷歌 作为一个每天高频使用ai网页版手机版的非码农背景用户来说 谷歌悄咪咪的现在把整个生态搞得越来越好用了 感觉是抄也好迭代也好 反正现在语音呀视频呀gemini内把谷歌全家桶都衔接在一起我现在邮件日历gps文档云盘ai 有全盘记忆 带自学 还听话 整体产品线他家用得最多, gpt已经取消了paid plan ,虽然我觉得语言逻辑还是claude厉害但是拭目以待 各家继续卷起来
【引用自 tomandjerry】:
美国缺电。缺工程师
缺电也许,但是工程师真不一定缺。
那么多开源模型,有人才有算力 (算力比人更重要), 要搞个minimax 水平的模型出来应该是不难的。
Meta 这种又有人又有算力的搞成这样,只能是 org 和 leader 的问题了
难道微软和amazon也有类似的问题么?
这些ai lab的工资不如meta但是资源也秒杀国内startup了吧。
Meta就是傻逼,小渣被这帮人骗钱,跟范伟被卖拐一样。
我一直觉得,被骗的前提可能是你有所求。所以被骗不值得同情
我想问的是:ai发展的决定性因素是什么? 资源?人才?领导?
微软和 Amazon 都对 AI 大模型公司有非常大的投资。所以我不知道他们有没有做过非常大的努力在开发自己的模型上。
amazon我不知道工资如何,但是微软的工资绝对是有吸引力的,应该投入非常可观。
建议再发一贴:为什么美国ai公司这么强?
为啥Anthropic,OpenAi,Google能常年霸榜前三
【引用自 xeraz】:
Anthropic,OpenAi,Google
有道理,你已经帮我问了?我觉得是先发优势:比别人早半年发布新模型,很多工程问题都是要踩过坑才行,不懂技术的领导最大的特点就是不允许失败,这种公司也不会成功。
开发大模型工资真的是苍蝇腿了,真正的投资应该是在开发自己的模型上能投入微软和 Amazon 自己云上的多少算力。毕竟现在算力那么紧缺,给自己开发模型了,云的少了一份收入
因为人矿丰富价格低廉
【引用自 Startrek】:
先发优势
这块百度不应该是遥遥领先吗
黄埔军校是这样的
但是lu qi也是从微软走出来的?所以还是美国有先发优势的。
【引用自 icework】:
投入微软和 Amazon 自己云上的多少算力。
这么说微软和amazon技术沉淀还是比谷歌差太多了。
anthropic创始人不是从百度走出来的?肯定百度有先发优势啊
谷歌还是这世界上技术沉淀最强的公司,没有之一。即使这样,没有哈萨比斯,Gemini 现在能有多强也都是个问号。
国内是百花齐放不只是 AI 强
无人机、AI、军工、制造业、电车、机器人,哪个不强?
各位在美国没那么卷就偷着乐吧,回国会被这些真正的人才卷到渣都不剩
gemini的回答:
美国大厂受限于官僚架构与算力分散,缺乏极致的效率。而中国凭借基数巨大的顶级廉价天才、极高的工程效率及“破釜沉舟”的追赶动力,在模型优化与落地上展现出压制性优势。
针对中国 AI 企业(如 DeepSeek、Qwen)在工程实现上的亮点,以下是它们超越美国传统大厂(如亚马逊、微软等)的核心技术路径总结:
1. 极致的算力利用率 (Efficiency-First)
由于算力受限,中国企业被迫在算法层面寻求“暴力美学”之外的解法:
混合专家模型 (MoE) 的深度优化:DeepSeek 等通过极高比例的激活参数控制,实现了“用 1/10 的算力跑出全量模型效果”。
计算与存储的精细平衡:在 FP8 训练、流水线并行等方面,中国团队的工程实现往往比美国大厂更激进,单位算力的产出比(Performance per Watt/Dollar)极高。
2. “人才红利”带来的迭代速度
超级天才的密集投入:正如你所提到的,中国拥有规模巨大的顶级算法工程师群体。这些“廉价且高效”的天才在 startup 或大厂的核心 Lab 中,以远超硅谷的工时和响应速度进行实验迭代。
工程化直觉:相比于美国大厂倾向于“实验室式”的探索,中国团队更擅长工程化落地,能迅速将最新的学术论文(如 FlashAttention 等)在生产环境中优化到极致。
3. 数据处理的“重体力活”
高质量中文语料清洗:在处理海量非结构化数据时,中国公司投入了大量人力进行精细化标注和清洗,这种“重型工程”确保了模型在特定语境和逻辑推理上的亮点。
对比总结
维度
美国传统大厂 (MSFT/AMZN/META)
中国 AI 新势力 (DeepSeek/Qwen)
核心驱动
资本与算力堆砌
算法巧思 + 极致工程化
组织架构
官僚化、决策慢、算力分散
扁平化、All-in 单一目标
人才优势
全球顶尖科学家 (昂贵/自由)
顶级廉价天才 (高效/高压)
其实我也挺好奇,ai国内不说能强过美国但至少能说比肩美国,其他一些领域也是如此,但航空航天却相差甚远
【引用自 Skyler2022】:
混合专家模型 (MoE) 的深度优化:DeepSeek 等通过极高比例的激活参数控制,实现了“用 1/10 的算力跑出全量模型效果”。
我给小渣和纳德拉出一计:直接去国内开个ai lab。省钱省时间。
【引用自 llbean】:
但航空航天
这个也差的不远把?
真正差的远的是医药行业··· 但是中国韭菜的命不值钱,所以国家没有动力花钱发展这个。
【引用自 llbean】:
航空航天却相差甚远
差了十年。。
国内之前一直不放开民营航空,自己傻逼没办法。
【引用自 诸葛亮】:
真正差的远的是医药行业··· 但是中国韭菜的命不值钱,所以国家没有动力花钱发展这个。
被中医拖累了,研究中医的钱拿来正经研发,人类早就长生不老了
【引用自 IRS_pro】:
中医拖累
不是 你没看最近国内创新药么?美国公司都不自己研发,都直接买国内的。
image690×528 55.1 KB
【引用自 llbean】:
航空航天却相差甚远
这个领域欠账太多, 先进国家开放度也不够
国家在这上面的人才投入也不够,比起ai
但是我觉得追上也是早晚的
【引用自 Startrek】:
美国公司都不自己研发,都直接买国内的。
举个例子?
【引用自 Skyler2022】:
计算与存储的精细平衡:在 FP8 训练、流水线并行等方面,中国团队的工程实现往往比美国大厂更激进,单位算力的产出比(Performance per Watt/Dollar)极高。
为什么美国的厂不愿意这么干?
21jingji.com
中国创新药再突破:15.3亿美元授权交易背后的全球定价权 - 21经济网
BD首付款正成为稳定企业现金流、降低融资依赖的“压舱石”
随便搜搜都是这种,国内创新药方面绝对和美国难分伯仲了。
只是缺乏辉瑞这种巨型药企。
果然一说中国哪里好就会有人说人多便宜政府垃圾
请全文背诵 《生于忧患,死于安乐》 答案都在里面
是的,典型stereotype,不反思自己的问题,就知道酸言酸语。
在错误的地方。不应在此论坛谈论如此严肃的问题。
【引用自 Startrek】:
随便搜搜都是这种,国内创新药方面绝对和美国难分伯仲了。
这些不叫药啊···· 只是化学生物成分。
FDA 批了,能在市场上卖的才叫药。
制药大约几步:动物实验 - Ph1 - Ph2 - Ph3
中国这些,最多到Ph1。但是关键Ph2 Ph3才是投资和收益(以及风险)的大头。
你看一年所有加一起才15亿美元这点···· Keytruda一个药,一年就卖300多亿
【引用自 llbean】:
航空航天却相差甚远
突然看到一个新闻
3月7日,全国政协委员王亚平在参加政协界别小组讨论时透露,中国航天向更深远太空迈进的步伐正在加快,航天员中心正在牵头申报地外生存地基研究设施,要解决未来在地球以外星球上长期生存问题。
amz没法蒸馏claude
从公开的技术报告上来看nemotron蒸的也全是open source model
国内大厂也就seed是自己搞出来的吧
【引用自 Startrek】:
这些ai lab的工资不如meta但是资源也秒杀国内startup了吧。
能做出好模型的人都被其他公司收走了
国内不缺做题家啊, 连诈骗集团都能招一堆做deep learning的理科博士精确定位
meta的人才不能算少吧
不是做llm的 好像精度低虽然算得快但是会稍微降低模型performance?ds降到fp8好像纯粹是因为被限制了算力
3月7日,全国政协委员王亚平在参加政协界别小组讨论时透露,中国航天向更深远太空迈进的步伐正在加快,航天员中心正在牵头申报地外生存地基研究设施,要解决未来在地球以外星球上长期生存问题。“载人航天事业的飞速发展再一次令我深刻体会到,能生活在强大而稳定的中国是多么幸福,能赶上好时代是多么幸运!”
强确实是强,但是就产品而言和美国公司的还是有很大差距。尽管我每天高强度用deepseek等国货,但我依然只能把它当百度用,但凡需要认真做的任务都要找回GPT、Gemini、Claude这些,国内的AI产品在质量上还是差挺远的,但无奈美国的产品都要收费,我只能将大量的低质量的任务丢给免费的产品了
先问是不是,再问为什么
【引用自 Startrek】:
纳德拉出一计:直接去国内开个ai lab。省钱省时间
然而你想的东西,微软快三十年前就做了。。只不过现在因为地缘政治的问题越来越冷淡了
你是否在找:微软亚洲研究院
国内聪明的人还是很多的。人口基数,加上从小鸡娃。
你这中国只挑强的,美国只挑弱的说啥意思。。。那美团 京东 拼多多怎么没有好模型呢
【引用自 老瓢虫】:
美团 京东 拼多多
这些在国内本来也是二线公司吧,对应doordash,uber,ebay这类,我也没指望他们做出来什么。
那国内一线公司是啥?
错误的,美团肯定不是。而且按这么说百度得算3线
字节-》meta
腾讯-〉微软
阿里-》amazon
这么看最垃的是腾讯
【引用自 老瓢虫】:
百度得算3线
从各方面看都是三线了。
已经跌落悬崖了。
这几个认同,但是不认同你说其他那几家不是一线。
百度还有文心一言呢,结合你的主贴,得出结论美国一线不如国内三线
【引用自 老瓢虫】:
文心
这个太恶劣了 做实抄袭
别的不说,就说做黄图做AV这块,谁比得过grok?
【引用自 tomandjerry】:
meta 也搞出过llama 1, 2, 3。
这个资源要是给国内公司,那早就爆了。 有不少厂有一个通病,就是不对细节。现在,被dspk开始带起来的,大家都在强调infra和内科。之前只有oai(其实oai比较重视infra但是早期也不怎么重视内科)和claude重视,大家都是“差不多就行了”的态度,不知道这些细枝末节就是成败的关键。llama 3、4训练平均2天就得崩一次都不去解决infra问题。
腾讯也没做出来呀
而且美国大厂很多其实是考虑到投入产出比就不想做了,比如apple早早宣布接入GPT;相反国内大厂总是喜欢蜂拥式的内卷,但实质上除了Qwen都和御三家有很大的差距,zhipu这种也是国资背景撑起来的
阿里能做出来完全就是junyang在力挽狂澜。seed不说美国,就只算国内的算力都是qwen的3倍。infra更是无敌。阿里顶层根本没当回事。cloud的部门的KPI看的是从客户手上赚了多少钱,不是看服务Qwen基模团队怎么样。导致阿里的infra事实上也是一团糟。大公司特有的只要不是创始人下场,大家伙就不动弹,生怕改出问题影响营收。(况且各个部门已经分好了蛋糕了,凭什么你打着AI的旗子就一定要重新给你分一块)
【引用自 NeurIPS】:
不知道这些细枝末节就是成败的关键。llama 3、4训练平均2天就得崩一次都不去解决infra问题。
这个我太同意了,所以国内真正能和oai 人类学一个level的就是DeepSeek。
不知道国内,但是美国我的感觉是太多人在骗人:真就是纯纯撒谎,明明不懂细节,看几篇文章就开始忽悠不懂细节的CEO了。基本上所有的大厂都充斥这种人,问框架各个和你说的天花乱坠,一问细节就露馅。这种就没有抱着好好做事的心态,失败是必然的。
高层是自己也是满嘴跑火车
【引用自 Startrek】:
国内真正能和oai 人类学一个level的就是DeepSeek
其他我不知道,但是kimi、zhipu确实也不简单。我认识他们的人。
【引用自 AppleVisionPro】:
高层是自己
这里面最大的问题:ceo不找真正懂技术的专家,反而找一群不懂技术的。alphabet能逆势反超,因为deepmind的头是真的懂。
反观其他几个大厂的负责人。。。
还有一个事情我觉得可以拿出来说的。Qwen和Gemini背后都有一个集团,有这么大的差别其实阿里是真的需要反思的。Gemini获得的是整个集团的支持,什么Cloud, Gmail,Youtube,Search业务数据都给了。而Qwen连老本行淘天的业务数据都拿不到,全是自己爬的开源数据。每个部门都想搞自己的一块。部门与部门之间和防贼一样。顶层根本没有战略性支持。
【引用自 NeurIPS】:
Gemini获得的是整个集团的支持,什么Cloud, Gmail,Youtube,Search业务数据都给了。而Qwen连老本行淘天的业务数据都拿不到,全是自己爬的开源数据。每个部门都想搞自己的一块。部门与部门之间和防贼一样。顶层根本没有战略性支持。
要创始人亲自下场怼人
不然g家现在的情况可能还不如阿里
【引用自 ByteSlack】:
要创始人亲自下场怼人
是的,这就是关键。
Meta文化太毒,互相拆台的卷。
苹果内部太碎片化,管理混乱。
加上三哥高层得骚操作,比得上中国才怪。
【引用自 ByteSlack】:
要创始人亲自下场怼人
那meta怼的最狠也没成啊,直接给fair怼没了
对啊。靠三哥美国是搞不过天朝的
genAI拯救了狗。
狗其实和国内大厂差不多,最怕没能抄的对象。
那是因为zuck根本就是个投机小偷,他不懂技术。Yann又是一个很有理想的人,他不想在“自行车”刚被发明出来的时候就all in“自行车厂”。天天琢磨怎么“造汽车原型”。管llama的剩下的人又是和稀泥好手,啥东西都是随意,这样一个组合搞不出LLM很正常的。
必要条件不是充分条件啊。
gpt本来就源自狗家。家真牛人还是很多的。前几年多是背劈柴耽误了
我一直建议Meta收购百度
伯格的执行力+艳红的眼光
我都不敢想有多强。
不是劈柴耽误了,而是公司大了就这样。一样的道理可以解释OAI怎么养出来人类学这么个竞争对手的。
【引用自 争取多活两年】:
+艳红的眼光
真是每次都看准方向,每次都执行失败。
其实我感觉我也是这样的人,知道什么是对的方向,但是能力不足以支撑我走向它。
因为中国的人才多,每年疯狂输出一大堆搞AI的master,美国毕业要5年才出来PhD,中国master基本都要搞学术,3年速成跑去上班正正好。而且数理基础确实好,很多方向转AI很无痛。君不见美国搞Ai的也是中国人扎堆嘛
所以咱俩在这灌水,伯格在玩儿嫩模呀。艳红要不是娶了个悍妇估计也在这儿灌水呢。
【引用自 xxxyyy】:
因为中国的人才多,每年疯狂输出一大堆搞AI的master,美国毕业要5年才出来PhD,中国master基本都要搞学术,3年速成跑去上班正正好。
不是根本原因,美国这边搞ai的也很多本科/硕士/博士quit出来的
有一阵子xAI的researcher没毕业的phd dropout比毕业的phd还多
【引用自 ByteSlack】:
美国这边搞ai的也很多本科/硕士/博士quit出来的
更说明原因了。美国这PhD太久了,读完黄花菜凉了,所以人恨不得quit来搞。
靠quit又能几个人呢?大部分人还是老老实实读完的,搞的人才全在读书了。我身边遇到的AI方向的在读PhD都焦虑得很,恨不得马上毕业,生怕毕业晚了没位置了
【引用自 xxxyyy】:
生怕毕业晚
真的,我现在最最后悔的就是phd没有第二年quit。现在说这些又有什么用呢
【引用自 Startrek】:
所以国内真正能和oai 人类学一个level的就是DeepSeek
能有这个认知说明你基本不懂llm,DS已经拉完了,自从r1之后无论是新模型还是paper都是一坨,mHC OCR一个比一个扯淡,说白了DS唯一的实质贡献就是GRPO,还有一个附加作用就是r1让大家意识到了distillation的重要性
【引用自 NeurIPS】:
kimi、zhipu
kimi zhipu至少给人他们在认真训模型的感觉,ds一年了啥都没做出来。国内在junyang离职前的排名应该是qwen>seed>zhipu minimax kimi>美团 蚂蚁 deepseek>stepfun 腾讯 其他
我确实不懂。。
【引用自 FancyIX】:
gpt本来就源自狗家
transformer源于狗家,但狗家被带偏了去做bert了,decoder-only的gpt路线完全是抄的openai
【引用自 Startrek】:
直接给fair怼没了
LeCun主导的fair本来对llm发展就是负作用,他既不懂也不认可llm,还停留在academia水paper那一套思维模式,能训出来好用的模型就怪了
【引用自 PPO】:
能训出来好用的模型就怪了
那怎么就能训练出来AI呢?请个做数据标注的ceo?
【引用自 Startrek】:
做数据标注的ceo?
其实现在industry最重要的还真是数据,llm无论architecture还是RL algorithm上的discovery我认为都已经足够完善了,更多所谓的research都是水paper导向的,并没有什么实质意义;想刷榜只能靠自家的数据优势,像Google有自身各种应用的海量数据,Anthropic大量购买纸质书扫描成数据等等
大佬啊,那meta不能说缺乏数据吧,为啥也做不出来啊?
的确缺数据。用户刷app的数据有个头用啊。都是垃圾。
个人觉得有一个被低估的因素:国内的产品经理和工程师对"用户愿不愿意用"的感知比硅谷快得多,因为他们自己就是目标用户,每天在微信和抖音上泡着。海外很多ai产品是工程师 build for engineers,国内上来直接给大妈用。这种设计直觉很难靠资本砸出来的。
【引用自 yokii】:
每天在微信和抖音上泡着
华人工程师不喜欢用美国app,不代表其他族裔的工程师不喜欢用啊,这个不成立。
【引用自 Startrek】:
华人工程师不喜欢用美国app,不代表其他族裔的工程师不喜欢用啊,这个不成立。
实际上产品的感知的比例明显偏低,在上一波移动互联网时代,国内的速度和产品明显比北美铺的更快更强 。
但做出来都是:小而美的20G微信
那就是你不懂产品了。
讲道理我也不懂,每次我觉得垃圾的功能都有好多人用。我也不知道为啥。
当然要是都像我这样一个广告都不点的人估计各大公司早破产了
我觉得 Google 最大的问题在于,它的 Tool 实在是调用不出来
没有同情他,他一个fomo被骗走几十个b,没有比他人傻钱多的了。
【引用自 Startrek】:
其实我感觉我也是这样的人,知道什么是对的方向,但是能力不足以支撑我走向它。
哥们,这条删了呗,我是无所谓的,没那么容易破防的,真的,我不轻易破防,但是我一个朋友可能有点汗流浃背了,他不太舒服想睡了,当然不是我哈,我一直都是行的,以一个旁观者的心态看吧,也不至于破防吧,就是想照顾下我朋友的感受,他有点破防了,还是建议删了吧,当然删不删随你,我是没感觉的,就是为朋友感到不平罢了,也不是那么轻易破防的。
【引用自 PPO】:
ds一年了啥都没做出来
在scale mHC,让子弹再飞一会。
【引用自 fishfood】:
没有同情他,
但我同情meta股民,他发的是rsu可不是自掏腰包吖
国内爱招ai产品经理 好像是新时代银行柜员
说起来,Gemini 1.5还蒸馏过文心一言呢。当时用中文问,你是谁训练的,会得到文心一言的答案。
如果搞不清楚蒸馏和pretrainig data的区别,建议不要参与LLM技术讨论
?我是吃这碗饭的
哈哈,介意说一下贵司是哪个吗
bro,这哪能“实名”啊 ,泥潭问的问题这么多,不合适
如果你说infra的话 现在国内几家startup都还可以 seed就更不用说了
【引用自 Startrek】:
meta的人才不能算少吧
可以看看之后avocado效果怎么样 llama4属于是能看的级别 要我说也没有很离谱只是没有达到top的水平
【引用自 PPO】:
国内在junyang离职前的排名应该是qwen>seed>zhipu minimax
但我是感觉seed > qwen 资源多infra自己掌握 而且据说是没有蒸馏
【引用自 st333】:
据说是没有蒸馏
seed后训练和RL上猛料,据说有1M个docker。但是,seed 2.0听说coding bench崩了,比预期差不少。SWE-Verified之类的都没报了。
美国的六代机高超音速导弹呢?
这严重暴露认知水平了都
【引用自 icework】:
谷歌还是这世界上技术沉淀最强的公司,没有之一
有最多的技术官僚的公司吧。得亏了GDM相对比较独立,重用新入职场不久的年轻人。按照谷歌的文化,真是没有一丝可能做出好东西。这方面真是比阿里字节等等差太远了。国内的公司很务实。
【引用自 Startrek】:
因为deepmind的头是真的懂。
那你看Microsoft AI也花重金招人了,然后呢?做出来的模型叫什么名字?
【引用自 kythe】:
Microsoft AI也花重金招人了
这就是领导的差别,Mustafa无论技术还是人品都是非常差,招他来,Microsoft ai能做出来就怪了。
所以讨论这么多,我觉得在资源不是有质的差距的情况下,招一个懂技术的管理人是大模型成功的最大factor。
【引用自 Startrek】:
Mustafa无论技术还是人品都是非常差
展开讲讲?对这人不是很了解
【引用自 peridot】:
展开讲讲?对这人不是很了解
这么说吧,只要接触过这个人,那你对toxic这个词的理解会上一个维度。
【引用自 st333】:
据说是没有蒸馏
这个其实没必要据说,美国这几家都在互相蒸,现在没有一家是没蒸馏的,只是蒸馏的技术高低之分
【引用自 st333】:
感觉seed > qwen
实际体验可能因人而异,但seed不开源算是一个痛点,导致它的exposure不如qwen
【引用自 PPO】:
美国这几家都在互相蒸,现在没有一家是没蒸馏的
太对了,总是有人拿这个攻击别人。张口闭口就是国内大模型都是蒸馏的。好像蒸馏了就是小偷似的 。现在就没有不蒸馏的,只不过是蒸馏占比多少的问题。OAI不提供真实CoT了本质上就是为了防止蒸馏。但是其实可以再rewrite一个差不多的CoT,问题也不大。其实都是脏活累活。
那现在都蒸馏,模型的上限不会很快到么。。
每家都会有自己的新数据,每家也都会有自己的后训练调教。就算是No.1模型也不代表它不需要蒸馏No.2,其实只要是有意义(diversity很重要)且有逻辑的话,都能help。甚至小模型的trajectory还能反过来反哺大模型,混一些进去效果挺好的。你可以理解成,间接的好像大家都在做decentralized learning似的,相互之间somehow是一直有交流的,但是每个node也有自己的数据。
具体一点,显然a家的code要比剩下的能力高一大截,oai的综合对话能力和数学要强,g家的svg很厉害现在数学和综合可以说和oai是互有胜负。在自然沟通这一块,中国人比较习惯seed,老外一般会觉得gork不错。
大佬,我有一点不能理解,既然大家现在都卷代码,为啥还要用网络上的非代码数据训练呢,直接用自家码农卷的屎山不是效果更好?
【引用自 Startrek】:
用网络上的非代码数据训练呢
LLM训练出来的受众群体不可能单一,这种产品就必须什么数据都得要,为了数据飞轮可以转的起来,那必须什么人群都照顾到。这些团队有一些很重要的工作,就是去想有什么edge case的benchmark在公开的benchmark中没人提到的。所以你会发现很多benchmark刚出来,开源模型被打爆了但是闭源模型somehow就是表现得还勉强。就是因为人家就是见多识广,真的都见过了。内部很多benchmark以及对应的RL环境。
非要分流也不是不行,OAI现在不是有codex model和general的对话模型两条线。但这个只是暂时的,最终必然是会回到一个model上去的。大锅饭还是好吃,很多优化能省不少成本。
【引用自 Startrek】:
接用自家码农卷的屎山不是效果更好
另外,数据是越多越好的。咱就是说为什么不能都要?
您觉得距离ai自己写代码训练自己还有多远啊?
作为码农感觉真要丢工作了
丢工作不至于,但是缩招是肯定的,总是需要人审核代码的。
【引用自 Startrek】:
距离ai自己写代码训练自己还有多远啊?
happening now,至少有A门的水平了
analemma.ai
Analemma
【引用自 mgnt.adv】:
happening now,至少有A门的水平了
Analemma
其实我对这个不意外:我读博的时候就觉得90%的所谓研究都没有什么意义。这里研究最大的特点就是:把在A领域内老掉牙的概念转移到另外一个没接触过这个概念的领域。
AI能做出来的研究,说明这个问题压根不值得被研究。
确实是这样…绝大多数工作都是在做内插,外推的工作很少。DL models最擅长内插了。
+1 闭源模型的生态位很尴尬。如果没有类似 Claude Code 那样的杀手级应用,纯粹靠 API 很难在大模型红海里杀出来
【引用自 mgnt.adv】:
内插
感觉ai的存在的正面意义是让让人类少花时间做这种没有的意义的信息搬运,而是转向拓展人类认知的边界。
听说 Microsoft AI 现在的 HC 还在开,但如果你是那种追求 技术纯粹性 的工程师,进 Mustafa 的组前先去 Blind 上刷刷那些血泪史。现在的 HC 多半是给那些能扛得住的狠人准备的。
【引用自 harvey8】:
进 Mustafa 的组前先去 Blind 上刷刷那些血泪史。
我觉得真正的牛人也许冷酷,但是绝不会像Mustafa这样toxic。
比人比不过,比卷更比不过,现在能平起平坐都算是好日子了,过多几年再看看
【引用自 KingGrimlock】:
,比卷更比不过,
不能这么说吧,oai内部也很卷啊,你说meta员工不卷么?
当然现在国内顶尖ai人才出不来是真的。清华很多牛人之前还会出国读phd,现在都留校了。
【引用自 KingGrimlock】:
比人比不过,比卷更比不过
这个领域早就是在中国的中国人vs在美国的中国人了
感觉国内AI公司跟美国AI公司基本都能对标,且国内都是开源,美国都是闭源。
阿里qwen对标谷歌gemini (自有云、自家产品生态成熟、阿里没有TPU是硬伤)
deepseek对标openai (卷前沿模型、攻AI基础理论和foundation model)
智谱对标claude (卷应用,尤其是编程应用)
除此之外国内还有豆包依托字节卷用户体验;kimi、minimax等独角兽打价格战
虽然国内离顶尖模型差点,考虑到中国也买不到顶级芯片,这几个月差距迟早也会被抹平。
我试用过国内几家的模型 minimax,kimi,deepseek 在写代码这块 感觉离claude sonnet都差不少 更别提opus了
目前留了minimax的coding plan, 用来做一些工具调用 感觉比gemini好用而且更便宜
差别在于制度,企业文化?
领导层面PPT盛行,动动嘴皮就行,聪明人谁人愿做工程师?
工程师层面搜刮全世界人才进行圈养,90%的工程师实际也就干着职高生就能胜任的工作,没几年就废了。
这个up太照骗了
啊 还行吧 美颜是这样的 这女的还声称自己是知识博主里最会擦边的
瘦得有点吓人了
为什么我感觉gemini的幻觉最严重。。
我现在挺烦gemini的,仗着有你的数据,明目张胆的在各种跨话题里插入你其他隐私。只是个简单的问题,竟然还搜了你的邮箱,他妈的
10001720751080×2376 235 KB
关掉smart feature
已关
然后在chat的时候总是弹窗让你打开