我们离端侧上运行GPT3.5还有多远？
端侧运行类GPT3.5模型的前景与挑战，以及对AI数据中心依赖的担忧。
1. 关键信息
- （之前已归纳）讨论了类GPT3.5模型在移动端（如iPhone 17 Pro级别硬件）独立运行的可能性。
- （之前已归纳）提到了Phi-4等小型语言模型（SLM）在通用任务上已接近GPT3.5的性能，并引用了相关研究。
- （之前已归纳）指出模型大小、数据质量和架构创新是关键，而非仅仅堆砌参数。
- （之前已归纳）存在对模型存储需求（如GPT3.5需要350G，i4需要128G）的担忧，认为需要类似dpsk的架构升级。
- 新增：有用户分享了Oracle和OpenAI关于德州数据中心扩建计划取消的新闻，并担忧数据中心泡沫破裂。
2. 羊毛/优惠信息
- 无
3. 最新动态
- 新增：Oracle和OpenAI取消了在德州扩建数据中心的计划。
4. 争议或不同意见
- （之前已归纳）对GPT3.5在移动端运行的存储需求存在疑虑。
- （之前已归纳）对OpenAI近期在架构创新上的不足表示不看好。
- 新增：对数据中心泡沫破裂的担忧。
5. 行动建议
- （之前已归纳）关注小型语言模型（SLM）的发展，并根据具体任务选择合适的模型（如推理用Phi，写代码用Nemo）。
- （之前已归纳）考虑Mac Mini等设备运行SLM的可能性，以及OpenClaw等平台的发展。
- 新增：让子弹飞一会儿，关注事态发展。
现在的数据中心狂潮都是基于未来推理需求必须通过集中运算才能实现。
什么时候移动端能独立运行等效GPT3.5能力的模型呢？
再加上在线搜索功能和外挂个性化模块应该能胜任大多数日常活动了吧。
到时数据中心会迎来新的定价和需求估算。
https://www.microsoft.com/en-us/research/blog/phi-4-reasoning-vision-and-the-lessons-of-training-a-multimodal-reasoning-model/
TECHCOMMUNITY.MICROSOFT.COM
Welcome to the new Phi-4 models - Microsoft Phi-4-mini & Phi-4-multimodal
Phi-4-mini brings significant enhancements in multilingual support, reasoning, and mathematics, and now, the long-awaited function calling feature is finally...
hackernoon.com
Small Language Models are Closing the Gap on Large Models | HackerNoon
A fine-tuned 3B model beat our 70B baseline. Here's why data quality and architecture innovations are ending the "bigger is better" era in AI.
你对移动端的场景定义是什么呢？是类似于车载的场景、还是说手机侧的场景、还是说直接植入体内的场景
等效于iphone 17 pro性能的硬件？
gpt3.5需要350G快速存储，在可观未来都不太可能吧。i4也需要128G的样子。
这种东西说到底还是需要dpsk那样的架构升级，所以现在可以用8G跑llama SLM，其实通用任务性能和GPT3.5差不多。如果要推理用phi，写代码用nemo之类的。模型越小肯定就越要选择。但是8G的话，一个Mac Mini就能跑了。这也是 OpenClaw 最近能够火起来的原因吧，说到底也是SLM的发展。话说回来也是我不太看好OAI这种最近架构创新比较少，全是在堆参数的原因
我可以在我的海马体里运行 gpt6 这个秘密我一般不告诉别人
开源一下海马体？
【引用自 illusionwing】:
gpt3.5需要350G快速存储
不论gemma还是phi 其实大多数场景已经不比3.5 turbo差了 性能需求里在移动端运行并不是很遥远
长尾情况下因为小模型肯定还是有缺陷
【引用自 illusionwing】:
dpsk
dpsk是啥
deepseek
double-penetrated south korean
第一直觉想到的是Differential Phase Shift Keying
海马体开源可以 海绵体开源达咩
Qwen 3.5 0.8B 手机上就可以运行
huggingface.co
Qwen/Qwen3.5-0.8B · Hugging Face
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
问题是gpt3.5参数又多性能也不好啊，也就现在现在1B的模型水平，现在手机也能运行这个水平的模型了吧
【引用自 otonoco】:
海绵体开源达咩
include BillHuang.海绵体
宝贝你今天好猛 感觉好不一样
【引用自 eRic.DDDDDX】:
BillHuang
ccea087f-4acf-4725-843e-79e5903a411e279×181 26.2 KB
Hwang
pip BillHwang
海马体还是海绵体
qwen3.5-9B的能力好像已经超过gpt 3.5了吧。iphone 17pro有12G运存，理论上已经能跑了。
ram跟vram速度还是不能比吧。
我在oci arm上跑个qwen 2.5 7b还是专门针对架构优化过的llama.cpp+q4_k_4量化也就只能跑出8t/s
主要是gpt3.5性能不行啊，楼主有机会试试2b的qwen，性能相当接近gpt 3.5
https://www.reuters.com/business/oracle-openai-end-plans-expand-texas-data-center-site-bloomberg-news-reports-2026-03-06/
DC泡沫可千万别爆啊 美利坚最后的独苗了
【引用自 otonoco】:
海绵体开源
怎么变hebe了？
不喜欢那我换就是了
喜欢吗
让子弹飞一会
我要小桃，你给我换回去