背完了支持多模态 rag 的agent，微调了一个小的大模型，没有厂子约面试
学生用低成本方案装模做项目应对面试。
1. 关键信息
- 面试需准备多模态 RAG agent 项目与微调小模型（7b）经验。
- 使用 GCP 300$ 免费信用及 Colab Pro 学生认证（#8、#13、#23）。
- 4090 性能有限，32b 模型全量微调至 7b（#10）。
- 数据来源为开源、脱敏、可商用的训练集，非教程复现（#20、#22）。
- flash attn 安装困难，学术界仍在使用 conda（#29）。
2. 羊毛/优惠信息
- GCP：300$ 免费信用。
- Colab Pro：学生认证每周数十小时 H200，kaggle 积分。
- AutoDL：学生认证 30$ / 24h，H800 80G 9$/小时（#23）。
- lightning.ai：手机号每月 15 积分，h200（#14）。
- 无明确卡种优惠。
3. 最新动态
- 帖子引发讨论，聚焦硬件性价比与项目真实性（#3、#10、#26）。
- 建议开源项目并 Twitter 推广，先发再迭代（#16、#18）。
4. 争议或不同意见
- 硬件选择分歧：4090 寒碜 vs GCP 云上 MLOps（#3、#8、#10）。
- 项目价值争议：toy 项目是否足以应对面试（#17、#21）。
- 盈利模式与 flashattn 必要性存在疑问（#26、#32）。
5. 行动建议
- 搭建并开源多模态 RAG 项目，落地数据与代码。
- 善用 GCP/Colab/AutoDL 降低成本，简历增加项目经历。
- 提前准备微调数据来源与 flash attn 安装方案。
面试官 会问我什么呢 装成啥样他才不会发现我是啥也没做的菜狗呢。。
学长宿舍里面有
换个学长吧 4090也太寒碜了
姐妹们又来团建啦
不是 到底微调大模型 用这个嘛？ 我得编一个吧
你到底会不会啊 别又放阴间小曲
为啥阴间
你说你用gcp的免费300刀credit做了个LoRA都说比用学长宿舍的4090好 用gcp好歹说明你熟悉云上MLops
太好了 就这样编 保真吧
4090能跑啥啊 32b撑死了 全量微调可能就7b？
我本地就是4090 但是大模型都是薅gcp
我用的弱鸡 大模型就是7b。。 我还去gcp上弄么
介绍给我吧，1063我都没有
gcp免费的credit现在能开gpu了?
还是要自己充钱?
lightning.ai
每个手机号每个月免费15个积分，能用 h200。还有各种搭好的环境。
Screenshot_202604012340×1080 134 KB
太好了吧 猫老师
试试发几个open source project
然后在twitter上自己推广一下
我这个项目很toy。。。 拿来面ft的 只比直接rag+agent 多了一点点步骤
先发上去，慢慢一点点更新
这样你简历上有的写
简历我编完了呢。。
那我问你，你微调的数据哪里来的?
难道你就走教程在 gsm8k rlhf 了一个 qwen 2.5 0.5b (aka ml hello world)?
那你就把编的project都落地一遍就行了
【引用自 tomandjerry】:
你微调的数据哪里来的
训练集 找了开源的xxx？ 可以商用且脱敏过了 找一个标注过的 直接用的
【引用自 tomandjerry】:
难道你就走教程在 gsm8k rlhf 了一个 qwen 2.5 0.5b (aka ml hello world)?
我是这样的人嘛？ 我一笔都没动呢 怎么可能走教程
colab pro学生认证每周有几十个小时我记得
然后kaggle也可以
其实我觉得自己充钱也不是不行… AutoDL H800 80G也就九块钱一个小时 30刀/24h 属于是phd stipend也付得起了…
我也有colab pro，但是colab环境限制太多，我跑 verl 还要自己安装很多包。调试环境就要1个多小时了(说的就是煞笔flash attn)
单卡30刀一天，16卡就是480刀一天。
开次机几十就没了
我以前也用autodl，但是autodl本身虚拟化太严重，不能用docker。除此之外不错
这些平台我觉得弄个简历小项目是够的（autodl：都这价格了要啥自行车），你这16卡属于是超纲了（给简历上加上分布式是吧
对于nlp flash attn安好就算入门了 （cv已死
autoDL卖这么便宜咋赚钱的
话说llm以后得nlp到底什么情况，话说学界现在还在死磕kv cache，flash attn不是前年的东西吗现在应该都是标配了吧？
租个卡或者搞个什么lambda的免费credit？ 不过这帖子怎么刚发就被举报过多了
我是指 flash attn 这个包难安装，如果没有预编译的版本可选，编译他就要1个小时。
学术界还在用什么conda，又慢又垃圾。
因为有疯狗追着咬呗
不清楚盈利模式
我是cv难民（已死） 个人感觉llm之后普通lab做基模和小而美基本没有了吧 data/prompt/后训/对齐/agentic这些多一些
多模态大模型和原生多模态这些也有些
flashattn自己从头安一次就懂了
小的大模型 到底是小模型 还是大模型？