泥潭日报 uscardforum · 内容汇总

怎么a100这种上古卡还涨价了

📈 搬砖 作者 tomandjerry 原帖 #521051 ↗
内容摘要

A100租赁涨价引发对本地大模型部署与GPU局限的讨论。

关键信息

  • 显卡租赁价格上涨：楼主在某平台租用A100显卡，发现40G版本价格从2元/小时涨至2.75元/小时（此前80G版本为3元/小时）(#1)。
  • 本地部署大模型前景：楼主预测随着开源大模型能力增强，未来可能实现“家家户户一个in-house LLM”(#1)；有网友指出，这需要等待现役数据中心机器退役并作为二手设备流入市场（“大船靠岸”）(#7)。

经验与数据点

  • 学校保有量：有网友指出A100算不上“上古卡”，其所在学校仍有几十张在役(#4)。

风险/限制/注意事项

  • 硬件局限性：A100由于不支持许多新特性，在实际使用中已显露劣势，性能较差(#6)；具体表现为不支持FP8，限制了部分计算需求(#8)。
  • 新技术趋势：楼主指出，相比于FP8，新推出的NVFP4格式更为重要(#9)。
A100显卡租赁LLMFP8

📈 搬砖 · 其他高楼

← 返回 📈 搬砖