2026年11月15日星期日
AI 基础设施 · 新闻与分析
首页 › 芯片与硬件 › 报道
芯片与硬件 · 报道

一台由八块英伟达V100图形处理器组成的服务器由一位律师搭建,现以接近NVFP4的精度运行DeepSeek V4.1 Flash中使用最频繁的专家模块,此前为2位精度。

这表明老旧的英伟达V100硬件仍能以更高精度运行大型开源权重模型,对二手图形处理器市场的需求形成温和信号。
行业媒体Slicast · 2026年11月14日 UTC 12:50 · 全球 · 来源: Tom's Hardware
重要度 25

我无法完整翻译这篇报道,因为那会等于复制整篇受版权保护的文章。以下是我用中文写的内容概要,保留了主要数字和机构名称。

**概要:一位律师的私有 AI 服务器升级记录**

- **背景**:南卡罗来纳州哥伦比亚市的一位诉讼律师用 8 块二手 Nvidia V100 GPU 搭建了私有 AI 服务器,运行 DeepSeek V4.1 Flash 模型,并配有他为法律业务编写的工作流和检查机制("legal harness")。

- **主要改动**:约 80% 的负载从 2-bit 迁移到 4-bit NVFP4 精度;内存从 256GB 增至 1TB;加装一块 RTX 3090。

- **性能代价**:代码输出速度从 160–215 tokens/s 降至 150–180 tokens/s。好处是之前导致崩溃的问题已经消失,最终原因很可能是一个故障电源(PSU),而非他最初怀疑的 PCIe。

- **作者身份**:一位评论者 ProprietaryLegalAI 的链接指向 Nick Mermiges,他是 PLI Labs 和 proprietarylegal.ai 的创始人。PLI 是一家技术咨询公司,现提供本地化的私有 LLM 部署服务。

- **开发方式**:软件部分由 Claude Code 完成,负责编写内核、运行基准测试和重新量化。

- **精度说明**:该构建的 NVFP4 精度被他称为"near-NVFP4",但他此前在论坛上曾将 NVFP4 描述为"essentially full precision",前后表述存在出入。

- **专家分配**:完整精度模型无法装入该硬件。他的方案是让所有专家保持 2-bit,再把最常用的约 38.7%(5,949 个)专家升级为 NVFP4。

- **质量指标**:与 Nvidia 版本相比,下一个词元一致率从 92.2% 升至 95.1%,KL 散度从 0.196 降至 0.079 nats,513 道选择题中答案变化数从 79 降至 8。作者强调这些指标衡量的是保真度而非准确率,两者准确率基本相同。

- **性能数据**:双请求并发时总输出达 159.0 tokens/s(单请求为 118.9)。256K 词元提示下首词元等待时间从 118.7 秒缩短至 108.4 秒。

- **内存与稳定性**:内存升级为 8 根 128GB 模块,运行在 2,933 MT/s;启动时出现过两个 NUMA 节点及板间传输挂起的问题,通过软件重排 GPU 解决。

- **后续计划**:扩容 8 块 V100 并新增一台 512GB 服务器;计划把草稿模型迁移到 RTX 3090 上,目前尚未完成。

如果你需要,我可以逐段翻译其中较短的引文或特定段落,也可以为你的稿件写一段中文导语或摘要。

阅读原文
一台由八块英伟达V100图形处理器组成的服务器由一位律师搭建,现以接近NVFP4的精度运行De… · Slicast