我们作为业内最先收到Spark主机的公司，上周四已经简单写了一篇《Nvidia DGX Spark上海首台开箱视频》，并且于周末做了初步测试，计划安装几种最常见的推理应用，但是目前由于网络连接的情况碰到一些问题，我们计划后续再写写作为普通用户使用Spark可能碰到的问题。一个惊喜发现是该Spark内部安装了一个Samsung PCIe 5.0 M.2 SSD (4TB）。我们今天下面的视频是一个老外拍摄的基本的一个实操视频和讲解，很接近我们周末测试的情况，大家可以先看一下该高清视频以及总结。

为了方便工程师观看，我们针对本期视频并处理添加了中、英文字幕供大家参考。如果想看高清视频建议要在电脑上打开上面的视频链接进行观看！创作不易，欢迎分享到朋友圈或者与朋友讨论！如果想搬运我们的视频请告知我们。

NVIDIA DGX Spark 本地 AI 计算平台使用体验总结报告

一、总体印象

本视频围绕 NVIDIA DGX Spark 的性能与应用体验展开，展示了其在本地运行大语言模型（LLM）方面的巨大优势。主讲人强调，即便在没有联网、无需云端依赖的条件下，这台配备 128GB 统一内存和 200GbE 网络接口的工作站，依然可以实现流畅的 AI 推理与部署体验，体现了其在 AI 本地化落地方面的强大能力。

---

二、硬件配置亮点

1. 核心配置

• 统一内存：128GB LPDDR5X

• 支持 CPU 和 GPU 共享访问

• 实现内存零拷贝、数据一致性

• 网络接口：200GbE

• 支持高速远程连接及集群化拓展

• NVLink-C2C

• Grace CPU 和 Blackwell GPU 通过 Chip-to-Chip 高速互联

• 内存带宽高达 900GB/s

2. 能效比

• 官方数据表明 DGX Spark 性能功耗比极高，在同等能耗下具备更优推理能力。

---

三、应用体验与部署过程

1. 本地部署的语言模型测试

• 主讲人使用 DGX Spark 本地部署了开源大语言模型，并运行了文本生成任务。

• 整个交互过程无需联网，响应速度快，效果良好。

• 还展示了通过终端运行模型的场景，模型响应快速且准确，性能堪比中等云端配置。

2. 使用场景延展

• 适用于本地数据不出域的推理部署（如政府、医疗、芯片研发场景）

• 支持多用户并行使用，可作为 AI 推理服务器

• 适合教育、实验室等无公网条件下运行模型的需求

---

四、优势总结

优势类型	内容说明
✅ 硬件性能	Grace + Blackwell 架构，支持高并发 AI 推理计算
✅ 存算一体	统一内存设计降低数据搬运开销，提升吞吐量
✅ 本地部署便捷	不依赖公网，具备完整本地化 AI 推理能力
✅ 兼容性强	支持主流开源模型部署，如 LLaMA、DeepSeek、Yi 等
✅ 节能环保	相较云端部署，能耗更低，适用于长时间运行模型

---

五、可能面临的挑战

• 起步成本较高，需一次性投入硬件预算

• 大模型初期部署需一定技术门槛（如 CUDA 驱动、模型优化等）

• GPU 加速调优过程仍需手动处理（如 FP16 支持、torch 配置）

---

六、适用对象建议

目标群体	适用理由
AI 初创公司	无需依赖云服务即可完成模型训练与部署
芯片设计企业	数据敏感、安全要求高，可本地进行算法验证与交互模拟
教育与研究机构	支持本地大模型教学实验，控制成本和隐私风险
嵌入式系统集成商	可作为边缘 AI 推理服务器部署在工业、安防、交通等场景

---

七、总结观点

DGX Spark 不仅是一台强大的 AI 工作站，更代表了本地 AI 计算平台的未来趋势：即具备高性能、低延迟、强隐私、低运维成本的统一 AI 平台。对于中小团队或数据敏感组织而言，它提供了一条无需依赖大厂云服务、独立控制模型推理能力的理想路径。

更多关于PCIe 6.0/CXL的测试工具和技术，请下载Saniffer公司2025.6.16最新更新的白皮书12.3版本 - 《PCIe5&6.0, CXL, NVMeNVMoF, SSD, NAND, DDR5, 800GE测试技术和工具白皮书_ver12.3》。

白皮书下载链接 (或者点击下面的二维码直接下载）：

https://pan.baidu.com/s/18_c11aeFhSBe2qa-jUFs_Q?pwd=mm9y 提取码: mm9y

如果你有其任何关于PCIe5&6.0, CXL, NVMe/NVMoF, NAND, DDR5/LPDDR5以及UFS测试方面的我问题想咨询，请访问：访问www.saniffer.cn / www.saniffer.com 访问我们的相关测试工具和产品；或者添加点击左下角“阅读原文”留言，或者saniffer公众号留言，致电021-50807071 / 13127856862，sales@saniffer.com。