【高清视频】PCIe 6.0 x16主机、外设建链全方位手把手演示

2025-11-05 14:42:35

我们之前做过几期PCIe 6.0 x16主机卡模拟CPU端（RC）或者EP 端(外设）建链的高清视频，通过我们提供的PCIe 6.0 x16 Host卡可以模拟成一颗服务器、工作站或者PC的支持PCIe 6.0 CPU，也可以当成一个PCIe 6.0外设，感兴趣的可以参考几个月前的视频，例如：PCIe 6.0 x16延长线 + PCIe 6.0主机卡模式设置演示；英伟达PCIe 6.0 x16 网卡（800G)讲解，等等 - 查询所有的这些视频，添加saniffer公众号后查询：PCIe 6.0 switch。本期15分钟的高清视频是一个更加完整的融合演示，既展示了Gen6 Host卡连接另外一张Gen6 Host卡，也展示了连接第三方Gen6 x16网卡，还展示了连接x4 EDSFF SSD等，对于想了解这方面的朋友具有非常直观的演示。

为了方便工程师观看，我们针对本期视频并处理添加了中文字幕供大家参考。如果想看高清视频建议要在电脑上打开上面的视频链接进行观看！创作不易，欢迎分享到朋友圈或者与朋友讨论！如果想搬运我们的视频请告知我们。

以下是基于该高清演示视频的总结文档。该视频主要展示了PCIe Gen6链路的实际搭建与验证过程，涵盖主机平台、Switch卡、下游设备连接、链路状态指示及系统验证等内容。

PCIe Gen6链路搭建与验证演示总结

一、实验目的与总体概述

本视频旨在实地演示PCIe Gen6链路的建立能力，并展示Switch级联与多设备扩展的组网方案。实验目标包括两点：

验证当前平台在Gen6速率下的链路建立能力。
展示通过Switch分发，实现多个下游PCIe设备的扩展与互联。

二、实验环境与硬件构成

1. 主机平台

使用主板：ASUS Intel Z790-P。
主板本身仅支持PCIe Gen5，因此上游链路最大为Gen5速率。

2. Switch系统

实验使用了两张Broadcom 90144 Gen6 Switch卡，两者功能、结构完全一致。每张卡的关键结构如下：

上行端口：PCIe Gen6 x16 插槽。
下行端口：4个 MCIO Gen6 x8 接口，总下行带宽48 Lane。
管理接口：两个 Type-C，其中一个连接MCU以供远程管理。
电源接口：PCIe 5.1标准供电口，接入电源模组供电。

三、系统连接与扩展结构

1. 下游设备连接概览

右侧Switch连接了多种下游设备，展示Gen5与Gen6的混合拓扑：

CXL Gen5 x16存储设备：通过MCIO Gen5 x8 延长线 → 转板 → PCIe Gen5 x16插槽 → CXL盘（EDSFF接口）。
铠侠（Kioxia）E3 SSD盘：通过Y型MCIO x8线分为两个EDSFF x4接口，实现双盘连接。
NVIDIA CX8 800G网卡（Gen6 x16）：通过两个MCIO Gen6 x8接口 → 转板 → 小型机箱方案连接。该机箱带独立电源与风扇散热，确保供电稳定。 CX8网卡为单光模块800G规格，也可选择双400G模块版本。

2. 设备配电与上电顺序

需先为Switch和外接设备供电，再启动主机，以确保PCIe枚举正常。若顺序错误，系统可能无法识别Switch。

四、链路状态与LED指示说明

Switch卡上有两种指示灯：

绿灯：供电状态。闪绿灯表示电源正常；红灯代表供电异常。
蓝灯：链路状态。

常亮：链路已建立，达到当前代速率。
闪烁：速率较低或未完全建链。闪烁速度由Gen1到Gen5逐渐加快。

实际观测结果

上下两张Switch之间链路为Gen6 x16。
下方Switch与CX8网卡链路为Gen6 x16。
下方Switch与CXL盘链路为Gen5 x16（因设备限制）。

因此，系统中实现了两个完整的Gen6链路。

五、软件管理与链路验证

1. 远程管理软件

使用Switch自带的串口管理软件（COM3、COM4分别连接两张Switch）。
通过命令 showport 查看端口速率。

结果显示：

下方Switch：

金手指：Gen5 x16（主板限制）
上行Port80：Gen6 x16（连接另一张Switch）
左侧Port112：Gen6 x16（连接CX8）
右侧Port128：Gen5 x16（连接CXL盘）

上方Switch：

金手指：Gen6 x16（连接下方Switch）
右侧Port128：Gen5 x4（连接E3 SSD）

2. Linux系统验证

在系统层面，通过lspci -vvv命令确认：

系统识别出三类设备：CXL盘、铠侠SSD、Mellanox CX8网卡。
链路速率与前述分析一致。
Gen6链路建立成功，网卡状态为“OK”。

六、实验结果与结论

成功构建Gen6链路：

Switch间：Gen6 x16。
CX8网卡：Gen6 x16。

兼容性验证：

系统可同时支持Gen5与Gen6设备混接。
管理软件及LED指示与实际链路状态一致。

散热与温控：

红灯提示Switch温度约50℃，属可接受范围。
建议在长时间运行时提供额外散热。

七、视频演示总结

本次演示清晰展示了基于Broadcom 90144芯片的PCIe Gen6 Switch组网方案，证明其：

具备稳定的Gen6链路能力；
可与Gen5设备兼容；
支持CXL设备、NVMe SSD与高带宽网卡等多类设备；
可通过MCIO与EDSFF灵活扩展下游设备数量。

该系统方案为未来Gen6/CXL测试平台、JBOF存储机柜、AI训练服务器互联提供了重要的验证基础。

更多关于PCIe 6.0/CXL的测试工具和技术，请下载Saniffer公司2025.6.16最新更新的白皮书12.3版本 - 《PCIe5&6.0, CXL, NVMeNVMoF, SSD, NAND, DDR5, 800GE测试技术和工具白皮书_ver12.3》。

白皮书下载链接 (或者点击下面的二维码直接下载）：

https://pan.baidu.com/s/18_c11aeFhSBe2qa-jUFs_Q?pwd=mm9y 提取码: mm9y

如果你有其任何关于PCIe5&6.0, CXL, NVMe/NVMoF, NAND, DDR5/LPDDR5以及UFS测试方面的我问题想咨询，请访问：访问www.saniffer.cn / www.saniffer.com 访问我们的相关测试工具和产品；或者添加点击左下角“阅读原文”留言，或者saniffer公众号留言，致电021-50807071 / 13127856862，sales@saniffer.com。