比如,手里有一张提供 MCIO 接口的 Gen6 Switch 卡,另一端却需要标准 PCIe x16 插槽,应该怎么连接?如果中间再加上两根 1 米长的 Cable 和一张转接板,最终还能不能正常建立 Gen6 x16 链路?
这次我们通过一套实际搭建的环境,演示一下 Serial Cables 的 PCI6-AD-MX8-X16 转接卡,并看看两张 PCIe Gen6 Switch 卡通过 MCIO Cable 互连后的实际链路状态。
视频时间:00:00—00:39
演示一开始,首先介绍的是 Serial Cables 的 PCIe 6.0 转接卡。
这张卡的型号为 PCI6-AD-MX8-X16。从型号基本就能看出它的用途:
它的主要用途,是把两路 MCIO x8 连接组合成一路 PCIe x16 接口。
转接卡本身的结构比较简单,一侧提供两个 MCIO x8 Cable 接口,中间是标准的 PCIe x16 插槽,可以插入相应的 PCIe 扩展卡。
在实际测试环境中,并不是所有主板或者 PCIe Switch 开发板都提供标准 x16 插槽。有些设备采用 MCIO Cable 连接方式,尤其是在需要将 PCIe 信号引出主板、连接到其他测试设备的时候。
这张转接卡就是为这样的应用场景提供了一种连接方式。
视频时间:00:39—01:21
接下来,镜头转到了转接卡的供电部分。
视频中特别指出,这张转接卡需要单独供电,不能简单理解为连接两根 MCIO 线后就不需要其他电源。
板上提供了一个电源开关,另外还有一个白色的四芯电源接口。
演示时使用了外部电源模块为转接卡供电。讲解中也提到,实际使用时可以考虑采用台式机电源的相应供电输出。
翻到转接卡背面,可以更清楚地看到这个白色四芯供电接口的位置。
这里需要注意,视频中将其描述为类似 CPU 四芯供电的接口。但在实际接线前,仍然应当根据产品资料核对电源接口的引脚定义,不能仅凭外形相似就随意连接。
对于 PCIe Gen6 测试环境,除了高速信号链路,供电也是必须提前考虑的部分。
特别是在使用独立转接卡、外部扩展槽以及开发板时,要先把电源、连接线和各个设备之间的关系确认清楚,再进行上电测试。
视频时间:01:21—02:18
转接卡介绍完以后,镜头开始展示整套测试环境。
主机端是一块台式机主板。讲解人员提到,这块主板似乎采用 Z790 平台,不过视频中并没有进一步确认具体型号。
在靠近 CPU 的 PCIe 插槽中,安装了一张 Serial Cables 的 PCIe x16 Switch 卡。
这张 Switch 卡的一个特点,是板上提供了四个 MCIO x8 接口。
从视频中的连接方式来看,这四个接口分成左右两组,每组两个 MCIO x8 接口,可以组合成一路 x16 连接。
本次演示选择的是右侧的一组:
2 × MCIO x8 → PCIe x16
这里还讲到了一个容易忽略的细节:左右两组 MCIO 接口虽然都可以用于组成 x16 连接,但它们的 Lane 排列顺序并不完全相同。
按照演示中的说明,一组接口的 Lane 0—7 和 Lane 8—15 分配顺序,与另一组正好相反。
这并不影响按设计进行连接,但实际布线时必须了解对应关系,不能只看接口外形相同就认为连接方式完全一样。
随后,两根约 1 米长的 MCIO Cable 从主机端的 Switch 卡引出,连接到前面介绍的 PCI6-AD-MX8-X16 转接卡。
转接卡的 x16 插槽中,再插入另一张 PCIe Gen6 Switch 卡。
这样,两张 Switch 卡就通过两根 MCIO Cable 和一张转接卡连接起来了。
整个拓扑关系可以简单表示为:
主机主板 → Gen6 Switch 卡 A → 2 根 1 米 MCIO x8 Cable → PCI6-AD-MX8-X16 转接卡 → Gen6 Switch 卡 B
这也是整段演示的核心测试环境。
需要特别说明:视频主要验证的是两张 Gen6 Switch 卡之间的链路,并不是在证明前面的台式机 CPU 与主板本身已经支持 PCIe Gen6。
即便主机侧是较低代际的 PCIe 接口,具有相应能力的 Switch 之间仍然可能在各自支持的端口上建立 Gen6 链路。两者不能混为一谈。
视频时间:02:18—03:00
完成连接以后,接下来就要确认 PCIe 链路是否建立。
视频中首先展示了转接卡附近的链路状态指示灯。
按照演示人员的介绍,在这套 Serial Cables 设备上,当指示灯呈现稳定的蓝色时,表示对应链路已经建立到 PCIe Gen6 速率。
镜头随后还切换到了 Cable 连接端,可以看到另一侧也有蓝色状态指示灯。
从实际操作角度看,LED 状态是判断链路是否正常建立的一种快速方法。
不过,仅凭指示灯还不能完整确认所有链路参数。例如,蓝灯可以提示当前速率状态,但我们仍然需要进一步确认实际协商的 Lane 宽度究竟是 x16、x8,还是其他状态。
所以演示并没有停留在观察 LED 这一步,而是继续使用 Switch 卡提供的管理接口和命令行工具来检查链路信息。
视频时间:03:02—03:30
接下来介绍的是 Switch 卡的管理接口。
根据视频讲解,这张 Switch 卡提供了两个不同用途的管理连接口。
其中,下方的 USB Type-C 管理接口,通过板上的 MPU 与 PCIe Switch 进行通信,可以执行相应的管理操作。
上方的接口则直接连接 PCIe Switch。讲解人员将其称为 Broadcom 的 HDB System Debug 接口,主要用于 Switch 相关的调试访问。
本次演示选择的是下方的 Type-C 接口。
使用 USB 线连接 Switch 卡与电脑后,就可以通过对应的管理命令查看 Switch 端口状态。
对于经常需要搭建 PCIe Switch 测试环境的工程师而言,这类独立管理接口非常实用。
因为它允许工程师直接查看 Switch 内部的端口信息,而不必完全依赖操作系统在 PCIe 设备枚举时显示的内容。
视频时间:03:32—04:39
整个视频最关键的一段,就在这里。
管理电脑连接完成后,演示人员打开了命令行界面。
这张 Switch 卡支持多种管理命令,但此次只使用了一个比较基础的命令:
showport
通过这个命令,可以查看 Switch 各个端口的相关状态。
视频中重点查看了其中的 Upstream Port。
命令输出显示,该端口的最大支持能力为:
PCIe Gen6 x16
而当前实际工作的链路状态同样为:
PCIe Gen6 x16
端口状态显示为:
Active
这几项信息放在一起,才真正说明了这次演示的结果。
也就是说,经过两根 1 米长的 MCIO x8 Cable,再通过 PCI6-AD-MX8-X16 转接卡连接到另一张 Switch 卡后,当前测试环境中的这条链路仍然成功建立到了 PCIe Gen6 x16。
讲解过程中还特别解释了 Upstream 和 Downstream 的方向问题。
从其中一张 Switch 卡的角度看,连接到另一张 Switch 的端口是 Upstream;而从另一侧 Switch 的角度看,同一段物理连接对应的端口方向可能是 Downstream。
所以在查看不同设备上的端口状态时,需要结合实际 PCIe 拓扑判断,不能只看 Upstream 或者 Downstream 这两个名称。
这也是做 PCIe Switch 调试时很容易造成误解的地方。
视频时间:04:29—04:47
最后,演示人员再次强调了这套环境的测试结果。
两张 PCIe Gen6 Switch 卡之间,经过两根 1 米 MCIO Cable 以及一张 x16 转接卡,仍然可以建立 Gen6 x16 链路。
从实际工程角度看,这个结果至少说明,在当前所使用的 Switch 卡、Cable、转接卡以及连接配置下,整条链路具备完成 Gen6 x16 Link Training 并进入 Active 状态的条件。
PCIe 6.0 每条 Lane 的数据传输速率达到 64GT/s,采用 PAM4 信号调制,对整个连接路径的信号完整性提出了更高要求。
因此,当连接路径中加入 1 米 Cable 以及额外的转接板以后,信号质量会成为需要特别关注的问题。
视频中的成功建链结果,是这套硬件组合能够工作的一个直接证据。
当然,这次演示主要验证的是链路建立状态。视频并没有展示眼图、误码率、长期压力测试、协议错误统计或者完整的 PCIe 一致性测试数据,因此还不能仅凭一次成功建链就认定整条连接路径已经通过所有 Gen6 信号完整性要求。
不过,对于正在寻找 PCIe Gen6 外部 Cable 连接、Switch 扩展或者开发测试环境搭建方案的工程师来说,这个实际演示已经具有一定的参考价值。
这次不到 5 分钟的演示,内容其实很直接:
一张 Serial Cables PCI6-AD-MX8-X16 转接卡,通过两路 MCIO x8 把 PCIe Gen6 x16 链路引到标准 x16 插槽,再配合两张 Gen6 Switch 卡和两根 1 米 Cable,实际完成了 Gen6 x16 建链,并通过管理命令确认了当前链路状态。
演示中还交代了转接卡独立供电、MCIO 接口 Lane 顺序、Switch 管理接口和 showport 命令的基本使用方法。
这些细节看起来并不复杂,但在真正动手搭建 PCIe Gen6 测试环境时,往往比单纯看产品规格表更有帮助。
对于需要把 PCIe 高速信号从板卡引出、实现 Cable 连接、搭建外部扩展测试环境的工程师,这类转接方案值得结合具体平台进一步验证。
如果正在做 PCIe、CXL、NAND、SSD Controller、PCIe / NVMe SSD 以及相关测试,也可以在 Saniffer 公众号底部的【白皮书】菜单中查看我们整理的测试技术资料。