0.6米线缆跑PCIe 6.0 x16?两张Switch卡加一块Gen 6 E1.S SSD,现场接给你看!
2026-10-28 17:34:54

2026年10 月 26 日实验室实操记录 | 从 MCIO 分线、链路协商到 EDSFF 防反插

做 PCIe 6.0 验证,大家最关心的往往不是规格书上的 64 GT/s,而是几个更实际的问题:两张 Gen6 Switch 卡能不能通过线缆连起来?线长从 0.3 米增加到 0.6 米,链路还能不能协商到 x16?同一张 Switch 卡上,能不能再接一块 Gen6 x4 E1.S SSD?

10 月 26 日,我们把这些设备放到一张实验台上,做了一次从接线到查看链路状态的演示。视频只有 7 分多钟,却涉及 Switch 扩展、MCIO 线缆、EDSFF 供电,以及一个非常容易被忽视的安全问题:没有机械防呆的 E1.S 插槽,方向插反可能损坏 SSD。

这次先不谈理论峰值性能,按现场操作的先后顺序,一起看看设备是怎么接的、界面上究竟显示了什么。

为了方便工程师观看,我们针对本期视频并处理添加了中文字幕供大家参考。如果想看高清视频建议要在电脑上打开上面的视频链接进行观看!创作不易,欢迎分享到朋友圈或者与朋友讨论!如果想搬运我们的视频请告知我们。有时间的朋友直接观看下面的高清视频,没时间可以看下面的文字总结。

一、先看硬件:一张 Switch 卡,能接出多少条 PCIe 链路?(00:00—00:48)

镜头首先对准实验台上的一块台式机主板。主板的 PCIe 插槽里安装了一张 Serial Cables PCIe 6.0 Switch 卡,采用博通(Broadcom)Atlas3 PEX90080 系列 80-lane 交换芯片。

这里的“80-lane”是交换芯片的通道规模,不等于板卡上有 80 条通道全部做成外露接口。现场能直接看到的,是板卡两侧各两个 MCIO x8 连接器,合计四个 MCIO x8;此外,板卡顶部还有一个 x16 的 Straddle-Mount 连接接口,用于连接带有相应金手指的板卡或转接组件。

可以把它想成高速公路的分流枢纽:上游从主板进入 Switch,下游可以走 MCIO 线缆,也可以走顶部的 x16 连接接口。至于每个口按 x16、x8 还是 x4 工作,既受物理连线限制,也要看端口配置及对端设备能力。

这次演示有两条连接路径同时存在:一条从顶部 x16 接口,通过 0.6 米线缆连接第二张同型号 Switch 卡;另一条从右侧一个 MCIO x8 接口,经一分二线缆接到一块 PCIe 6.0 x4 E1.S SSD。

二、一根 0.6 米线,把两张 Switch 卡连起来(00:48—01:32)

先看连接第二张 Switch 卡的部分。

第一张卡顶部的 x16 接口接出一根约 0.6 米的线缆,另一端连接第二张相同的 Switch 卡。线缆一端对应金手指连接形式,另一端是 x16 插槽连接形式。现场的目标很明确:看两张 Switch 之间能否以 PCIe 6.0 x16 建立链路。

这个场景和“把两张卡分别插在主板里”不同。它是在利用 Switch 卡的扩展接口,通过外部线缆搭建一段板卡到板卡的 PCIe 高速互连。对于实验室来说,这种做法能灵活调整设备摆放位置,也便于搭建多级 Switch 或者外接测试板的环境。

与此同时,第一张卡右侧的 MCIO x8 口还接着另一根线,它把 x8 拆分为两个 x4 的 EDSFF 接口,其中一个连接 Gen6 E1.S SSD。因此,后面查看链路状态时,我们要观察的是两个不同的连接对象,不能把两个结果混在一起。

三、真正看结果:两张卡协商到 Gen6 x16,SSD 协商到 Gen6 x4(01:32—02:26)

接线完成后,镜头切到管理界面。比起只看指示灯,这一步更有说服力,因为管理界面能区分端口支持的最大能力与当前实际协商的状态。

先看第二张 Switch 卡。 界面中的 Upstream 端口显示最大能力为 Gen6 x16;当前实际速度与链路宽度同样显示为 Gen6 x16。也就是说,在截取这个画面的时刻,两张 Switch 卡之间的这段连接已经以预期的代际和宽度成功建链,并非退回 Gen5,也没有降到 x8。

再看第一张 Switch 卡。 顶部用于连接第二张卡的端口同样显示 Gen6 x16 链路;而接 SSD 的那一路 Internal MCIO 端口,最大配置为 Gen6 x4,当前协商也显示为 Gen6 x4。

这正是本次演示最核心的两个观察结果:

  • Switch 到 Switch:PCIe 6.0 x16 链路已建立。
  • Switch 到 E1.S SSD:PCIe 6.0 x4 链路已建立。

这里要提醒一个容易误解的地方:我们看到的是 Switch 端口到下游设备的协商状态,不能据此推断台式机 CPU 到第一张 Switch 卡的上行链路也跑在 Gen6。上游主机接口是什么代际,需要另外查看主机侧端口状态。

同样,“成功协商到 Gen6”也不等于已经完成吞吐量、误码率、长时间压力和 PCI-SIG 一致性测试。这次视频给出了很有价值的建链证据,但并没有展示这些进一步测试结果。

四、两个 USB-C 口,不是随便插哪个都一样(02:26—03:15)

第二个容易被忽略的细节,是 Switch 卡边缘的两个 USB Type-C 接口。

视频里专门停下来解释了管理路径:电脑通过其中的管理 USB-C 口把命令送进板载 MCU,再由 MCU 与 Switch 交互,完成状态查询或相关配置。另一个 Type-C 口用于系统调试。

对照该板卡的技术手册,可以更准确地理解两者的分工:CN7 是连接板载 MCU 的 CLI 管理接口,CN6 则是用于 SDB/SMART UART 等底层调试功能的接口。实际操作时应以 PCB 丝印与对应版本的用户手册为准,不能仅凭“上面一个、下面一个”记忆接口用途。

这套 CLI 除了查看链路,还有板卡状态、传感器、电源和错误计数器等诊断能力。例如,手册中列出的 showport 可以查看各端口的协商速度、宽度和链路状态;counters 用于检查端口错误计数;pwr 与 lsd 可辅助排查供电和传感器状态。

需要说明的是:上述命令是依据技术手册补充的排查思路,并不代表这次视频现场逐条执行了这些命令。 实验室真正做兼容性验证时,把这些状态保存下来,往往比只留一张“Link Up”的截图更有意义。

五、平常用 0.3 米,这次为什么特别展示 0.6 米?(03:15—04:17)

接下来,镜头把两种线缆拿到一起比较。

平时较常见的一种,是约 0.3 米的 x16 线缆:一端是金手指形式,另一端是 x16 插槽。它比较短,布线紧凑,通常更容易控制连接通道的插入损耗与串扰。

这次展示的另一根线缆,接口形式相近,但长度增加到 0.6 米。视频特意再次把镜头带回两张 Switch 卡的连接位置,并重申了此前管理界面看到的结果:在这套具体的板卡、线缆和设置组合下,0.6 米连接成功协商到了 Gen6 x16。

为什么这件事值得关注?因为 PCIe 6.0 的 64 GT/s 采用 PAM4 四电平信号,信号质量和通道损耗控制比以往更具挑战。线缆越长,往往意味着更高的插入损耗以及更复杂的信号完整性问题,但实际能否建链,仍取决于线材结构、连接器、PCB 走线、均衡能力和整个通道的预算。

因此,这次 0.6 米线缆的演示值得记录,却不能简单理解成“所有 0.6 米的无源铜缆都能稳定跑 Gen6 x16”。如果把它作为实验室正式测试环境,还应进一步检查链路是否反复 Retrain、错误计数是否增长,以及持续数据负载下是否出现速率或宽度回退。

六、MCIO x8 怎么一分二,接上一块 Gen6 x4 E1.S SSD?(04:17—05:20)

然后镜头回到第一张 Switch 卡右上侧的 MCIO 接口,开始看 SSD 的接线细节。

这根线的一端是 MCIO x8,另一端分出两个 EDSFF x4 母座(Female Connector)。换句话说,一条 x8 通道在适当的端口配置下,可以分别连接两块 x4 SSD。此次只接入其中一块 Gen6 x4 E1.S SSD,剩余一个分支没有在视频中展示第二块 SSD 的实际建链状态。

不过这里有个关键问题:MCIO 这段连接负责高速信号和相关控制信号,不能想当然地把它当成 SSD 的 12V 供电来源。

因此,现场使用的转接线在 EDSFF 端附近另外设置了 SATA 电源接口,从台式机电源引出相应供电,再送到 SSD。这也解释了镜头为什么专门拍摄主机电源上的 SATA 供电接头。

对于第一次搭建这类测试台的工程师来说,容易犯的错误是:只把 MCIO 高速线缆插好,发现 SSD 不识别,就开始怀疑 PCIe 训练或固件问题。实际上,应该先核实 SSD 供电、电源容量、地线连接、上电时序和必要的侧带信号,确认这些基本条件都满足,再排查链路协商。

七、这次最值得反复提醒的细节:E1.S 插反可能烧盘(05:20—06:02)

视频后半段,讲解者特别把镜头移到 EDSFF 母座上,提醒大家关注 SSD 插入方向。

在正规的服务器背板里,SSD 托架、导轨和连接器通常有相应的防误插设计。但实验室里使用的某些裸露式 EDSFF 线缆母座,并不一定有完整的机械防呆结构。如果连接器允许反向误插,就可能造成严重的电源引脚错接。

为什么风险这么高?以常见的 E1.S x4 连接定义为例,A1 所在一排的部分引脚属于 GND,而 B1 所在一排的对应引脚包含 12V 供电。这不是简单的“信号反了不识别”,而是可能涉及电源与接地错误接触,造成 SSD、转接线或供电部分损坏。

现场的做法很直接:先看 EDSFF 母座上的 A1 标记,再对照这块 SSD 及当前线缆组件上已核实的方向标识。演示使用的组合里,盘上的箭头与母座的 A1 位置经过对应确认,才完成插入。

这里必须强调:“箭头对 A1”只适用于本次已确认的器件标记和连接组件,不能不经核对就作为所有品牌、所有 E1.S/E3.S 转接线的通用规则。 最可靠的方法是核对具体 SSD 与母座的 Pin 1/A1/B1 定义、实物丝印、线束图纸和厂商装配说明。

实际动手时还要坚持一个原则:先断电、确认方向、完全插到位,再上电。 对没有防呆结构的实验室线缆,最好增加清晰且固定的方向标签,避免不同工程师轮流操作时凭印象判断。热插拔能力也不能替代正确的机械方向与供电设计。

八、同一张 Switch 卡还能接 U.2 SSD 吗?(06:02—06:26)

演示还提到另一类常见线缆:把一个 Gen6 MCIO x8 接口分成两个 U.2 x4 连接端。这类线缆可以用于实验室里已有的 U.2 SSD 验证环境。

不过要区分两个概念:一是线缆和 Switch 端口具备怎样的 PCIe 代际能力;二是连接上去的 SSD 自身支持 Gen4、Gen5 还是 Gen6。PCIe 具备代际向后兼容机制,所以在电气、布线、供电和端口配置均匹配的前提下,Gen6 测试平台可以与较低代际的 PCIe SSD 协商运行。

比如,把 Gen5 x4 U.2 SSD 接到合适的 Gen6 MCIO 转 U.2 线束上,目标就应当是按 SSD 及链路双方共同支持的能力协商,不能要求它凭空跑出 Gen6 速度。

U.2 并非已经从市场消失。此次视频真正要说明的,是除了 E1.S/E3.S 之外,实验室也可以按需要选择 U.2 线束,覆盖不同接口形态的 SSD 验证;但本次实际展示、成功建链的是 E1.S,并没有给出 U.2 盘的现场测试结果。

九、四个 MCIO x8,加上顶部 x16,能搭出怎样的 SSD 测试台?(06:26—07:21)

最后,镜头重新回到 Switch 卡接口布局,开始算一笔“通道账”。

四个 MCIO x8 接口,一共提供 32 条外露的 MCIO PCIe 通道。如果每个 x8 端口都按两个独立 x4 端口配置,并且使用相应的一分二线缆,就可以在接口与通道数量层面形成八个 x4 SSD 连接位置:左边两个 MCIO 可接四块,右边两个 MCIO 再接四块。

然后还有顶部的 x16 连接接口。它不一定只能拿来连接第二张 Switch 卡,也可依据适配器类型用于 SSD。比如,x16 金手指转单个 E1.S/E3.S 连接器,只用到其中 x4;如果是支持多个 SSD 的转接板,还可以把这组通道进一步分配给两块,甚至四块 x4 设备。

但不要把这种端口组合直接写成“插上就能同时跑满 12 块 Gen6 SSD”。理论通道划分与实际可用配置之间,还隔着端口 Bifurcation、固件模式、供电、散热、时钟、枚举与线缆兼容性。 本次视频只证实两张 Switch 卡之间的一路 x16 链路,以及一块 E1.S SSD 的一路 x4 链路,其他盘位数量属于拓扑扩展讨论,并非本次全部实测。

十、如果把这套东西搬进研发实验室,下一步应该测什么?

这次演示的好处,是把 PCIe 6.0 的几种抽象概念变成了看得见、摸得着的连接:上方是 0.6 米的 x16 卡间线缆,侧面是 MCIO x8 一分二,下方有独立的 SSD 供电,最后用 Switch 管理界面确认实际协商结果。

对于需要复现这套环境的验证工程师,我们更建议按三步推进。

第一步,先确认“连得上”。 记录两张 Switch 卡及 SSD 对应端口的实际速度、链路宽度与 Link 状态;同时确认电源、风扇及板卡温度正常。

第二步,再确认“跑得久”。 持续观察 PCIe 错误计数、是否出现 Retrain 或链路降速,必要时配合业务流量、压力测试和不同线长组合重复检查。此时才能对某根线缆在特定系统里的工作余量形成更可靠的判断。

第三步,再去分析“为什么”。 如果碰到不建链、只跑 Gen5 或降到 x8/x4,不要一上来就归咎于 SSD。应先分清是 Switch 到 Switch 这一路出了问题,还是 MCIO 到 SSD 这一路出了问题;然后依次排查端口模式、线缆方向、参考时钟与复位、供电、连接器以及信号完整性。必要时再使用 PCIe 协议分析仪、误码仪或示波器定位更底层的原因。

这也是这段七分多钟视频最值得分享的地方:PCIe 6.0 的测试环境,不一定非要从一整台全新 Gen6 服务器开始搭建。通过 Switch 卡、线缆和转接组件,工程师已经可以先把下游 Gen6 设备的连接与验证工作做起来。至于系统级吞吐量、长期稳定性和规范一致性,则需要在这一步的基础上继续验证。

一句话总结:这次,我们看到了 0.6 米连接下的 Gen6 x16 卡间建链,也看到了 Gen6 x4 E1.S SSD 的实际建链;比这两个数字更重要的,是知道每一条线该怎么接,以及哪些结论还需要进一步测试。

延申阅读

想获得关于上述产品的更多信息,或者想进一步了解针对NAND Flash做特性分析,协议分析,以及NAND测试过程中用到各类治具和夹具,请微信后台联系我们获得最新的针对PCIe, CXL, SSD, NAND测试的白皮书版本16.0。