【高清视频】PCIe Gen5 144 Lane Switch扩展板实测总结（8设备满载视角）

2026-04-20 09:34:50

我们4月初做了一个高清视频，讲述了一下PCIe 5.0 144 lane switch的实际操作，但是当时只是在下行方向随便接了一块PCIe 5.0 x16 GPU卡。

我们今天40min的高清视频来满载8块卡来实际演示一下，并且我们也顺带讲解了一下给该扩展板特殊定制的机箱（含风扇、CRPS - 电源模块），以及对应的PCIe 6.0 144 lane switch扩展板的基本状况（提供18个Gen6 MCIO X8 CABLE CONNECTOR）等等。

注意：上述144 lane switch的上行uplink其实并不限于一个x16上行，其实可以将多个端口设置为上行，例如设置其中的4个x16为上行，每个x16接入一台上游服务器的PCIe 插槽；剩余5个x16接下行的x16 end point device，例如各类GPU, AI加速卡、网卡等。

PCIe Gen5 144 Lane Switch扩展板实测总结（8设备满载视角）

这次内容的核心，其实不是“介绍一块板卡”，而是把一整套PCIe Gen5扩展方案，从硬件拓扑、连接方式、供电、启动到实际识别验证，完整走了一遍。

相比之前只插一张GPU的演示，这次最大的变化是： 👉 把8个设备全部插满，验证真实复杂场景下的可用性

一、整体架构：一颗144 Lane Switch撑起8路设备

这块板的核心很明确：

基于 Broadcom PCIe 5.0 144 Lane Switch
典型结构是：
- 上行（Upstream）：接主机（CPU）
- 下行（Downstream）：分给多个设备

这次测试的下行设备构成非常“混搭”，但也更贴近真实实验室环境：

1 × PCIe Gen5 x16 GPU（摩尔线程 S80）
6 × SSD（覆盖多形态）
- U.2（铠侠 CD7/CD8、Intel等）
- EDSFF E3.S（含单双厚度）
- M.2（不同主控：SMI / Phison等）
1 × 双口10G网卡

👉 合计正好 8个device挂满Switch

这里一个很关键的点： 不是所有设备都是“原生插卡”，大量使用了转接卡（U.2 / E3.S / M.2 → PCIe卡），这本身就已经在考验链路质量。

二、上行链路设计：MCIO成为关键角色

上行连接方式值得重点关注：

使用 2 × MCIO x8 = x16链路
MCIO（Mini Cool Edge IO）是Amphenol推出的高速连接器

链路路径大致是：

CPU PCIe插槽
↓
转接卡（MCIO x8 ×2→PCIe x16金手指）
↓
MCIO Cable×2
↓
Switch板

几个现实经验：

MCIO是当前Gen5/Gen6常见布线方式
一根线x8，两根拼x16，这是典型做法
插拔并不“优雅”：

官方蓝色拉片不太好用

实际更推荐“压扣+轻微晃动”方式拔出

👉 这一点在实验室反复插拔时很关键，不然很容易损伤连接器。

三、供电体系：真正容易踩坑的地方

这部分其实是视频里最有价值的经验点之一。

1. Switch板供电

使用 PCIe 5.1供电接口（6+6+4）
注意：
- 这个“5.1”是供电规范扩展（ECN），不是协议版本
- 主要为高功耗设备（GPU 200W→500W）设计

2. GPU独立供电

GPU单独走8pin供电
与Switch板供电分开

3. ATX电源“必须短接”

如果你不用主板带载：

ATX 20pin 必须短接，否则电源不起

👉 这个是典型实验室坑点很多人第一次做裸板测试都会卡在这里。

四、启动顺序：顺序不对，可能直接失败

推荐流程：

先给 Switch板 + 外设上电
再启动主机（主板）

原因很简单：

👉 对主机来说，Switch是“外设”，必须先ready

否则容易出现：

枚举失败
链路降级
设备缺失

五、一个很典型的“Gen5不上速”问题

这是整段视频里最工程化的一点（注意：AMD CPU没有这个问题）：

现象

Intel Z690 / Z790 + Broadcom Switch
上电后不一定直接跑到Gen5

解决方式

需要手动执行脚本：

setpci /或自定义脚本
→ 强制重新训练链路
→ 提升到Gen5 speed

本质：

👉 重新触发LTSSM训练，让链路升速到5.0

执行后可以看到：

current speed = Gen5
x16链路正常

六、最终验证：lspci一次性识别8个设备

系统（CentOS）启动后，通过 lspci 可以看到：

6 × NVMe SSD（non-volatile memory controller）
1 × GPU（VGA compatible controller）
1 × 网卡

👉 全部8个device成功枚举

这说明两件事：

Switch拓扑完全工作正常
混合设备 + 多转接结构没有引入致命问题

七、几个很“接地气”的经验结论

最后把视频隐含的经验抽出来，其实更有价值：

1. 转接卡/线材质量决定上限

Gen5已经非常敏感
转接链路一旦不好：
- 降速
- 不稳定
- 枚举失败

👉 这也是为什么强调用Sanifferi销售的SerialCables这类高质量转接件

2. 台式机也能玩，但不是“标准玩法”

官方建议：服务器 / 工作站
实测：台式机也可以
但问题更多：
- 兼容性
- 速率训练
- BIOS/CPU限制

3. 实验室环境 ≠ 标准服务器环境

这个视频其实更像是在做一件事：

👉 用非标准环境，复现标准服务器拓扑

包括：

裸板 + 风扇散热
外接电源
转接链路拼接

这对于做：

PCIe调试
SSD验证
CXL设备测试

是非常典型的“工程场景”。

一句话总结

这次演示的本质，不是“144 Lane Switch能接8张卡”，而是：

👉 在非服务器环境下，用一套可复制的方案，把PCIe Gen5多设备拓扑完整跑通，并把所有关键坑点都踩了一遍。

如果你是做：

PCIe验证
SSD/网卡/GPU测试
或搭建Gen5/Gen6实验环境

这套方法基本就是一个“可落地模板”。

更多关于PCIe 6.0/CXL的测试工具和技术，请下载Saniffer公司2026.1.6最新更新的白皮书15.1版本 - PCIe5&6.0, CXL, NVMeNVMoF, SSD, NAND, DDR5, 800GE测试技术和工具白皮书_ver15.1-low resolution.pdf（低分辨率版本，file size: 63MB）；需要高清图片pdf版本的请参见本文底部的联系方式联系我们获取（file size: 204MB)

链接: https://pan.baidu.com/s/1R-tJEqwBlzBaDR0WLuMU0Q?pwd=9av3 提取码: 9av3

如果你有其任何关于PCIe5&6.0, CXL, NVMe/NVMoF, NAND, DDR5/LPDDR5以及UFS测试方面的我问题想咨询，请访问：访问www.saniffer.cn / www.saniffer.com 访问我们的相关测试工具和产品；或者添加点击左下角“阅读原文”留言，或者saniffer公众号留言，致电021-50807071 / 13127856862，sales@saniffer.com。