Saniffer推出的 PCIe Gen5 M.2  SSD 批量端口测试工具（NTB – NVMe Test Box）旨在应对当今高性能Gen5 M.2 SSD的测试需求，为SSD控制器和模组研发、测试以及生产测试人员提供一个高效、精准、全面的硬件测试平台。该套测试方案的主要特点如下： 1. 硬件平台提供如下端口配置 单主机：8口Gen5 M.2 SSD 单主机：24口Gen5 M.2 SSD 说明：如果希望测试更多的Gen5 M.2 SSD，只需要根据测试端口数量计算购买相应数量的上述测试主机即可。 2. 购买和部署灵活、方便 购买Turn-Key交钥匙测试方案 内置商用PCIe/NVMe SSD测试软件，如SanBlaze等 内置Ubantu Linux下面的商用NVMe SSD测试软件 内置商用Windows版本NVMe SSD测试软件 内置开源Windows版本NVMe SSD测试软件 购买集成硬件平台，部署自己开发的测试脚本和测试用例。 下面是针对该NTB测试方案的一个概述，以单主机 8口Gen5 M.2 SSD硬件平台为例介绍。 方案概述 Saniffer 的 8xPCIe Gen5 M.2 SSD 测试方案集成了最新的 PCIe Gen5 技术，支持同时测试多达 8 个 M.2 接口的 SSD。这一测试平台具备高带宽、低延迟和多通道并行处理能力，能够显著提高测试效率和测试覆盖率。该方案主要由测试硬件、测试软件几部分组成。 测试流程 1. 硬件准备 提供的测试主板支持 8 个 PCIe Gen5 M.2 SSD插槽，基于Broadcom PCIe Gen5 Switch 芯片的M.2拓展板可以确保稳定的连接和高质量的电气信号。测试人员需将待测的 M.2 SSD 安装到对应的插槽中，确保每个 SSD 都牢固连接，并检查所有连接是否正常，然后将扩展板插入对应Gen5 x16插槽。 2. 软件设置 提供的测试软件根据上述可选，例如SanBlaze。该软件具备友好的WebGUI用户界面和强大的功能，能够自动识别安装的 SSD 并生成详细的测试报告。测试人员需要根据具体测试需求，选择合适的测试项目和参数。例如，可以选择顺序读写测试、随机读写测试、耐久性测试、NVMe功能测试等。 3. 测试执行 配置完成后，启动测试软件进行测试执行。测试软件会自动依次对 指定 SSD 进行测试，并实时监控测试过程中的各项参数，包括传输速率、I/O 操作次数、延迟、功耗等，如果是测试功能，那么我们看到每项测试是pass，fail, warning或者skipped。测试数据会被实时记录，并在测试完成后生成详细的测试报告。 4. 数据分析 测试完成后，测试人员可以通过数据分析工具对测试结果进行深入分析。Saniffer 提供的分析工具能够对测试数据进行可视化展示，并提供多种分析维度和指标。例如，可以比较不同 SSD 的性能差异，分析某一 SSD 在不同负载条件下的表现，以及评估 SSD 的长期可靠性等。 5. 报告生成 数据分析完成后，生成最终的测试报告。报告包括测试概述、详细测试数据、分析结果和建议。测试人员可以根据报告内容，对 SSD 的性能和可靠性做出全面评估，并为后续的产品改进和优化提供依据。 方案特点 高性能：采用最新的 PCIe Gen5 技术，能够全面测试高速 SSD 的性能。 多通道并行处理：支持同时测试多达 8 个 M.2 SSD，提高测试效率，节省测试时间。 全面的测试项目：涵盖顺序读写、随机读写、耐久性、协议功能等多个测试项目，全面评估SSD 的各项性能指标。 智能化测试管理：自动化测试流程，实时监控和记录测试数据，减少人为干预，确保测试结果的准确性和可靠性。 强大的数据分析能力：提供丰富的数据分析工具和可视化展示，帮助测试人员深入理解测试结果，做出科学决策。 结论 Saniffer公司8xPCIe Gen5 M.2 SSD 测试方案为存储设备制造商和研发人员提供了一个高效、精准、全面的测试平台。通过这一方案，用户能够更好地了解和评估 SSD 的性能和可靠性，为产品开发和优化提供有力支持。相信这一针对批量PCIe Gen5 M.2 SSD测试方案的推出，将推动存储行业技术的进一步发展和创新。 下面是针对8xPCIe Gen5 M.2 SSD 测试硬件在Linux下面的一个简单的介绍视频，对于仅需要购买硬件平台自己部署测试脚本的用户非常方便。 如果你有其他任何关于PCIe5&6.0, CXL, NVMe, NAND, DDR5/LPDDR5以及UFS测试方面的问题想咨询，请添加saniffer公众号留言，或致电021-50807071 / 13127856862，sales@saniffer.com。  

本文将通过非常通俗易懂的语言讲述一下大模型训练和推理的基本过程和逻辑，从上层接口调用，进入神经网络训练，一直深入到底层架构，例如CUDA或者业内类似CUDA的框架，然后到驱动程序，GPU，GPU之间的交互为什么要用到nvlink这么高速的网络连接，以及为什么不用DDR5而要用HBM，还有和存储部件如NVMe SSD或者后台分布式存储系统之间的交互。我们将尽量使得没有接触过这些逻辑开发的人员可以清楚了解整个训练过程，以及训练完毕生成的文件到底是个什么东西，后面的推理应用如何加载这个文件来推理用户的问题。让我们从头开始,一步步深入:1.用户接口调用: 想象你在使用一个聊天机器人。当你发送一条消息时,这就是一次接口调用。你的消息会被送到后台的大模型系统中。2.进入神经网络: 你的消息会被转换成数字形式,就像把文字翻译成计算机能理解的语言。这些数字会被送入神经网络,神经网络就像是一个超级复杂的数学方程。3.深入到底层架构: 为了处理这个复杂的方程,我们需要非常强大的计算能力。这就是CUDA或类似框架发挥作用的地方。CUDA是NVIDIA开发的一种技术,允许程序员利用GPU(图形处理器)进行大规模并行计算。4.驱动程序和GPU: 驱动程序就像是计算机和GPU之间的翻译官。它把高级指令转换成GPU能理解的语言。GPU原本是为处理图形设计的,但它们也非常擅长进行大模型所需的并行计算。5.GPU之间的交互和NVLink: 训练大模型通常需要多个GPU协同工作。NVLink是一种高速连接技术,允许GPU之间快速交换大量数据。想象一下,如果GPU是厨师,NVLink就是他们之间传递食材的超快传送带。6.HBM vs DDR5: HBM(高带宽内存)比DDR5更适合大模型训练,因为它能提供更高的数据传输速度。这就像是给厨师们配备了更快的助手,能更快地递送所需的原料。7.存储系统交互: 训练过程中,模型需要从NVMe SSD或分布式存储系统中读取大量数据。这些存储系统就像是巨大的图书馆,存放着模型学习所需的所有"书籍"。8.训练过程: 在训练过程中,模型会反复学习大量数据,不断调整自己的"方程"以提高准确性。这就像是反复练习解题,直到熟能生巧。9.训练完成后的文件: 训练完成后,我们得到的是一个包含模型所有参数的大文件。这个文件就像是模型的"大脑",包含了它学到的所有知识和技能。10.推理应用: 当我们想使用这个训练好的模型时,推理应用会加载这个大文件。它就像是把模型的"大脑"装入一个新的身体。当用户提出问题时,推理应用会使用这个"大脑"来生成回答。总的来说,整个过程就像是培养一个超级学生。我们提供大量的学习材料(数据),使用强大的学习工具(GPU、高速网络、快速内存),经过长时间的学习(训练),最后得到一个知识渊博的"大脑"(模型文件)。这个"大脑"之后可以被用来回答各种问题或完成各种任务。我们再来看一下上述的描述中，消息从进入神经网络到离开神经网络，在神经网络内部的逻辑算法上大致经过了哪些步骤和处理过程:1.输入处理: 想象神经网络是一个复杂的迷宫。你的消息首先被转换成一串数字,就像给迷宫的入口贴上标签。2.词嵌入: 每个单词都被转换成一个特殊的数字序列,就像给迷宫中的每个物体赋予独特的颜色代码。3.位置编码: 系统会记住每个单词在句子中的位置,就像在迷宫中标记出每个物体的具体位置。4.自注意力机制: 这一步,系统会关注消息中的重要部分。想象成在迷宫中点亮某些特别重要的路径。5.前馈神经网络: 接下来,信息通过一系列复杂的数学运算,就像在迷宫中穿过各种机关和障碍。6.多层处理: 以上步骤会重复多次,每次都在更深的层次上理解信息。就像在迷宫中越走越深,逐渐揭示更多秘密。7.输出生成: 最后,系统会根据处理后的信息生成一个回应。这就像从迷宫的出口拿到一个宝藏。8.解码: 生成的数字序列被转换回人类可以理解的语言。就像把迷宫中获得的密码翻译成普通话。整个过程就像是你的消息在一个智能迷宫中穿梭,每一步都在增加理解和洞察,最终产生一个有意义的回应。这个过程是自动进行的,速度非常快,使得对话看起来像是实时进行的。那么，上述过程中，哪几个步骤必须要用到GPU参与计算？哪些步骤依靠CPU就可以了呢？让我们来具体分析一下：主要由CPU处理的步骤：1.输入处理： CPU可以高效地处理初始的文本到数字的转换。这个步骤计算量相对较小。2.词嵌入查找：虽然词嵌入的训练需要GPU，但查找已训练好的词嵌入通常可以由CPU完成，因为这基本上是一个内存查找操作。3.位置编码：这个步骤通常涉及简单的数学运算，CPU可以胜任。4.解码（输出处理）：将最终的数值结果转换回人类可读的文本，这个过程计算量较小，CPU可以处理。主要需要GPU参与的步骤：1.自注意力机制：这个步骤涉及大量的矩阵乘法运算，非常适合GPU的并行处理能力。2.前馈神经网络：同样涉及大规模的矩阵运算，GPU可以大大加速这个过程。3.多层处理：由于这是自注意力和前馈网络的重复，它也主要依赖GPU。需要注意的是：·在实际应用中，为了提高整体效率，即使是一些可以由CPU处理的步骤也可能被转移到GPU上，特别是在大规模推理时。·现代的深度学习框架（如PyTorch或TensorFlow）通常会自动处理CPU和GPU之间的任务分配，以优化性能。·对于非常大的模型，几乎所有步骤都可能在GPU上进行，以减少CPU和GPU之间的数据传输开销。总的来说，GPU主要用于计算密集型的任务，特别是涉及大规模矩阵运算的部分。CPU则更多地用于控制流程、数据预处理和后处理等任务。在实际应用中，两者往往协同工作，以达到最佳的性能和效率。有的朋友可能对于上述的这两个术语：自注意力机制，前馈神经网络不是很清楚，我们用通俗易懂的语言解释这两个术语。1.自注意力机制 (Self-Attention Mechanism)想象你在阅读一本复杂的小说。当你读到某个情节时,你会自然而然地回想起之前提到的相关信息,这helps你更好地理解当前的内容。自注意力机制就是模仿这个过程的。具体来说:·它让模型能够"关注"输入中的不同部分,并理解它们之间的关系。·就像你读书时会把重要的词句划上重点一样,自注意力机制会给输入中的每个部分分配不同的"重要性权重"。·这使得模型能够捕捉到长距离的依赖关系,比如在一个长句子中理解代词"它"指代的是什么。2.前馈神经网络 (Feedforward Neural Network)想象你在玩一个复杂的弹珠机。你在顶部放入一个弹珠(输入),然后它会通过一系列的坡道、弹簧和障碍物(神经元层),最终到达底部(输出)。具体来说:·前馈神经网络是最基本的神经网络类型。·信息总是朝一个方向流动,从输入层通过一个或多个隐藏层,最后到达输出层。·每一层都对前一层的输出进行一些数学运算和转换。·这个过程helps模型学习复杂的模式和特征。这两个组件在现代大语言模型中通常是这样工作的:1.自注意力机制首先处理输入,找出单词间的关系和重要性。2.然后,这个处理过的信息被送入前馈神经网络,进行更深层次的处理和特征提取。3.这两个步骤通常会重复多次,每次都在更抽象的层面上理解输入。简单来说,自注意力机制就像是一个聪明的阅读者,懂得抓住重点;而前馈神经网络则像是一个复杂的信息加工厂,能够从这些重点中提炼出更深层的含义。如果你有其任何关于PCIe5&6.0, CXL, NVMe, NAND, DDR5/LPDDR5以及UFS测试方面的我问题想咨询，请添加点击左下角“阅读原文”留言，或者saniffer公众号留言，致电021-50807071 / 13127856862，sales@saniffer.com。

在日常工作过程中，我们有时候会碰到有工程师想在PCIe链路注入一些问题，来验证接收端收到这些异常的时候是否可以可靠稳定地处理和响应。下面的视频向你详细演示介绍了业内主流公司是如何进行这类测试的，视频结尾你可以很清晰地看到我们是如何在一个好的链路上通过向CPU端注入问题从而模拟出来PCIe CE（correctable error)并且在Linux下面如何查看。 我们从2020/2021开始的PCIe 5.0芯片、控制器和系统集成开发、验证这几年来发现，你不论验证CPU(RC端），还是卡/盘端（Endpoint端）的时候一般想在链路上导入下面的一些问题：  模拟对端过来的信号不好 这导致接收端会收到各种协议层错误，例如 code violation（不按照PCIe spec生成symbol)，bit error, CRC error等。这类需求一般较多，因为SI信号质量的的确确是PCIe 5.0的一大痛点。无论你自己这端CPU或者板卡做的再好，奈何不了对端过来的信号太差导致你的产品如果没有实现模拟过这类情况导致工作一段时间不稳定。应该具备可以调整参数，来模拟故障error 的多少，直至出现链路复位。参照下图。 模拟对端由于产品设计或者虚焊导致的某些信号不稳定 这类问题有的时候很难发现，尤其需要引起重视。一般情况是在链路中间控制某些信号针脚断掉，或者模拟非常快速地时断时通看对端待测产品是否稳定。这些问题很难通过使用真正的服务器主机或者板卡来模拟各种可能的问题，一般都是通过下述的这种逻辑来实现，下图是英国 Quarch公司的高速信号开关，可以控制任意Power, PCIe数据通道每个lane (TX, RX）的每一根差分信号，以及Sideband边带信号。   模拟PCIe链路上某些sideband边带信号在正常工作过程中的异常操作 我们之前碰到，有的卡在长时间运行过程中突然掉卡，分析后发现是由于被主机CPU端将PERST#拉低后导致控制器复位重置。所以，有的时候需要对于PCIe链路上一些常见的sideband信号进行拉高、拉低模拟测试。 模拟快速掉电/上电 这种一般是处于测试的需要，为了复现某些问题，需要对于PCIe插卡进行快速掉电/上电后，看 CPU能否重新扫描出device，然后继续进行测试从而最快地复现问题。 模拟PCIe lane reversal反转或者lane 混乱 这类模拟通常可以非常方便地通过SerialCable公司的一些套件实现，参见下图。这些套件串接在PCIe Gen5 x16插槽和板卡之间，实现lane 0~lane 15的全部反转，或者实现将lane 0~3依次和lane 4~7, 8~11, 12~15互换，上述两种情况都可以来验证，要么CPU，要么板卡控制器可以从这些混乱中可以正常协商通讯。   之前也有工程师提出有没有协议层的故障注入手段呢？其实，在 PCIe Gen1/2时代是有的，从Gen3时代就没有公司开发此类产品，但是现在个别产品宣称支持该类故障注入，但是这类产品有几个大的缺陷：1）价格依附于协议分析仪，非常昂贵；2）产品单页宣传和实际使用存在较大的差异，实际使用可能直接导致系统死机、链路中断等，无法模拟现实环境中经常碰到的各种问题。 从技术层面来讲，PCIe协议自从PCIe Gen3开始引入stream以后，协议分析仪很难再在链路中间导入错误或者问题。协议分析仪的 error injection的机制和实现是双向PCIe traffic必须流经其FPGA故障注入逻辑。工程师需要实现在该FPGA上设置策略，例如在endpoint -> CPU方向碰到一个特定的 packet（该packet作为触发条件），分析仪可以将这个packet的CRC改错然后再发送到对端。但是由于stream的导入，analyzer FPGA在收到一个start of stream symbol以后，必须等待end of stream symbol（无法预测一个stream到底多长，可能几十个TLP，或者几千个TLP），然后将整个stream留置在FPGA buffer，然后再来检查stream内部是否有用户定义的trigger packet，然后再来修改，最后再次生成stream，结果就是link down，因为处理时间太长，延迟太大导致link timeout。由于FPGA无法预测stream到底多长，内部含有多少TLP packet，很可能资源溢出无法处理。 如果你有其任何关于PCIe5&6.0, CXL, NVMe, NAND, DDR5/LPDDR5以及UFS测试方面的我问题想咨询，请添加点击左下角“阅读原文”留言，或者saniffer公众号留言，致电021-50807071 / 13127856862，sales@saniffer.com。  

SANBlaze是美国一家专门提供存储和网络测试解决方案的公司，他们的设备在测试AI训练和推理硬件的功能和性能方面确实有许多应用。以下是一些使用SANBlaze设备进行AI硬件测试的具体例子：1.NVMe SSD性能测试设备：SANBlaze VirtuaLUN 场景：测试用于AI训练的高速NVMe存储性能，操作步骤：使用VirtuaLUN模拟多个NVMe主机，创建高负载环境配置不同的I/O模式（随机读写、顺序读写）和队列深度运行持续24小时的压力测试，模拟长时间AI训练过程监控IOPS、带宽和延迟指标 可能发现的问题：在持续高负载下性能下降，可能指示散热或持续性能问题某些I/O模式下性能异常，可能需要优化固件或驱动2.网络适配器性能测试设备：SANBlaze Ethernet Tester 场景：测试用于分布式AI训练的高速网络适配器性能 操作步骤：使用SanBlaze生成模拟NVMoF Initiator分布式训练的网络流量模式测试不同数据包大小和协议（如RDMA over Converged Ethernet, RoCE）运行长时间（如48小时）的持续性能测试监控吞吐量、延迟和数据包丢失率 可能发现的问题：RDMA性能不符预期，可能需要调整网卡或交换机配置长时间运行后性能下降，可能存在固件或驱动问题3.存储系统故障注入测试设备：SANBlaze VirtuaLUN with Fault Injection 场景：测试AI系统对存储故障的恢复能力 操作步骤：配置VirtuaLUN模拟训练数据集所在的存储系统,如FC SAN, iSCSI SAN, FCoE, NVMoF或者SAS存储系统在模拟的AI训练工作负载运行时注入各种故障（如延迟、丢包、断开连接）观察系统的响应和恢复能力测试不同级别的RAID或分布式存储配置 可能发现的问题：某些故障情况下系统恢复时间过长数据一致性在故障后无法保证，需要改进错误恢复机制4.NVMe-oF（NVMe over Fabrics）性能测试设备：SANBlaze NVMe-oF Tester 场景：测试基于网络的NVMe存储在AI训练中的性能 操作步骤：配置NVMe-oF Tester模拟远程NVMe存储测试不同网络协议（如RDMA、TCP）下的性能比较本地NVMe和NVMe-oF在AI工作负载下的性能差异分析延迟分布和带宽利用率 可能发现的问题：网络延迟对AI训练性能的影响超出预期，可能需要调整缓存策略某些网络协议下性能不稳定，需要优化网络配置5.多协议存储系统测试设备：SANBlaze Multiprotocol Storage Tester 场景：测试混合存储环境（如NVMe、SAS、SATA）在AI工作负载下的性能 操作步骤：使用Multiprotocol Storage Tester模拟包含不同类型存储的复杂环境运行模拟AI训练和推理的I/O模式分析不同存储类型的性能贡献和瓶颈测试存储分层和缓存策略的效果 可能发现的问题：存储分层策略在AI工作负载下效率低下，需要特定优化某些存储类型成为明显瓶颈，可能需要调整系统架构这些例子展示了SANBlaze测试设备在AI训练和推理硬件测试中的多样化应用。通过这些测试，工程师可以：全面评估存储、网络和计算组件在AI工作负载下的性能和可靠性发现潜在的系统瓶颈和兼容性问题验证系统在极端条件和故障情况下的行为优化整体系统架构以提高AI训练和推理效率SANBlaze的测试设备提供了模拟复杂AI基础设施的能力，使得全面的系统级测试成为可能，这对于构建高性能、高可靠性的AI系统至关重要。如果你有其任何关于PCIe5&6.0, CXL, NVMe, NAND, DDR5/LPDDR5以及UFS测试方面的我问题想咨询，请添加点击左下角“阅读原文”留言，或者saniffer公众号留言，致电021-50807071 / 13127856862，sales@saniffer.com。

英国Quarch公司的各种线缆插拔和故障注入模块（cable pull module）可以用于训练和推理过程中主动模拟测试网络可能出现的问题。它提供了针对FC、Ethernet、Infiniband、SAS/SATA、PCIe、USB等各种线缆插拔、故障模拟的器件，这些模块串接在链路中间，比较典型的应用是串接在GE/10GE/25GE/40GE/100GE/200GE/400GE以太网链路上。参见下图。Quarch公司的cable pull modules可以用于机器学习网络拓扑健壮性的自动化测试。这些模块主要用于模拟电缆插拔和连接失效的场景，对系统的稳定性和容错能力进行测试。以下是一些可能的应用例子：1.训练集群的网络弹性测试：使用Quarch的SFP/QSFP/QSFP28 cable pull模块来模拟10GE/25GE/40GE/100GE/200GE/400GE网络连接的随机断开和重连。这可以测试分布式训练系统在网络波动时的恢复能力和数据一致性维护能力。2.存储系统可靠性测试：利用SAS/SATA cable pull模块来模拟存储设备或者12G SAS和6G SAS/SATA HDD/SSD的热插拔。这可以验证大规模数据集在存储设备失效时的完整性，以及训练任务的容错和恢复机制。3.GPU互连稳定性测试：对于使用NVLink或其他高速互连的多GPU系统，可以使用相应的cable pull模块来测试在GPU间通信链路断开时系统的行为，评估对训练速度和精度的影响。4.电源冗余测试：使用电源cable pull模块来模拟电源故障场景，测试推理服务器在电源切换时的稳定性，确保不会影响正在进行的推理任务。5.远程管理接口可靠性测试：利用管理端口（如IPMI）的千兆/10GE cable pull模块，测试在管理连接断开时系统的行为，验证远程监控和控制的可靠性。6.高可用性集群测试：在构建容错的推理服务集群时，可以使用多个cable pull模块同时模拟多个连接故障，测试系统的自动故障转移和负载均衡能力。7.长时间稳定性测试：利用cable pull模块的自动化能力，进行长时间（如几天或几周）的反复插拔测试，评估系统在持续压力下的可靠性，这对于需要长期运行的训练任务特别重要。8.边缘设备的环境适应性测试：对于部署在复杂环境中的边缘AI设备，可以使用cable pull模块模拟各种连接不稳定的情况，测试设备在恶劣条件下的推理性能和稳定性。这些测试可以帮助开发者和系统管理员确保机器学习硬件在各种故障和异常情况下仍能保持稳定运行，提高整体系统的可靠性和健壮性。如果你有其任何关于PCIe5&6.0, CXL, NVMe, NAND, DDR5/LPDDR5以及UFS测试方面的我问题想咨询，请添加点击左下角“阅读原文”留言，或者saniffer公众号留言，致电021-50807071 / 13127856862，sales@saniffer.com。

我们本篇文章将通过更具体的例子,说明如何使用Quarch PAM如何监测和分析GPU卡。以下是一些详细的场景和操作步骤:1.GPU启动序列分析场景: 分析GPU从上电到就绪状态的整个过程。操作步骤:将PAM连接到GPU的主要电源轨(如12V PCI-E和3.3V aux)。设置PAM采样率为至少10kHz,以捕捉快速变化。触发系统启动,记录从上电开始的至少5秒数据。分析功耗曲线,识别各个阶段(如BIOS POST, GPU BIOS加载,初始化等)。可能发现的问题:某个阶段耗时异常长,可能指示初始化问题。功耗峰值超出预期,可能需要重新评估电源设计。2.GPU动态频率调节(GPU Boost)分析场景: 研究GPU在不同负载下的动态频率调节行为。操作步骤:使用PAM监测GPU核心电压轨和总功耗。运行一个逐步增加复杂度的AI工作负载(如从小型CNN到大型Transformer模型)。记录至少15分钟的连续数据,采样率设为1kHz。将功耗数据与GPU频率日志(可通过GPU-Z等工具获取)对比。可能发现的问题:功耗波动与频率变化不同步,可能指示Boost算法异常。在某些负载下频率无法提升,可能是温度或功耗限制导致的瓶颈。3.GPU内存子系统功耗分析场景: 分析GPU HBM或GDDR内存的功耗特性。操作步骤:使用PAM的多通道功能,同时监测GPU核心和内存供电轨。运行内存密集型和计算密集型工作负载(如大型矩阵乘法vs. 卷积)。设置采样率为100kHz,以捕捉细微的功耗波动。记录每种工作负载下至少5分钟的数据。可能发现的问题:内存功耗异常高,可能指示内存控制器或散热问题。核心和内存功耗比例失衡,可能需要优化工作负载或内存配置。4.GPU过热保护机制验证场景: 验证GPU的热保护功能是否正常工作。操作步骤:使用PAM监测GPU的所有主要电源轨。运行一个高强度的GPU压力测试(如FurMark)。同时监控GPU温度(通过软件或外部传感器)。记录直到GPU达到其热限制并开始降频或关闭。采样率设为至少1kHz,以捕捉快速的功耗变化。可能发现的问题:温度达到阈值但功耗没有及时下降,可能指示热保护响应延迟。功耗突然下降但温度继续上升,可能是散热系统效率问题。5.多GPU系统负载均衡分析场景: 分析多GPU系统中的负载分布。操作步骤:使用多个PAM通道,同时监测系统中所有GPU的功耗。运行支持多GPU的AI训练任务(如大型语言模型训练)。设置采样率为1kHz,持续记录至少1小时的数据。分析不同GPU之间的功耗差异和变化模式。可能发现的问题:GPU间功耗长期不均衡,可能指示工作负载分配不当。某个GPU的功耗模式与其他明显不同,可能是硬件问题或散热差异。6.GPU PCIe信号完整性分析场景: 研究GPU PCIe接口的信号质量。操作步骤:使用PAM的高速采样功能(>1MHz)监测PCIe 12V和3.3V轨的电压。在系统运行高带宽PCIe传输时(如大量数据从系统内存到GPU内存的传输)记录数据。分析电压纹波和瞬态响应。可能发现的问题:过大的电压纹波可能导致PCIe通信错误或不稳定。瞬态响应不佳可能影响GPU在高负载下的稳定性。7.GPU风扇控制与功耗关系分析场景: 研究GPU风扇速度调节与功耗的关系。操作步骤:使用PAM监测GPU总功耗。同时使用PAM的边带信号监测功能记录风扇控制信号(如PWM信号)。运行一个逐步增加负载的GPU测试。采样率设为10kHz,以捕捉风扇速度的快速变化。记录至少30分钟的数据,覆盖从空闲到满载的过程。可能发现的问题:功耗增加但风扇速度响应滞后,可能指示散热控制算法需要优化。风扇速度频繁波动,可能导致噪音问题和风扇寿命缩短。8.GPU ASIC和VRM效率分析场景: 评估GPU ASIC和电压调节模块(VRM)的能效。操作步骤:使用PAM同时监测GPU的输入功率(12V PCIe)和ASIC核心电压轨。运行一系列不同强度的AI工作负载。设置采样率为100kHz,以捕捉VRM的开关特性。对每种负载记录至少5分钟的数据。计算不同负载下的功率转换效率。可能发现的问题:低负载下效率异常低,可能需要优化VRM设计。某些负载范围内效率突然下降,可能指示VRM工作在非最优状态。这些例子展示了如何使用Quarch PAM深入分析GPU的各个方面,从整体功耗特性到具体子系统的行为。通过这些详细的分析,工程师可以:精确评估GPU在AI工作负载下的性能和效率。识别潜在的设计缺陷或优化机会。验证GPU在极限条件下的可靠性和稳定性。优化系统级的功耗管理和散热设计。PAM的高精度和多功能性使得这些复杂的分析成为可能,为GPU在AI应用中的开发和验证提供了强大的支持。如果你有其任何关于PCIe5&6.0, CXL, NVMe, NAND, DDR5/LPDDR5以及UFS测试方面的我问题想咨询，请添加点击左下角“阅读原文”留言，或者saniffer公众号留言，致电021-50807071 / 13127856862，sales@saniffer.com。

前面几篇文章主要讲了如何使用Quarch产品主动导入一些问题来验证大模型训练/推理过程中使用的GPU, 网卡，SSD等的健壮性，但是有的时候我们也需要被动地解决一些电源相关的问题。Quarch的功率分析模块(PAM, Power Analysis Module)是一款强大的工具，用于精确监测硬件组件的功耗和边带信号。在AI训练和推理主机的硬件验证中，PAM可以帮助发现许多潜在的问题和故障。以下是一些使用Quarch PAM进行功耗监测和边带信号分析的具体例子：1.GPU动态功耗分析场景：监测GPU在不同AI工作负载下的功耗变化。操作：使用PAM持续监测GPU的功耗。运行不同类型的AI模型（如CNN、RNN、Transformer等）。分析功耗波动和峰值。可能发现的问题：某些模型可能导致异常的功耗峰值，指示潜在的优化空间。功耗波动过大可能暗示散热问题或电源设计不足。2.网卡电源完整性分析场景：监测高速网卡在数据传输过程中的电源稳定性。操作：使用PAM监测网卡的电压纹波和瞬态响应。在不同的数据传输模式下（如突发传输、持续高带宽传输）进行测试。可能发现的问题：电压瞬态过大可能导致网卡不稳定或位错误率增加。持续的电压纹波可能影响信号完整性，降低网络性能。3.NVMe SSD功耗异常检测场景：长时间监测SSD的功耗模式。操作：使用PAM记录SSD在各种操作（读、写、空闲）下的功耗。分析功耗数据，寻找异常模式。可能发现的问题：空闲状态下异常高功耗可能指示固件问题或后台进程异常。写入操作功耗突然增加可能暗示写入放大效应恶化。4.GPU温度与功耗关联分析场景：同时监测GPU的温度和功耗。操作：使用PAM监测GPU功耗，同时记录温度传感器数据。在长时间的AI训练过程中分析两者的关系。可能发现的问题：温度升高但功耗不变，可能指示散热系统效率下降。功耗突然下降伴随温度急剧上升，可能是过热保护机制触发的标志。5.网卡边带信号分析场景：监测网卡的PCIe边带信号。操作：使用PAM监测诸如PERST#（PCIe复位）等信号。在系统启动、负载变化时分析这些信号的行为。可能发现的问题：PERST#信号异常可能指示系统在压力下不稳定，导致频繁的PCIe重置。边带信号的异常行为可能暗示PCIe链路训练问题。6.SSD电源状态转换分析场景：监测SSD在不同电源状态间的转换。操作：使用PAM精确捕捉SSD在活跃、空闲、睡眠状态间切换时的功耗变化。分析转换的时间和功耗特征。可能发现的问题：状态转换时间过长可能影响系统响应性。低功耗状态的实际功耗高于预期，可能指示电源管理问题。7.GPU多轨电源协同分析场景：同时监测GPU的多个电源轨（如核心、内存、I/O）。操作：使用PAM的多通道功能同时监测不同电源轨。分析各轨之间的功耗关系和时序。可能发现的问题：电源轨之间的不同步可能导致性能不稳定或错误。某个电源轨的异常行为可能指示局部故障。8.网卡突发流量功耗分析场景：监测网卡在处理突发流量时的功耗特性。操作：使用PAM高采样率功能捕捉网卡在突发流量下的瞬时功耗。分析功耗峰值和持续时间。可能发现的问题：过高的功耗峰值可能超出电源设计限制，导致系统不稳定。功耗无法及时响应流量变化可能指示性能瓶颈。9.SSD写入操作功耗特征分析场景：详细分析SSD在不同写入模式下的功耗特征。操作：使用PAM高精度测量SSD在顺序写入和随机写入时的功耗模式。分析功耗波形的形状和持续时间。可能发现的问题：随机写入功耗异常高可能指示写入放大问题严重。功耗波形不规则可能暗示内部垃圾回收机制异常。10.GPU边带信号与功耗关联分析场景：同时监测GPU的功耗和某些关键边带信号（如风扇速度控制信号）。操作：使用PAM同时记录GPU功耗和边带信号。分析信号变化与功耗变化的关系。可能发现的问题：功耗上升但风扇速度控制信号无响应可能指示散热控制系统故障。边带信号频繁波动可能暗示系统在不稳定状态下运行。这些例子展示了Quarch PAM在AI硬件验证中的强大capabilities。通过精确的功耗监测和边带信号分析，工程师可以:深入了解硬件在实际AI工作负载下的行为。发现常规测试难以察觉的细微问题。优化系统设计，提高能效和可靠性。预测潜在故障，提前采取预防措施。PAM的高精度、高采样率和多通道功能使得复杂的功耗和信号分析成为可能，为AI硬件的开发、验证和故障诊断提供了宝贵的洞察。这对于构建高性能、高可靠性的AI训练和推理系统至关重要。如果你有其任何关于PCIe5&6.0, CXL, NVMe, NAND, DDR5/LPDDR5以及UFS测试方面的我问题想咨询，请添加点击左下角“阅读原文”留言，或者saniffer公众号留言，致电021-50807071 / 13127856862，sales@saniffer.com。