如何在部署前验证 AI 推理

+ KAI 推理构建器

在硬件部署前验证推理基础设施

通过在数字孪生中建模计划中的数据中心拓扑，搭建部署前的人工智能推理验证环境。呈现交换和路由路径、推理服务、安全控制，以及客户端入站与推理后端之间的预期连接。配置人工智能推理工作负载仿真，以生成逼真的大型语言模型提示和响应，包括不同的提示长度、对话模式和并发用户。在对建模架构进行测试之前，定义可重现的工作负载配置文件，指定请求到达率，并选择具有代表性的测试时长。记录每个工作负载层级的端到端响应延迟、首次令牌出现时间、输出令牌速率以及请求完成结果。在条件允许的情况下，将这些推理原生观测结果与来自计算、网络和安全层的基础设施遥测数据进行关联。在不同架构变体中使用相同的工作负载输入，以便将观察到的差异归因于模拟的系统配置，而非提示词行为的变化。

在较低的并发用户水平下运行基线测试，然后在保持工作负载分布不变的情况下，分阶段逐步增加模拟需求。跟踪令牌吞吐量、尾部响应延迟、完成率的变化，以及请求负载与实际推理能力之间的关系。在同一建模环境中比较候选的路由、安全及推理服务方案；记录每次运行的配置细节。分析长上下文和多轮会话如何改变建模推理路径上的需求，以及响应时间分布从何处开始变宽。当集成使系统级遥测数据可用时，将推理测量结果与报告的图形处理单元、内存和网络行为进行比较。区分数字孪生中的观测结果与那些需要通过物理硬件验证才能得出的结果。记录每个候选方案的已测试工作负载假设、软件和网络配置、测量定义以及观察到的限制。这些结果构成了一份可重复的部署前验证记录，而非对生产环境性能的保证声明。

部署前人工智能推理验证解决方案

部署前的推理验证需要建模的基础设施、具有代表性的客户端请求以及可重复的负载配置文件。该解决方案将Keysight AI Inference Builder的工作负载仿真与分析功能，与数字孪生环境相结合，以便在物理设备安装之前对规划中的AI数据中心架构进行测试。Inference Builder可模拟各种大型语言模型的提示模式，控制用户并发数和提示速率，并报告推理特有的延迟和吞吐量指标。数字孪生环境为建模网络与基础设施之间的交互提供了平台，同时模拟的推理流量会沿规划路径传输。工程师可以对比在一致需求条件下的候选配置，检查负载下的响应行为变化，并分析整个技术栈中限制因素出现的具体位置。首次令牌时间、输出令牌速率、并发量以及请求完成行为为对比提供了衡量指标。结果仍取决于仿真模型，在投入生产前需要通过物理验证。

索取报价