如何衡量 AI 工作负载的性能隔离程度

Keysight AI 中心构建器
+ Keysight AI 中心构建器

量化并发工作负载的干扰

AI性能隔离测试从两个已定义的工作负载配置文件及其流量路径共用的网络拓扑开始。配置一个基准工作负载,其中包含指定数量的模拟端点、消息大小、提供负载和通信模式。单独运行该工作负载,并记录任务完成时间、吞吐量以及当前测试配置所显示的延迟统计数据。 在初始比较中,保持网络架构参数和流量生成设置不变。再次启动基准工作负载,同时引入第二个工作负载,该工作负载使用另一组模拟端点。配置其开始时间和流量强度,以便在测量记录中识别出重叠时段。分别收集两个工作负载的结果。

比较基线和并发运行时的测量结果,以量化工作负载干扰。对于每个流量配置文件,计算隔离运行与共享架构运行之间,任务完成时间、交付带宽以及延迟分布的变化。在保持主要工作负载配置不变的情况下,重复此过程,并改变重叠时长或攻击者负载。当平台提供相关测量数据时,监控相应的网络指标,例如队列行为、拥塞信号以及丢包或重传统计数据。 将负载模型和已测试的架构配置与测试结果一并保存。这样,在对调度、拓扑或拥塞管理设置进行受控更改后,AI 架构测试即可重复相同的负载组合。最终结果是针对每个工作负载的比较,展示资源共享如何影响测得的性能。

AI 工作负载性能隔离测试解决方案

性能隔离测试需要独立控制的工作负载流、共享的网络架构,以及可归因于每个工作负载的测量数据。Keysight AI 数据中心构建器能够模拟人工智能工作负载的通信模式,并支持受控的网络架构测试配置。通过使用具有代表性的并发流量特征,工程师可以建立隔离的参考测量数据,然后将其与重叠的工作负载运行结果进行比较。AI网络架构测试方法将性能隔离与拥塞管理、负载均衡以及任务完成时间一同列为评估主题。 所提出的工作流会记录并发负载状况、各工作负载的完成时间行为,以及相关的吞吐量或网络统计数据。在进行受控的配置变更后重复测量,即可获得可比的性能数据。在将该描述作为特定产品的功能声明发布之前,应根据软件版本和选定的PDF文件,核实各作业统计数据和硬件配置的具体可用性。

观看 AI 工作负载性能隔离测试解决方案的演示视频

了解我们的人工智能工作负载性能隔离测试解决方案中的产品

探索资源与洞见

关于 AI 工作负载性能隔离测试的补充资源

联系我们 标识

联系我们的专家

需要帮助找到适合您的解决方案吗?