如何验证人工智能推理基础设施的可扩展性

+ Keysight AI 推理构建器

在并发负载下测试推理能力

AI 推理基础设施在轻负载下通常能提供可预测的响应时间，但随着并发用户数量的增加，其性能表现会发生变化。大型语言模型（LLM）的请求在提示词长度、输出长度及交互模式方面各不相同，因此单一基准测试无法全面反映生产级流量所产生的需求。随着并发会话数量的增加，推理吞吐量可能不再按比例增长，同时推理延迟会增加，且请求完成的一致性也会下降。这种偏差掩盖了系统的可用容量，也使得难以区分工作负载影响与基础设施限制。AI推理可扩展性测试通过将提供的请求速率和并发会话与已完成工作量、令牌生成速率以及响应时间分布相关联，从而揭示了这些行为。可比的工作负载概况有助于揭示需求增长何时开始超过实际提供的推理性能。

当推理软件栈和底层基础设施在不同负载水平下带来不同的限制时，挑战就会变得更加复杂。GPU 遥测数据可以揭示资源压力，但仅凭 GPU 利用率无法解释请求为何变慢或吞吐量为何趋于平稳。网络路径、服务组件以及输入处理与令牌生成之间的差异，都会影响观察到的响应。基于实际场景的大语言模型（LLM）工作负载仿真，能在并发度逐渐增加的情况下，将推理吞吐量和推理延迟与基础设施遥测数据关联起来，从而使工程师能够识别哪些条件会导致系统饱和。在可比的负载配置文件下进行重复测量，可以揭示配置更改是改变了容量上限，还是仅仅重新分配了延迟。由此获得的关于持续吞吐量、响应时间行为以及支持并发度的视图，定义了一个可测量的运行边界，而无需依赖孤立的峰值性能数值。

AI推理基础设施可扩展性解决方案

AI推理可扩展性测试需要具有代表性的工作负载、可控的并发需求增长，以及对响应行为和系统利用率的相关测量。是德科技的AI Inference Builder支持对大型语言模型流量进行工作负载仿真，并帮助工程师在请求量增加时评估推理吞吐量、推理延迟和性能。该解决方案将工作负载级别的测量数据与基础设施观察结果整合到对系统行为的统一评估中。工程师可以分析：已完成的工作量在何时不再随需求成比例增长、响应时间在何时变得不稳定，以及哪些基础设施状况与这些变化同时发生。可比的工作负载配置文件支持跨配置的分析，帮助团队区分容量限制与流量波动。这种高层次的评估侧重于观察到的扩展行为，而非断言特定的硬件配置、架构集成或测得的性能数据。结果可表现为不同并发级别下的吞吐量和延迟趋势，相关的资源遥测数据则为结果解读提供了背景信息。

索取报价