Choose a country or area to see content specific to your location
- 概述
- 所有型号
- 附件
- 软件
- 支持
验证和优化 AI 推理基础设施
KAI Inference Builder（KAI IB）是一款仿真与分析解决方案，旨在通过高保真、大规模地模拟真实的人工智能工作负载，对人工智能推理基础设施和软件堆栈进行验证、基准测试和优化，从而深入洞察推理系统的性能特征、功能及安全效能。
逼真的 AI 推理工作负载仿真
模拟真实的AI大型语言模型（LLM）推理流量——与真实用户的行为和工作负载相匹配——以便在模拟生产环境的条件下（而非合成实验室测试）验证推理基础设施和技术栈。
大规模流量仿真
支持数百万用户或每秒数百万次提示，从而量化真实的用户并发量，将性能与每令牌成本挂钩，并帮助团队准确规划容量和投资回报率。
私有云或公有云部署选项
通过完全虚拟化或基于硬件的推理客户端仿真，对部署在私有云或公有云上的 AI 推理基础设施进行验证。
单一视图统计界面
通过整合客户端视角的推断原生指标与从服务器采集的统计数据，实现统一视图，从而更快地定位瓶颈并简化优化流程。
介绍Keysight AI KAI）推理构建器
KAI Inference Builder 是一款具备推理感知能力的仿真与分析解决方案，旨在针对实际工作负载条件对 AI 推理基础设施进行验证、基准测试和优化。KAI Inference Builder 通过在 AI 数据中心部署中引入具备工作负载感知能力的全栈验证，帮助团队突破合成基准测试和通用负载测试的局限。
最受欢迎的配置
KAI 推理构建器套装，含 2 个代理，每秒最多支持 100 个提示词
KAI推理构建器套装包含两个代理，每秒最多支持100次提示（1年订阅，全球浮动配额）。该套装符合《贸易协议法》（TAA）要求。
KAI推理构建器套装包含两个代理，每秒最多支持100次提示（1年订阅，全球浮动配额）。该套装符合《贸易协议法》（TAA）要求。
KAI 推理构建器套装，含 2 个代理，每秒最多支持 100 个提示词
- 通过大规模模拟真实的AI客户端行为，对整个AI推理基础设施和技术栈进行验证。
- 选择不同的 AI 角色提示，以针对 AI 推理管道各阶段的关键点进行驱动。
- 通过完全虚拟化或基于硬件的推理客户端仿真，验证部署在公有云或私有云上的 AI 推理基础设施。
- 支持模拟数百万用户，并可精细控制每秒生成的提示词负载，从而实现无与伦比的AI推理规模测试。
- 获取详细的推理统计数据，从而针对 AI 推理管道中各个组件的潜在瓶颈、限制和低效之处，获得可付诸实践的洞察：
- GPU计算
- HBM / VRAM 内存系统
- KV缓存和存储层
- PCIe 和 RDMA 互连
- 模型引擎和编排器
- 在单一的时间同步视图中，将客户端指标与推理引擎级遥测数据（例如 VLLM 统计数据）以及系统级 GPU 遥测数据（例如 DCGM 数据）相关联：
- 提示词：ser second
- 并发用户
- 首次代币发行时间（TTFT）——最大值及百分位数（例如，P50、P90、P99）
- Time to Last Token (TTLT) — 最大值和百分位数（例如，P50、P90、P99）
- 每秒代币数（输入/输出）
- 缓存使用情况
- 预填充和解码时间
- 张量核心的使用
- 调度器状态
- GPU功耗
KAI 推理构建器套装，含 10 个代理，每秒最多支持 1000 条提示
KAI推理构建器套餐包含10个代理，每秒最多支持1000次提示（1年订阅，全球浮动配额）。该套餐符合《贸易协议法》（TAA）要求。
KAI推理构建器套餐包含10个代理，每秒最多支持1000次提示（1年订阅，全球浮动配额）。该套餐符合《贸易协议法》（TAA）要求。
KAI 推理构建器套装，含 10 个代理，每秒最多支持 1000 条提示
- 通过大规模模拟真实的AI客户端行为，对整个AI推理基础设施和技术栈进行验证。
- 选择不同的 AI 角色提示，以针对 AI 推理管道各阶段的关键点进行驱动。
- 通过完全虚拟化或基于硬件的推理客户端仿真，验证部署在公有云或私有云上的 AI 推理基础设施。
- 支持模拟数百万用户，并可精细控制每秒生成的提示词负载，从而实现无与伦比的AI推理规模测试。
- 获取详细的推理统计数据，从而针对 AI 推理管道中各个组件的潜在瓶颈、限制和低效之处，获得可付诸实践的洞察：
- GPU计算
- HBM / VRAM 内存系统
- KV缓存和存储层
- PCIe 和 RDMA 互连
- 模型引擎和编排器
- 在单一的时间同步视图中，将客户端指标与推理引擎级遥测数据（例如 VLLM 统计数据）以及系统级 GPU 遥测数据（例如 DCGM 数据）相关联：
- 提示词：ser second
- 并发用户
- 首次代币发行时间（TTFT）——最大值及百分位数（例如，P50、P90、P99）
- Time to Last Token (TTLT) — 最大值和百分位数（例如，P50、P90、P99）
- 每秒代币数（输入/输出）
- 缓存使用情况
- 预填充和解码时间
- 张量核心的使用
- 调度器状态
- GPU功耗
KAI 推理构建器套装，含 10 个代理，每秒最多处理 10,000 个提示
KAI推理构建器套装包含10个代理，每秒最多支持10,000次提示（1年订阅，全球浮动配额）。该套装符合TAA标准（952-1100）。
KAI推理构建器套装包含10个代理，每秒最多支持10,000次提示（1年订阅，全球浮动配额）。该套装符合TAA标准（952-1100）。
KAI 推理构建器套装，含 10 个代理，每秒最多处理 10,000 个提示
- 通过大规模模拟真实的AI客户端行为，对整个AI推理基础设施和技术栈进行验证。
- 选择不同的 AI 角色提示，以针对 AI 推理管道各阶段的关键点进行驱动。
- 通过完全虚拟化或基于硬件的推理客户端仿真，验证部署在公有云或私有云上的 AI 推理基础设施。
- 支持模拟数百万用户，并可精细控制每秒生成的提示词负载，从而实现无与伦比的AI推理规模测试。
- 获取详细的推理统计数据，从而针对 AI 推理管道中各个组件的潜在瓶颈、限制和低效之处，获得可付诸实践的洞察：
- GPU计算
- HBM / VRAM 内存系统
- KV缓存和存储层
- PCIe 和 RDMA 互连
- 模型引擎和编排器
- 在单一的时间同步视图中，将客户端指标与推理引擎级遥测数据（例如 VLLM 统计数据）以及系统级 GPU 遥测数据（例如 DCGM 数据）相关联：
- 提示词：ser second
- 并发用户
- 首次代币发行时间（TTFT）——最大值及百分位数（例如，P50、P90、P99）
- Time to Last Token (TTLT) — 最大值和百分位数（例如，P50、P90、P99）
- 每秒代币数（输入/输出）
- 缓存使用情况
- 预填充和解码时间
- 张量核心的使用
- 调度器状态
- GPU功耗
服务 支持
通过精心策划的支持方案、优先响应机制和快速周转时间，实现高效创新。
获取可预测的租赁式订阅服务和全生命周期管理解决方案——助您更快达成业务目标。
KeysightCare ，享受卓越服务，获得专属技术响应等更多权益。
确保您的测试系统符合规格要求，并满足本地及全球标准。
通过内部讲师指导的培训和在线学习，快速掌握测量技能。
下载是德科技软件或将您的软件更新至最新版本。
常见问题解答
在AI模型从构建、训练到生产部署的全生命周期中，AI推理占据了成本的大部分。为了确保顺利上线，必须在投入生产前对AI推理基础设施和技术栈进行全面测试，以便尽早发现性能瓶颈和扩展限制，并得出更准确的成本估算。Keysight AI 构建器专为此领域打造，能够揭示整个路径中的瓶颈：从前端 ALB/WAF/AI 安全网关，到 SmartNIC/DPU，再到 GPU、KV 缓存、内存带宽和服务队列，精准定位延迟、故障或可扩展性限制的根源，从而实现精确调优和更明智的架构选择。
要模拟真实的AI工作负载以进行推理测试，仅发送简单的HTTP提示是不够的。这需要对各行业（例如金融、法律）中真实的用户画像进行深入研究，因为每种提示的结构都可能以独特的方式影响涵盖GPU、内存容量或带宽的推理栈。Keysight AI （Keysight AI ）通过精心编排的提示模型和工作负载库，能够帮助优化网络、硬件选择、模型服务层、引擎、编排器以及 GPU/内存使用。该库反映了跨行业和应用类型（例如金融、法律）的实际使用模式，以及技术基准（例如 GPU 计算、内存）。
验证 AI 推理部署需要从客户端视角、网络传输以及至关重要的服务栈视角，全面分析各项统计数据。在此背景下，能够通过单一视图同时查看客户端和服务器视角的推理原生 KPI，对于发现 AI 推理栈中隐藏的瓶颈和低效问题至关重要。Keysight AI 构建器（Keysight AI ）能够将客户端指标与推理引擎级遥测数据（例如 VLLM 统计数据）以及系统级 GPU 遥测数据（例如 DCGM 数据）进行前所未有的关联，并将它们整合在一个时间同步的视图中。 这些统计数据包括并发用户数、首次令牌时间、最后令牌时间、每秒提示词数、令牌速率、预填充和解码时间、缓存利用率、调度器状态、GPU功耗以及张量核心使用情况。
要实现可扩展、稳健且具有高韧性的 AI 推理部署，必须借助能够轻松扩展至生产级用户并发量、对生成的流量负载进行精细控制，并为动态组合的代表性测试场景提供全面自动化功能的工具，进行严格的验证。Keysight AI 构建器（Keysight AI Builder）通过模拟数百万用户来加速容量规划并控制成本，在生产级负载下评估 AI 推理基础设施和软件堆栈，同时对生成的测试负载（即每秒提示次数）进行精细控制。它通过全自动测试场景，支持对 AI 推理基础设施和堆栈进行无与伦比的韧性和健壮性测试，适用于重复性的短时测试或长时间的压力测试。