PyTorch:Blog(RSS)·· 1 天前AI 评分43
NVIDIA Dynamo 的会话感知智能体推理
Session-Aware Agentic Inference with NVIDIA Dynamo
AI 导读
NVIDIA Dynamo 用统一的会话级标识符,把请求级服务基础设施变成程序感知系统。由此实现会话感知路由、共享 KV cache 索引,以及跨 vLLM 和 SGLang 的可编程 cache 移动。它对 Claude Code、Codex 和 OpenCode 无需配置即可工作,自定义接入只需 X-Dynamo-Session-ID 请求头。
资讯发现:AIHOT 原收录页
来源:PyTorch:Blog(RSS) · pytorch.org