跳到正文
原文
PyTorch:Blog(RSS)·· 1 天前AI 评分43

NVIDIA Dynamo 的会话感知智能体推理

Session-Aware Agentic Inference with NVIDIA Dynamo

AI 导读

NVIDIA Dynamo 用统一的会话级标识符,把请求级服务基础设施变成程序感知系统。由此实现会话感知路由、共享 KV cache 索引,以及跨 vLLM 和 SGLang 的可编程 cache 移动。它对 Claude Code、Codex 和 OpenCode 无需配置即可工作,自定义接入只需 X-Dynamo-Session-ID 请求头。

资讯发现:AIHOT 原收录页

来源:PyTorch:Blog(RSS) · pytorch.org