Cloudflare Blog· Kevin Flansburg·· 15 天前精选AI 评分70
Cloudflare 复盘 Workers AI GLM-5.3 跨请求 KV Cache 泄漏漏洞与 SGLang 修复方案
Cross-request KV cache exposure in the GLM-5.3 Workers AI model, and our remediation with SGLang
AI 导读
Cloudflare 披露 Workers AI 运行的 GLM-5.3 模型因预填充显存池配置不当及 SGLang 分离式调度缺陷，导致超长提示词请求出现跨请求 KV cache 泄漏。
推荐理由
原文详尽复盘了大模型分离式推理架构中的内存隔离缺陷，为高并发推理集群的生命周期管理提供了工程防护参考。
来源：Cloudflare Blog · blog.cloudflare.com