Latent Space·· 2 天前AI 评分49
DeepSeek 开源推理引擎 DeepInfer：单集群日处理 155T tokens，推理毛利率超 80%
[AINews] DeepSeek DeepInfer: Open Source SOTA Inference running 155T toks/day/cluster making $22m/day at ~80% margin for a 81 day payback
AI 导读
DeepSeek 开源其生产级推理引擎 DeepInfer 及 API 处理层，支持 NVIDIA 与华为昇腾平台，披露单集群日处理量达 155T tokens 且输入缓存命中率达 96%。该系统平均首 token 延迟为 400 ms，生成速度达 230 tokens/s，估算推理毛利率超 80%。但其核心 KV cache 管理与负载均衡组件尚未完全公开。
来源：Latent Space · latent.space