跳到正文
10月22日周四
10月21日周三
  1. Latent Space49

    DeepSeek 开源推理引擎 DeepInfer:单集群日处理 155T tokens,推理毛利率超 80%

    DeepSeek 开源其生产级推理引擎 DeepInfer 及 API 处理层,支持 NVIDIA 与华为昇腾平台,披露单集群日处理量达 155T tokens 且输入缓存命中率达 96%。该系统平均首 token 延迟为 400 ms,生成速度达 230 tokens/s,估算推理毛利率超 80%。但其核心 KV cache 管理与负载均衡组件尚未完全公开。