DeepSeek 开源推理引擎 DeepInfer:单集群日处理 155T tokens,推理毛利率超 80%
DeepSeek 开源其生产级推理引擎 DeepInfer 及 API 处理层,支持 NVIDIA 与华为昇腾平台,披露单集群日处理量达 155T tokens 且输入缓存命中率达 96%。该系统平均首 token 延迟为 400 ms,生成速度达 230 tokens/s,估算推理毛利率超 80%。但其核心 KV cache 管理与负载均衡组件尚未完全公开。
DeepSeek 开源其生产级推理引擎 DeepInfer 及 API 处理层,支持 NVIDIA 与华为昇腾平台,披露单集群日处理量达 155T tokens 且输入缓存命中率达 96%。该系统平均首 token 延迟为 400 ms,生成速度达 230 tokens/s,估算推理毛利率超 80%。但其核心 KV cache 管理与负载均衡组件尚未完全公开。
Google 宣布公开发布技术文档审查智能体系统 Deep Review,旨在为长篇学术论文、设计文档和法律财务文件提供严谨的逻辑检验与事实对齐。该系统演进自此前与顶会合作测试的 Paper Assistant Tool,采用分段、自适应算力分配、多智能体并行验证与全局综合四阶段流水线,每周为所有用户提供两次免费文档审查,并支持通过 Gemini API 进行高并发调用与程序化集成。
推荐理由:多智能体协作结合动态算力分配,展示了长文档逻辑验证与学术同行评审自动化的可行工程架构。
Google Research 升级了 Earth AI 地理空间推理智能体,并发布相关技术报告与两项新基准。该系统结合 Gemini 与专业遥感预测模型处理多步地理空间推理任务,目前已向部分合作伙伴与开发者开放 Ask Google Earth 深度分析和智能体 API 早期访问。