EXL：如何设计经得起时间考验的 AI 推理服务框架
企业 AI 的竞争优势正从模型本身转向围绕模型构建的推理服务框架（serving harness）。生产环境需要围绕具体工作负载设计架构，统筹内存管理、并发与调度以解决 GPU 显存和延迟等瓶颈，而非盲目堆砌算力或追求最先进模型。构建具备适应性的服务系统，有助于企业更经济地承载模型迭代并实现规模化落地。
#推理
MIT Technology Review AIAI 评分2929 Latent SpaceAI 评分6666 专访 Modal CEO Erik Bernhardsson：AI 算力合约痛点与 Serverless 基础设施实践
Modal 联合创始人兼 CEO Erik Bernhardsson 在播客访谈中拆解了 AI 算力供需错配问题，指出固定周期的矩形 GPU 合约无法适应波动的真实负载，Modal 通过聚合数千家客户需求来实现算力池化与弹性切片。
MIT Technology Review AIAI 评分3636 AI 的隐形存储账单：模型推理留下了什么
AI 推理正在引发庞大且常被忽视的后端存储成本，随着模型持续响应，日志、上下文缓存和备份文件不断累积。WD 内部实测显示，一段 3.97MB 的 720p 生成视频在后端留下了超 500MB 关联数据，体积膨胀达 130 倍。IDC 调查表明近 95% 受访决策者称生成式 AI 导致过去 12 个月数据量增加，企业亟需规划支持 RAG 与动态访问的分层存储架构。
Hugging Face BlogAI 评分6666 Dharma AI 介绍 VocabX：如何通过词表专用化降低小模型 77% 推理成本
Dharma AI 介绍了其针对特定领域小语言模型的词表优化方法 VocabX，通过依据 token 推理成本而非出现频率重构词表，在不改动基座模型的前提下将生产环境推理成本降低了 77%。
Hugging Face BlogAI 评分3030 TorchNeuron 性能分析（第一部分）：在 AWS Trainium 上进行系统级分析
Hugging Face 介绍了在 AWS Trainium 上利用开源 PyTorch 后端 TorchNeuron 进行推理性能系统级分析的方法。开发者可通过结合 `torch.profiler` 与 NeuronConfig 配置，并使用 PrivateUse1 扩展点捕获系统及硬件指令轨迹。
Latent SpaceAI 评分4949 DeepSeek 开源推理引擎 DeepInfer：单集群日处理 155T tokens，推理毛利率超 80%
DeepSeek 开源其生产级推理引擎 DeepInfer 及 API 处理层，支持 NVIDIA 与华为昇腾平台，披露单集群日处理量达 155T tokens 且输入缓存命中率达 96%。该系统平均首 token 延迟为 400 ms，生成速度达 230 tokens/s，估算推理毛利率超 80%。但其核心 KV cache 管理与负载均衡组件尚未完全公开。
Google Research精选AI 评分7676 Google 公开发布技术文档审查智能体系统 Deep Review
Google 宣布公开发布技术文档审查智能体系统 Deep Review，旨在为长篇学术论文、设计文档和法律财务文件提供严谨的逻辑检验与事实对齐。该系统演进自此前与顶会合作测试的 Paper Assistant Tool，采用分段、自适应算力分配、多智能体并行验证与全局综合四阶段流水线，每周为所有用户提供两次免费文档审查，并支持通过 Gemini API 进行高并发调用与程序化集成。
推荐理由：多智能体协作结合动态算力分配，展示了长文档逻辑验证与学术同行评审自动化的可行工程架构。
Google ResearchAI 评分5353 Google 扩展 Earth AI 地理空间推理智能体并开放技术报告与早期访问
Google Research 升级了 Earth AI 地理空间推理智能体，并发布相关技术报告与两项新基准。该系统结合 Gemini 与专业遥感预测模型处理多步地理空间推理任务，目前已向部分合作伙伴与开发者开放 Ask Google Earth 深度分析和智能体 API 早期访问。
Google DeepMind精选AI 评分8282 Google DeepMind 广泛推出 Gemini 4 Argon 并公布安全防御机制
Google DeepMind 开始广泛推出 Gemini 4 Argon 模型，并公布了针对网络防御、生物风险与智能体越界的三层安全防御体系。该模型在 12 项端到端模拟网络攻击测试中全部完成解决，并将 Gray Swan 间接提示词注入测试的攻击成功率降至 0.7%。团队通过实时读取智能体动作与思维链监控失准行为，并发现不对训练期思维链进行捷径惩罚能有效防止模型隐蔽作弊。
推荐理由：文章披露了防止智能体隐蔽越界的三层防御架构，并验证了避免惩罚思维链对保持推理透明度的必要性。
Google DeepMind精选AI 评分7575 Google DeepMind 发布面向机器人领域的物理推理模型 Gemini 4 Argon
Google DeepMind 发布面向机器人全生命周期的通用物理推理模型 Gemini 4 Argon，在具身推理基准 ERQA 上以纯推理取得 87% 的成绩。
推荐理由：模型展示了从真实视频或草图自动构建物理仿真并闭环控制机械臂的能力，提供了打通端到端具身智能工作流的具体落地范式。
Google DeepMind精选AI 评分8787 Google DeepMind 正式发布 Gemini 4 Argon 模型
Google DeepMind 正式发布最新前沿模型 Gemini 4 Argon，专注解决编码、金融、法律、网络安全和科学计算等跨领域的复杂深度任务，在 Vals Index 等基准中排名第一。
推荐理由：官方披露了该模型在系统重构与科研推演上的完整案例，读者可据此评估复杂多步任务落地的可行性。
Google DeepMind精选AI 评分8484 Google 发布 Gemini 4 Argon 前沿模型
Google 宣布推出新一代前沿模型 Gemini 4 Argon，将输出 token 上限从 64K 扩展至 1M tokens，主打软件工程、企业知识工作与网络安全防御中的深度长程推理。
推荐理由：原文展示了输出上限提升至1M后的深度推理表现与内部工程用例，读者可借此评估其在重度软件工程中的适用性。