跳到正文
今天10月23日周五4 条
  1. MIT Technology Review AI29

    EXL:如何设计经得起时间考验的 AI 推理服务框架

    企业 AI 的竞争优势正从模型本身转向围绕模型构建的推理服务框架(serving harness)。生产环境需要围绕具体工作负载设计架构,统筹内存管理、并发与调度以解决 GPU 显存和延迟等瓶颈,而非盲目堆砌算力或追求最先进模型。构建具备适应性的服务系统,有助于企业更经济地承载模型迭代并实现规模化落地。

10月22日周四
  1. NVIDIA Blog51

    NVIDIA 推出 Minerva AIOps 平台为 AI 工厂提供端到端可观测性

    NVIDIA 正式推出 Minerva AIOps 平台,为大规模 AI 工厂提供端到端的可观测性与运维支持。该平台聚合 GPU、网络、存储与计算任务的遥测数据构建动态知识图谱,利用机器学习分析海量数据以预测故障并聚合告警根因。系统配备原生自然语言 AI 助手并支持外部智能体工具接入,目前 Tesla、IBM、Lambda 等企业已计划部署。

  2. MIT Technology Review AI36

    AI 的隐形存储账单:模型推理留下了什么

    AI 推理正在引发庞大且常被忽视的后端存储成本,随着模型持续响应,日志、上下文缓存和备份文件不断累积。WD 内部实测显示,一段 3.97MB 的 720p 生成视频在后端留下了超 500MB 关联数据,体积膨胀达 130 倍。IDC 调查表明近 95% 受访决策者称生成式 AI 导致过去 12 个月数据量增加,企业亟需规划支持 RAG 与动态访问的分层存储架构。

  3. Ars Technica AI77

    OpenAI 最新模型将接入 Google Cloud 与编码工具 Antigravity

    OpenAI 与 Google 达成合作,其 GPT 6 与 6.1 系列模型将在未来数周内接入 Google Cloud 及其 Agent 驱动的编码工具 Antigravity。Google 借此成为唯一同时提供 Gemini、Claude 与 GPT 三大闭源大模型的大型云服务商。OpenAI 模型将完全运行在 Google 基础设施上并通过其云市场结算,支持根据性能和延迟动态迁移工作负载。

  4. Ars Technica AI43

    法官驳回特朗普关于EPA可撤销数据中心污染诉讼的主张

    法官驳回了唐纳德·特朗普关于环境保护署(EPA)可随意撤销《清洁空气法》诉讼的主张,埃隆·马斯克的 SpaceXAI 仍须面临数据中心污染诉讼。此前 NAACP 因其在田纳西州孟菲斯的 Colossus 数据中心使用未获许可的燃气轮机提起诉讼,要求其采用最佳污染控制技术,并寻求每天每项违规最高 $124,426 的罚款。

10月21日周三
  1. Cloudflare Blog72

    Cloudflare WAF 推出全事务检测与响应规则

    Cloudflare 为其 Web 应用防火墙(WAF)推出全事务检测与响应规则,通过联合分析 HTTP 请求与源站响应来确认漏洞利用并执行拦截。当系统检测到探测攻击且源站返回敏感数据时,可在响应到达客户端前替换为 403 阻断页面,首批托管防护针对 php2shell 漏洞。该能力已向包括免费版在内的所有 Cloudflare 用户开放,支持在控制台中配置托管规则与自定义响应策略。

  2. Cloudflare Blog82

    Cloudflare 与 Commerce.com 如何通过 WebMCP 为近 10 万网店适配 AI 智能体购物

    Cloudflare 联合 Commerce.com 落地 Google 实验性 WebMCP 标准,通过边缘网络免代码注入脚本,为其平台近 10 万个网店自动暴露结构化购物工具。AI 智能体可直接在用户浏览器会话中调用搜索与加购工具,无需解析 HTML 或模拟点击,且最终结账仍由用户亲自确认。系统结合配置规则支持单商户一键退出,并具备自定义 MCP 路径与无感知降级能力。

  3. Latent Space49

    DeepSeek 开源推理引擎 DeepInfer:单集群日处理 155T tokens,推理毛利率超 80%

    DeepSeek 开源其生产级推理引擎 DeepInfer 及 API 处理层,支持 NVIDIA 与华为昇腾平台,披露单集群日处理量达 155T tokens 且输入缓存命中率达 96%。该系统平均首 token 延迟为 400 ms,生成速度达 230 tokens/s,估算推理毛利率超 80%。但其核心 KV cache 管理与负载均衡组件尚未完全公开。

10月20日周二
  1. MIT Technology Review AI26

    企业 AI 的新经济学

    企业 AI 的经济学核心指标正从单一的 token 或 GPU 小时成本,转向每个有用商业成果的实际成本。提升利用率、整合私有 AI 平台并配合调度优化、KV-cache 管理等运营手段,能有效摊薄固定成本并提升 ROI。HPE Private Cloud AI 为此提供了一体化基础架构,并在委托测试中展现出比反复租用同等算力更低的有效 token 成本。

  2. Cloudflare Blog80

    Cloudflare 将内部 AI 代码审查推理成本降低 68% 的优化实践

    Cloudflare 内部 AI 代码审查系统的单次平均审查成本从 2.43 美元降至 0.77 美元,降幅达 68%,审查中位耗时也由 4 分 09 秒缩短至 1 分 32 秒。

    推荐理由:团队拆解了提示词缓存跨仓库共享、多智能体协同调用精简及模型分级策略,为工程团队降低高频推理成本提供了实测路径。

  3. Cloudflare Blog81

    Cloudflare 发布系统一信息抽取模型 Clairic 预览版

    Cloudflare 宣布推出系统一风格的信息抽取模型 Clairic 预览版,已上线 Workers AI 并计划近期开源权重。该模型采用单次前向传递处理非结构化文本及图像,直接输出强类型的数值、日期、置信度与预测区间,不产生生成文本且不计输出 token 费用。在官方客服索赔流水线测试中,该级联方案比纯大语言模型方案耗时缩短 69%,成本降低 49%。

    推荐理由:该模型采用单次前向传递直接输出强类型数据,相比传统大语言模型大幅降低了信息提取与预测的调用延迟与成本。