EXL：如何设计经得起时间考验的 AI 推理服务框架
企业 AI 的竞争优势正从模型本身转向围绕模型构建的推理服务框架（serving harness）。生产环境需要围绕具体工作负载设计架构，统筹内存管理、并发与调度以解决 GPU 显存和延迟等瓶颈，而非盲目堆砌算力或追求最先进模型。构建具备适应性的服务系统，有助于企业更经济地承载模型迭代并实现规模化落地。
#推理
MIT Technology Review AIAI 评分2929 Latent SpaceAI 评分6666 专访 Modal CEO Erik Bernhardsson：AI 算力合约痛点与 Serverless 基础设施实践
Modal 联合创始人兼 CEO Erik Bernhardsson 在播客访谈中拆解了 AI 算力供需错配问题，指出固定周期的矩形 GPU 合约无法适应波动的真实负载，Modal 通过聚合数千家客户需求来实现算力池化与弹性切片。
MIT Technology Review AIAI 评分3636 AI 的隐形存储账单：模型推理留下了什么
AI 推理正在引发庞大且常被忽视的后端存储成本，随着模型持续响应，日志、上下文缓存和备份文件不断累积。WD 内部实测显示，一段 3.97MB 的 720p 生成视频在后端留下了超 500MB 关联数据，体积膨胀达 130 倍。IDC 调查表明近 95% 受访决策者称生成式 AI 导致过去 12 个月数据量增加，企业亟需规划支持 RAG 与动态访问的分层存储架构。
Hugging Face BlogAI 评分6666 Dharma AI 介绍 VocabX：如何通过词表专用化降低小模型 77% 推理成本
Dharma AI 介绍了其针对特定领域小语言模型的词表优化方法 VocabX，通过依据 token 推理成本而非出现频率重构词表，在不改动基座模型的前提下将生产环境推理成本降低了 77%。
Hugging Face BlogAI 评分3030 TorchNeuron 性能分析（第一部分）：在 AWS Trainium 上进行系统级分析
Hugging Face 介绍了在 AWS Trainium 上利用开源 PyTorch 后端 TorchNeuron 进行推理性能系统级分析的方法。开发者可通过结合 `torch.profiler` 与 NeuronConfig 配置，并使用 PrivateUse1 扩展点捕获系统及硬件指令轨迹。