跳到正文
11月11日周三
  1. LangChain Blog53

    Dosu 如何通过评测驱动开发与 LangSmith 提升大语言模型可靠性

    Dosu 团队分享了利用评测驱动开发(EDD)保障大语言模型可靠性的落地实践,并借助 LangSmith 解决规模化后的生产监控难题。团队通过 `@traceable` 装饰器采集函数输入、渲染后提示词与模型输出,利用反馈和延迟指标筛选生产故障样本扩充离线评测集,防止修改提示词导致其他场景性能回退。

11月10日周二
  1. Simon Willison's Weblog77

    Anthropic 提示词指南:赋予 Claude Fable 5.2 代码归属权可促使模型主动重构重复代码

    Anthropic 官方文档指出,在提示词中明确告知 Claude Fable 5.2 拥有代码库所有权,能显著提升其在编程任务中主动重构与合并重复代码的意愿。测试表明,当使用表明代码库由模型掌控的提示句后,模型在约一半的尝试中合并了重复代码,而未加入该表述时合并比例不足十分之一。如果提示词未提及归属或将代码表述为他人所有,模型更倾向于在既有结构上追加内容并保留重复代码。

    推荐理由:通过在提示词中赋予模型代码归属权,可以显著提高其自主优化结构与合并重复代码的概率,为辅助编程提供了实用的提示词设计参考。

  2. Lenny's Newsletter73

    William Imoh 详解如何用 Codex 与 GPT-Live 构建 AI 语言导师 Mural 并运营团队

    Hackmamba 创始人 William Imoh 在 Lenny 访谈中分享了如何使用 Codex 和 GPT-Live 开发原生移动端 AI 语言导师应用 Mural,以及利用指派角色的智能体团队协助运营 25 人公司。

    推荐理由:原文给出了用产品需求文档结构化提示词指导编码智能体以及角色化管理智能体团队的可迁移实操方法。

11月9日周一
  1. Lenny's Newsletter64

    Hackmamba 创始人分享如何用 Codex 与 GPT-Live 开发实时语音应用 Mural

    Hackmamba 创始人 William Imoh 在访谈中分享了他如何在缺乏 Swift 开发经验的情况下,利用 Codex 与 GPT-Live 原生开发 iOS 和 Android 实时语音语言学习应用 Mural。他详细拆解了语音导师的延迟阈值与单次会话成本,并介绍了如何通过构建 Grok 智能体团队,以单人创始人身份协同运营约 25 人的业务规模。

  2. Latent Space70

    斯坦福 CS146S 如何讲授 AI 原生工程:Latent Space 对话 Mihail Eric

    斯坦福 CS146S 授课教师兼 Monaco AI 负责人 Mihail Eric 在 Latent Space 访谈中,分享了当编码智能体能凭单条提示词完成课后作业时高校教学与工业界的应对方式。

    推荐理由:访谈探讨了编码智能体普及后高校软件工程教学与工业界研发工作流的调整思路,为工程团队落地智能体提供了参考实践。

11月4日周三
  1. Practical Ecommerce70

    投放广告前如何使用 AI 排查电商网站错误

    电商企业可在广告活动上线前利用 AI 工具配合人工审核快速排查页面漏洞。操作上可借助 Firecrawl 或 Tavily 抓取页面内容,并结合 Screaming Frog 与 Google Lighthouse 诊断报告,将数据与指定提示词输入 ChatGPT 或 Claude 整理出影响转化的故障清单。同时需配合人工实际测试结账与广告追踪链路,优先修复影响交易的核心问题。

10月30日周五
  1. Simon Willison's Weblog75

    Simon Willison 评 Spawn:利用自主智能体群构建多人游戏世界

    Simon Willison 解读了 Jacob Sansbury 介绍多人游戏 Spawn 自主研发模式的文章。Spawn 玩家可通过内置 AI 智能体 Savi 用提示词修改游戏世界,且整个项目由基于 Fable 模型的智能体群自主开发维护,每月模型 token 开销超 300 万美元。团队实行每小时向生产环境交付的极速持续部署,智能体负责直接修复线上错误并能在 30 秒内回滚故障代码。

    推荐理由:原文展现了高频持续部署与自修复智能体系统的极端工程案例,为评估自主编码智能体的应用边界提供了参考。

10月28日周三
  1. Latent Space61

    在断网环境下用 Ollama 与 OpenCode 运行离线 AI 编码智能体实践

    作者展示了在完全断开网络的笔记本电脑上,通过 Ollama 本地运行 Qwen3.5 9B 模型配合开源智能体 OpenCode 完成代码诊断、修复与单测的全流程。在断开 Wi-Fi 的测试中,智能体成功定位 Python 费用计算器中的累加错误并生成通过测试的代码,展示了端侧无网环境下的基础研发可行性。作者建议在离线前完整下载模型与项目依赖,并在提示词中明确指定具体测试命令以减少无效尝试。

10月24日周六
  1. Latent Space62

    AI 为何突然擅长解数学题:深度优先搜索与验证器机制解析

    文章分析了近期大模型接连攻克数学难题背后的机制差异,指出人类研究者受限于时间与精力采用广度优先搜索,而大语言模型则借助算力和测试时计算进行深度优先探索。通过拟定提示词的起草器、并行求解智能体以及自动验证器的协同框架,系统能快速穷举各种假设并将失败路径作为负向提示词反馈。作者认为模型擅长概念跳跃较少但中间计算极其繁琐的问题,人机协作的关键在于人类负责收敛分支而模型负责耗时验证。

10月21日周三
  1. Latent Space77

    Claude Mods 机制解析:将 Agent Harness 反转为人类注意力接口

    Dan McAteer 撰文指出 Claude Mods 正在将 Agent Harness 的重心从面向机器执行转向面向人类的注意力接口。Claude Mods 允许使用 TypeScript 或 JavaScript 编写中间件,在提示词输入、工具调用或界面渲染时介入并定制 CLI 与桌面端交互。

    推荐理由:文章将插件机制提炼为面向人类的注意力接口,并客观指出了定制插件带来的 Token 成本与告警噪声代价。

  2. Simon Willison's Weblog65

    Simon Willison 详解用 Claude Code 提示词驱动开发 RTS 游戏 Battle Drones 实践

    Simon Willison 详细记录了他主要借助 Claude Code 等编码智能体,通过 12 次大版本迭代和 321 次代码提交完整构建出网页即时战略游戏 Battle Drones 的全过程。

    推荐理由:作者完整复盘了几乎不写代码让编码智能体自主迭代完整即时战略游戏的提示词与工程细节。

10月20日周二
  1. Ethan Mollick (One Useful Thing)71

    Ethan Mollick 总结 AI 发展 30 个月:从聊天机器人走向多智能体协同

    沃顿商学院教授 Ethan Mollick 在其新书发布之际梳理了近 30 个月 AI 的指数级演进,指出人机协作模式正从逐步对话的聊天机器人转向自主调度执行的智能体。

    推荐理由:梳理了人机协作从聊天对话走向智能体编排的演变路径,为评估长任务委托与工作流重组提供了清晰坐标。

9月19日周六
  1. Ethan Mollick (One Useful Thing)69

    Ethan Mollick 解析 AI 能力悬置现象与人类四大核心优势

    Ethan Mollick 发文指出当前 AI 存在显著的能力悬置现象,现有模型的实际潜能远未被充分利用,已足以承担需要数周人力的复杂工作。他在实测中展示了模型自主调用 Blender 制作 3D 动画与宣传片、将纯文本游戏重构为 3D 动作游戏以及复原三维图书馆的过程。他强调人类不应与 AI 竞争基础产出,而应依托深度专业知识、广度通识、审美品味以及主动探索的能动性展开协作。

    推荐理由:文章通过多模态实测阐述了模型潜能与实际应用之间的断层,提炼出人类与智能体协作时不可替代的四项认知优势。

9月18日周五
  1. Hamel Husain87

    Hamel Husain 发布 AI 评估实战问答指南

    Hamel Husain 整理发布涵盖 5000 多名工程师与产品经理常见问题的 AI 评估全景指南,系统拆解业务场景下评测落地的完整工作流。内容主张团队应先通过人工错误分析审视真实 Trace,而非过早投入通用指标或复杂基建,并建议采用二元判定替代多级评分量表。针对自动化评估,指南建议优先使用代码断言,仅对复杂主观场景构建针对单一失败模式并经人工验证的 LLM 裁判。

    推荐理由:针对 AI 应用评测容易陷入通用指标和过度设计的痛点,系统梳理了从 Trace 排查到构建二元评测闭环的具体落地方法。

6月21日周日
2025年11月23日周日
  1. Eugene Yan83

    Eugene Yan 详解三步搭建大模型产品评测体系

    Eugene Yan 总结了构建大模型产品评测体系的三步工程方法,涵盖标注小数据集、对齐 LLM 评测器以及运行实验评测套件。他建议标注阶段优先采用二分类标签并积累 50 至 100 个真实缺陷样本,避免使用全能评测器而应按单一维度独立构建,并通过交换输入顺序消除位置偏见。该套件与实验流水线结合后,可在配置变更时实现分钟级自动化质量检测。

    推荐理由:提供了一套可落地的评测工程框架,通过拆分单维度评测器与二分类标签降低校准成本,适合团队建立自动化迭代反馈。