Tether AI 推出 0.8B 端侧智能体模型 BotPsy
Tether AI Research 推出基于 Qwen3.5-0.8B 构建的 0.8B 参数端侧智能体模型 BotPsy，专为函数调用与轻量个人助理任务设计。
推荐理由：该模型通过多教师蒸馏与分阶段强化学习，为低算力设备部署专用工具调用智能体提供了轻量化参考路径。
AI 发展
端侧与本地部署 最新动态
Ollama、vLLM、llama.cpp、Apple MLX、WebGPU 端侧小模型推理、模型量化压缩与企业数据不出域的私有化部署实践。
15 条精选近 30 天 14 条共收录 36 条
更新
端侧与本地部署的精选
Hugging Face Blog精选AI 评分6868 Hugging Face Blog精选AI 评分7777 Hugging Face 生态正式支持决策模型
Hugging Face 宣布在其生态中正式支持决策模型，允许模型无需逐 token 自回归生成文本，直接对预设问题评估选项并输出概率分布与结构化决策。
推荐理由：该接口通过避免自回归文本生成直接输出概率分布与结构化决策，为分类和路由等任务提供了更高效的工程范式。
Jon Loomer Digital精选AI 评分7373 Meta Events Manager 推出设备端转化衡量设置以优化归因
Meta 在 Events Manager 设置中推出了“在客户设备上衡量转化”功能，允许直接在客户移动设备端衡量转化数据，而不仅依赖 Meta 服务器。该功能结合用户已共享的信息与临时非识别性设备信息来提升转化与广告展示或点击的匹配概率；该选项默认开启且支持手动关闭，旨在提供更完整的转化归因统计。
推荐理由：该设置通过在用户端结合非标识设备信息补充归因匹配，有助于投放团队评估 Meta 默认归因数据的完整性变化。
Hugging Face Blog精选AI 评分7171 详解端侧文本转语音模型 Phonon TTS 及其基准测试表现
端侧文本转语音模型 Phonon TTS 实现了完全离线运行，模型体积仅约 65 MB 至 75 MB。英文版本 Phonon 31m 采用 Apache 2.0 开源协议支持商用，多语言版 Phonon 40m 支持 5 种语言。
推荐理由：原文展示了基于流匹配的极小端侧语音合成方案，读者可借此了解其在公开基准上的首包延迟表现与工程落地方法。
Common Thread Collective精选AI 评分8585 Meta 即将上线端侧 Pixel 衡量：电商独立站在黑五前需完成的检查清单
Meta 将于 11 月 12 日在事件管理工具中上线端侧转化衡量设置，利用临时哈希匹配直接在客户设备上记录购买，测试显示可为 Advantage+ 销售广告找回最高 15% 丢失转化。
推荐理由：文章梳理了端侧衡量对漏记转化的补全机制，并给出了大促前核对去重参数与稳定投放节奏的具体清单。
Hugging Face Blog精选AI 评分6262 NVIDIA 工程师详解如何基于 Nemotron 开源模型构建万圣节互动投影 MonsterHouse
NVIDIA 工程师利用 Nemotron 开源模型套件与虚幻引擎 5 构建了万圣节交互投影装置 MonsterHouse，在一台工作站上实现完全离线的多模态实时互动。
推荐理由：原文展示了如何将端侧语音识别、轻量语言模型与面部动画串联成离线交互管线，为多模态实时智能体落地提供了完整参考架构。
Hugging Face Blog精选AI 评分8181 Hugging Face 上线 Mistral Large 4：1T 参数开源多模态 MoE 模型
Mistral 正式发布多模态 MoE 模型 Mistral Large 4（代号 Le Chonk），总参数量约 1T、激活参数 49B，支持 1M tokens 上下文窗口与文本图像输入。
推荐理由：文章详细拆解了万亿级稀疏MoE架构与安全防御评测，为开发者提供了开源权重下的端到端部署范式。
Hugging Face Blog精选AI 评分6666 Hugging Face 推出 AnySpeechRecognizer 与 AnyDecisionModel，支持在苹果平台端侧运行开源语音和决策模型
Hugging Face 推出 AnySpeechRecognizer 与 AnyDecisionModel 两个 Swift 开源包，支持在苹果设备端侧运行开源语音识别与决策模型。
推荐理由：原文提供了两套 Swift 库及端侧实现方案，开发者无需依赖纯文本生成即可在苹果设备上实现本地语音识别与结构化决策。
GitHub Changelog精选AI 评分7676 GitHub Copilot Fusion 支持本地模型选择与智能路由
GitHub Copilot Fusion 推出本地模型智能路由实验性预览，可在支持的端侧模型与云端模型之间动态调度，覆盖 GitHub Copilot CLI、Copilot app 和 Visual Studio Code。
推荐理由：读者可以了解端侧算力与云端大模型的混合调度机制，评估在本地运行编码模型对工作流与资源开销的具体影响。
NVIDIA Blog精选AI 评分7070 NVIDIA RTX Spark 笔记本正式开售并迎来模型与智能体工具更新
NVIDIA 宣布 RTX Spark Windows 笔记本正式由华硕、戴尔、惠普、联想、微软和微星开售，起售价 2,599 美元。
推荐理由：原文整合了端侧超算芯片的硬件发售与配套本地模型及调度工具，展示了本地智能体与桌面应用共存的具体工程解法。
Hugging Face Blog精选AI 评分7777 Liquid AI 发布端侧多模态模型家族 LFM3
Liquid AI 发布新一代 Liquid 基础模型 LFM3，基于 1.7B 统一骨干网络衍生出文本、视觉、音频、全模态（Omni）及决策（d1）等六款 2B 级开放权重模型。架构采用门控短卷积、滑动窗口注意力和全局注意力组成的三杂化设计，文本模型 4-bit 精度下体积约 1 GB 并支持 256K 上下文窗口。全系模型均可在单张 GPU 上微调，且已在 Hugging Face 开源上线。
推荐理由：全系采用统一骨干网络并支持单卡微调，读者可以据此评估将多模态能力直接部署到端侧硬件的成本与可行性。
NVIDIA Blog精选AI 评分7575 NVIDIA 披露欧洲零售落地进展：开源模型与物理仿真覆盖电商与仓储运营
NVIDIA 披露欧洲多家零售企业基于其技术落地开源模型与物理智能的实践成果，涵盖电商搜索、内容生成与仓储运营等场景。
推荐理由：汇总了欧洲零售企业结合开源模型与物理仿真的落地数据，对评估模型自训降本与智能体运营具有参考价值。
Hugging Face Blog精选AI 评分6969 IBM 发布 Granite Speech 5.0 系列语音模型
IBM 推出 Granite Speech 语音模型系列的三个更新，包括全新的 granite-speech-5.0-2b，以及升级版 granite-speech-5.0-470m-turboctc 和 granite-speech-4.1-2b-plus。
推荐理由：原文给出了高精度、低延迟端侧和会议说话人归属三种模型选型，便于开发者评估替换成本。
NVIDIA Blog精选AI 评分7474 NVIDIA 在 GTC 柏林展示本地 AI 硬件矩阵，发布 DGX Spark 64GB 及多项端侧模型支持
NVIDIA 在 GTC 柏林展示了涵盖 RTX Spark、DGX Spark 与 DGX Station 的本地 AI 硬件阵容，并公布一系列硬件发售与软件生态更新。
推荐理由：该更新梳理了从个人设备到工作站的本地算力矩阵，有助于开发者评估私有化智能体部署与推理的选型路径。
Google DeepMind精选AI 评分8181 Google DeepMind 发布轻量级多模态嵌入模型 EmbeddingGemma 2
Google DeepMind 正式推出 740M 参数的轻量级多模态嵌入模型 EmbeddingGemma 2，基于 Apache 2.0 协议开源，原生将文本、代码、图像、音频与视频映射至统一嵌入空间。
推荐理由：该模型通过模块化设计与维度截断技术压低端侧内存占用，读者可以据此评估本地设备运行多模态检索与离线 RAG 的可行性。