0.8B 参数如何越级碾压 2B 模型？Tether AI 开源端侧智能体 BotPsy 架构与四阶训练全解析

💡 站外导读：在云端超大参数大模型运营成本高企、API 访问延迟波动且隐私合规风险加剧的背景下，Tether AI Research 正式开源了基于阿里 Qwen3.5-0.8B 底模打造的亚十亿参数端侧智能体模型 BotPsy。该模型针对端侧受限算力场景，首创涵盖监督微调（SFT）、多教师在线策略蒸馏（MOPD）与双轮细粒度强化学习（RL）的四阶段后训练流水线。实测数据显示，BotPsy 不仅在六大核心工具调用基准中全面超越同尺寸竞品，更在多项 Agent 指标上越级击败体量为其 2.5 倍的 2B 级模型，为隐私优先的端侧个人自主助理树立了全新工程标杆。

端侧 Agent 瓶颈突围：为何“亚十亿”参数模型成为兵家必争之地？

在当前大模型生态中，依赖云端前沿闭源旗舰（如 GPT-4.5、Claude 3.7 或 Gemini 2.0）构建智能体已显现出严重的工业化瓶颈：一方面，云端 API 调用的高昂成本难以收敛，且第三方供应商随时可能调整、限制甚至废弃接口访问；另一方面，将用户的个人隐私、商业机密、本地文件索引和高敏感设备控制权频繁上传至公共云端，面临极其严苛的数据主权与安全合规挑战。

更为关键的是，真实世界中的绝大多数日常工作流——例如本地文件检索整理、系统设置调控、日程备忘录编排、轻量跨应用通知与数据清洗等，并不需要动用数百亿甚至万亿参数的通用认知能力。小型、轻量且高度专业化的端侧 Agent 既能以极低的计算功耗胜任这些日常任务，又能确保敏感凭据与数据决策 100% 留存在本地物理硬件中。Tether AI Research 推出的 BotPsy 正是这一趋势下的突破性产物。该模型基于阿里巴巴开源的 Qwen3.5-0.8B 底模，专为函数调用（Function Calling）与长程智能体自动化工作流而定制。

基准跑分全景拆解：0.8B 小钢炮如何逆袭 2.5 倍体量对手？

在业界公认的 ≤1.2B 轻量模型分类中，BotPsy 展现出了极具统治力的工具调用与 Agent 综合性能。评测团队选取了四款最具代表性的轻量级基线模型（Qwen3.5-0.8B-Think 原生底模、LFM2.5-1.2B-Think、MiniCPM5-1B-Think 以及体量为其 2.5 倍的 Qwen3.5-2B-Think）进行了严格的同基准盲测。

实测结果表明，BotPsy 在六大工具调用与智能体基准中不仅全面刷新了同级别记录，更在其中五项基准上直接碾压了 2B 级模型：

• 性能相比原生底模直接翻倍：在 Berkeley 函数调用基准 BFCL v4 上，BotPsy 得分从基模的 23.4 跃升至 44.0；在 ACEBench 上从 30.1 飙升至 58.7；在模拟真实电商、电信与银行场景的 τ-bench 上，综合得分由 23.2 跃升至 51.5；
• 全面越级超越 2B 参数模型：在 BFCL v4（44.0 vs 37.7）、ACEBench（58.7 vs 55.4）、τ-bench（51.5 vs 46.5）、ToolSandbox 沙盒测试（64.6 vs 41.2）以及多步信息检索 BrowseComp-Plus（4.5 vs 2.8）上，BotPsy 均以显著优势超越了参数量为其 2.5 倍的 Qwen3.5-2B-Think，仅在 Claw-Eval 上略有落后（46.5 vs 48.9）；
• 卓越的拒识能力（Anti-Hallucination）：智能体不仅要懂得何时调工具，更要清楚何时“不该调用”。在 BFCL v4 幻觉测试中（检测当环境中不存在合适工具时模型能否主动拒绝胡乱调用），BotPsy 斩获了全场最高的 86.1 分；在面对参数缺失或畸变请求的 ACEBench 特殊用例测试中，得分由基模的 13.7 暴增至 51.3 分。

BotPsy-0.8B 与主流轻量级模型核心基准性能对比表

四阶段训练秘籍：SFT、多教师在线蒸馏与规则强化学习（RL）

参数量仅为 0.8B 的小模型何以在工具调用上实现超越自身参数量极限的跃迁？研发团队揭示了其核心武器：四阶段递进式后训练流水线（Four-Stage Post-Training Recipe）。每个阶段均以上一阶段的最优 Checkpoint 为起点，融合了示范模仿、教师蒸馏与可验证奖励三大不同的学习信号。

1. 阶段一：示范轨迹监督微调（SFT）

在仿真智能体环境中采集高质量的多轮对话轨迹，覆盖单步调用、并行多工具调用、多步状态机转移以及负样本（何时不应调用任何工具）。在此阶段，模型快速学会了严格的 JSON Schema 函数入参格式规范。

2. 阶段二：多教师在线策略蒸馏（MOPD）

针对小模型在纯 SFT 后普遍出现的“灾难性遗忘”（通用推理与指令遵循能力急剧退化），研究团队首创了 MOPD（Multi-teacher On-Policy Distillation） 架构：

• 预先通过强化学习分别训练了三个专精于工具调用、通用推理和指令遵循的 4B 级别专家教师模型；
• 在学生模型（0.8B）生成自身响应时，动态将 Prompt 路由至对应领域的专家教师，利用逐 Token 级别的逆向 KL 散度（Reverse KL Divergence）作为在线策略反馈信号；
• 该机制成功帮助模型在大幅拉升工具调用准确率的同时，彻底补齐并反超了在 SFT 阶段受损的通用知识与复杂指令遵循能力。

3. 阶段三与四：双轮基于规则与验证器的强化学习（RL）

采用分布式大规模 RL 框架 DAPO 进行端到端优化，完全依赖环境验证器给出的确定性奖励：

• 第一轮 RL（工具调用专攻）：引入类似 ToolRL 的细粒度偏步奖励（Partial Credit），不同于传统粗暴的 0/1 二元成败判定，验证器会逐一校对预测的函数名、参数名和入参数值，给予渐进式奖励梯度；
• 第二轮 RL（通用可验证领域扩充）：将训练语料扩展至代码执行、数学推导、结构化输出等客观可验证场景。即便该阶段不包含多轮对话语料，模型的长程多轮函数调用鲁棒性依然获得了显著外推增益。

边缘推理效率与安全实测：告别 Token 思考死循环与高延迟

在端侧设备的实际部署中，模型推理速度、电池续航与显存占用决定了用户体验的生死线。测试表明，BotPsy 在思考模式下的推理效率实现了质的飞跃：

• 推理 Token 消耗锐减 3 倍：在所有模型均能正确答对的基准试题中，BotPsy 获得正确答案所需的思维链 Token 数量大幅压缩——在 GPQA Diamond 上仅消耗 3,690 Tokens（原生基模为 11,563 Tokens，减少 3.1 倍）；在 MMLU-Pro 上仅消耗 1,912 Tokens（基模为 5,105 Tokens，减少 2.7 倍）；
• 彻底攻克死循环崩溃：在 IFBench 复杂测试中，小模型极易陷入机械重复的自言自语死循环，基模的死循环发生率高达 22.9%，而 BotPsy 骤降至 1.4%；因耗尽 32k 上下文窗口而崩溃的概率由 28.3% 暴降至 0.2%；
• 端侧安全红线加固：在跨越六类危害场景的自动化红队对抗测试中，BotPsy 产生不安全响应的概率仅为 21%（基模为 36%，同尺寸竞品平均在 35%~47%）；在最受关注的间接提示词注入攻击（Prompt Injection）测试中，不安全率从 46% 压降至 31%。

目前，Tether AI Research 已在 Hugging Face 社区以 Apache 2.0 商业友好开源许可证全量释出模型权重。官方不仅提供了原生 Safetensors 格式，更同步推出了经过精细量化的 GGUF（包含 bf16、Q8 与 Q4 规格），支持开发者通过 llama.cpp、Ollama 或 QVAC SDK 在 Mac、Windows PC、树莓派及各类中高端移动终端上实现零门槛极速本地直跑。