💡 站外导读:在意图路由、内容审核等高频决策场景,吐出长段思维链(CoT)的模型常因数秒延迟与高额账单被拒之门外,而固定深度的单次前向模型又难啃复杂边界样本。Lehigh 大学等最新开源的循环决策模型 Lev(arXiv: 2610.20951),用同一份权重在隐藏状态中自适应思考 1 至 4 圈,简单题秒答、难题多算几圈,在 JevBench 斩获 13 个点跃升。

一、 告别文字 CoT 与多模型级联:原生循环底座如何让“多想”发生在隐藏状态?
为了绕开自回归文本生成带来的高延迟与幻觉风险,学术界与工业界近年兴起了“直接决策模型(Decision Model)”路线:即输入一段状态(State)、问题及若干候选项,模型不生成任何解释性文本,直接通过单次前向传播输出各选项的概率分布。然而,传统稠密(Dense)决策模型存在致命短板——算力预算被死死锁在模型参数量上,想兼顾简单题的低延迟与难题的高精度,工程团队往往不得不部署大、小两套模型进行“级联(Cascade)”,而一旦小模型兜不住交由大模型接管,大模型还必须从头重新编码整段输入序列,白白浪费大量 Prefill 算力。
Lev(项目官网:https://openlair.github.io/lev/)彻底颠覆了这一思路。研究团队没有在普通 Dense 模型上硬套循环补丁,而是直接选用在预训练阶段就接受过逐圈监督的原生循环语言模型(Looped LM)Ouro 与 Nanbeige4.2 作为底座,让同一组解码层权重重复运行 $R$ 圈。每一圈结束后,系统直接在上一圈的隐藏状态(Hidden States)之上无缝续算下一圈,并通过共享的 Pointer Head 读取各选项结束符与 <decide> 标记的概率。这种机制意味着从第 1 圈切换到第 4 圈深思完全不需要重读输入上下文,彻底消除了模型级联的重复编码延迟。
二、 块因果掩码共享编码与 JevBench 13 个点跃升:同一权重覆盖全延迟光谱
在输入接口设计上,Lev 沿用了高效的批处理打包策略:当面临同一段共享上下文状态(例如长达数千字的会话历史或风控规则文档)关联多个独立决策问题时,Lev 将共享状态、所有问题及其各自候选项打包成一条单一序列,并巧妙运用块因果掩码(Block-Causal Mask)隔离注意域——每个问题及其候选项只能看见共享状态与问题自身,而彼此隔离。这使得庞大的共享状态只需经过一次前向编码即可同时服务所有子问题,将系统吞吐量推向极致。
实测基准数据印证了这种循环深思架构的惊人弹性:在权威决策基准 JevBench 上,完全同一个 Lev Checkpoint,当设定运行 1 圈快答时准确率为 63.2%,而当允许其循环思考至 4 圈时,准确率直接飙升 13 个百分点至 76.2%,其中绝大部分增益集中在最具挑战性的标准题与难题上。在 39–46ms 的超低延迟运营区间内,Lev 的决策准确率更是比同类多模型级联方案高出 7.0–8.8 个百分点,比表现最好的常规 Dense 模型高出 5.4–7.5 个百分点。
| 核心技术与性能指标 | 传统小+大模型级联方案 | 常规 Dense 固定深度模型 | 开源循环决策模型 Lev | 工程部署收益 |
|---|---|---|---|---|
| 推理计算模式 | 小模型先跑,低置信再交大模型重算 | 单次固定层数前向传播 | 同一组解码层权重循环运行 R 圈 (1~4+) | 一份权重覆盖从快答到深思全频谱 |
| 深度升级开销 | 须重新编码全部输入序列,延迟翻倍 | 无法动态调整思考计算量 | 直接从上一圈隐藏状态无缝续算 | 零重复 Prefill 开销,大幅压低长尾延迟 |
| JevBench 准确率弹性 | 受限于跨模型特征对齐与阈值损耗 | 单点固定,提升精度须换更大模型 | 同权重 1 圈 63.2% -> 4 圈 76.2% (+13pt) | 难题推理收益极其显著,部署体积减半 |
| 39–46ms 区间表现 | 基准对比领先 7.0–8.8 个百分点 | 比最优 Dense 方案高 5.4–7.5 个点 | 在极严苛毫秒级预算下全面领跑 | 适配高并发网关路由与实时风控拦截 |
| 早退校准数据要求 | 通常需人工标注验证集调优阈值 | 不支持逐题自适应早退 | 以“与最深答案一致”为目标,无需人工标签 | 仅用约 500 题自有业务无标签流量即可自校准 |
三、 拒绝人工标注:预测“与最深答案一致”的无标签逻辑回归停止器
在实际生产调度中,如何精确判断某道题目究竟该在“第 1 圈”立刻早退,还是继续多算 3 圈?Lev 团队在实验中发现,把常规大模型文本生成领域的“置信度早退(Confidence-based Early Exit)”直接迁移到决策模型上往往会遭遇滑铁卢。为此,Lev 重新定义了停止器(Stopper)的优化目标:它不试图预测“这一圈是否答对”,而是为每个深度部署一个极其轻量的逻辑回归(Logistic Regression)分类器,专门利用当前圈与上一圈读出的概率特征,去预测“当前答案是否已经与最深一圈(如第 4 圈)的最终答案一致”。
这一数学目标的切换带来了一项极其震撼的工程红利——由于“最深一圈的输出”本身就来自模型自己,拟合逻辑回归停止器与标定早退阈值(例如设定保证至少 98% 样本与最深答案一致的最小概率阈值)完全不需要任何昂贵的人工真值标注!企业运维人员只需截取每折约 500 条真实业务的无标签线上请求流量,即可在部署前全自动完成温度缩放(Temperature Scaling)与停止阈值校准。最终在线上运行时,简单题 1 圈秒退、难题自动跑满多圈,整体仅消耗全深度 76%–85% 的算力,而准确率损失控制在不足 1 个百分点以内。
四、 五大企业高频实战场景与开源获取指南
目前 Lev 已在 GitHub(https://github.com/OpenLAIR/lev)与 Hugging Face(https://huggingface.co/collections/songdj/lev)全面开放代码、LoRA 权重及对应检查点。凭借单权重自适应算力分配、零幻觉概率输出以及完全离线可自托管的特性,Lev 尤其契合五大低延迟工业级场景:
- 智能客服意图路由: 常见问候与明确咨询在 1 圈内毫秒秒回,遇到含糊交叉意图时自动多算几圈精准派单,兼顾高并发响应与路由精度。
- 内容审核分级处置: 清晰合规或明显违规文本快速放行/拦截,灰色擦边内容自动加深循环深度审慎判别,实测整体节省 15%–24% 算力并显著降低漏判率。
- Agent 工具调用选择: 在多步智能体工作流中,机械确认步骤一圈极速通过,关键分支节点加深思考避免选错工具导致整条链路返工。
- 电商推荐实时重排与金融合规分类: 支持普通流保速度、高价值首屏大促位加深排序;且因支持全离线自托管及无标签业务流量自校准,能够完美满足金融风控文档分类严苛的数据不出域要求。
📝 站长洞察 (Editor’s Insight)
如果把传统生成式模型比作必须写完八百字作文才交卷的学霸,循环决策模型 Lev 则是把草稿算在潜意识隐藏状态、且按题目难度分配算力的直觉特种兵。在工程界越来越清醒地认识到“并非所有节点都需要吐出长篇自然语言”的当下,Lev 不仅在 39–46ms 区间领先级联方案 7 至 8.8 个点,更巧妙地用“预测与最深答案一致”绕开了人工标注依赖。任何企业只需截取 500 条无标签线上流量,即可免费跑出自校准的算力省钱开关,把 GPU 算力真正用在最棘手的 20% 难题上。
Lev循环决策模型解决了什么问题?
它主要解决传统决策模型“要么快但不准、要么准但延迟高”的矛盾。Lev通过同一权重循环思考1至4圈,在不重复编码输入的前提下动态增加计算量,兼顾低延迟与高精度。
Lev为什么比级联方案更快?
因为Lev不需要小模型失败后再交给大模型重算,也不必重新编码整段输入。它直接在上一圈隐藏状态上续算下一圈,省掉重复Prefill开销,因此在39–46ms区间仍能保持高性能。
Lev的停止器为什么不需要人工标注?
它不是预测“当前是否答对”,而是预测“当前答案是否与最深一圈的最终答案一致”。这个目标可直接用模型自身输出构造训练信号,因此只需约500题无标签业务流量就能完成自校准。
