Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: 单权重自适应思考1至4圈、JevBench准确率飙升13个点!Lehigh大学等开源循环决策模型Lev:无标签自校准停止器与39ms超低延迟架构深剖
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
Lehigh 大学等开源循环决策模型 Lev 项目主页与自适应多圈思考架构展示
Prompt 语宙 > 强化 AI 学习 > 单权重自适应思考1至4圈、JevBench准确率飙升13个点!Lehigh大学等开源循环决策模型Lev:无标签自校准停止器与39ms超低延迟架构深剖
强化 AI 学习

单权重自适应思考1至4圈、JevBench准确率飙升13个点!Lehigh大学等开源循环决策模型Lev:无标签自校准停止器与39ms超低延迟架构深剖

Prompt 语宙研究院
最近更新: 2026年11月17日 下午2:13
Lev Ouro 循环决策模型 推理加速 自适应早退
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • 同一组权重循环运行1至4圈,兼顾快答与深思,避免重复Prefill开销。
  • JevBench上1圈63.2%、4圈76.2%,整体提升13个百分点,难题收益最明显。
  • 无标签逻辑回归停止器可按“与最深答案一致”自校准,约500题业务流量即可调阈值。

💡 站外导读:在意图路由、内容审核等高频决策场景,吐出长段思维链(CoT)的模型常因数秒延迟与高额账单被拒之门外,而固定深度的单次前向模型又难啃复杂边界样本。Lehigh 大学等最新开源的循环决策模型 Lev(arXiv: 2610.20951),用同一份权重在隐藏状态中自适应思考 1 至 4 圈,简单题秒答、难题多算几圈,在 JevBench 斩获 13 个点跃升。

Lehigh 大学等开源循环决策模型 Lev 项目主页与自适应多圈思考架构展示

阅读目录
  • 一、 告别文字 CoT 与多模型级联:原生循环底座如何让“多想”发生在隐藏状态?
  • 二、 块因果掩码共享编码与 JevBench 13 个点跃升:同一权重覆盖全延迟光谱
  • 三、 拒绝人工标注:预测“与最深答案一致”的无标签逻辑回归停止器
  • 四、 五大企业高频实战场景与开源获取指南
      • 📝 站长洞察 (Editor’s Insight)

一、 告别文字 CoT 与多模型级联:原生循环底座如何让“多想”发生在隐藏状态?

为了绕开自回归文本生成带来的高延迟与幻觉风险,学术界与工业界近年兴起了“直接决策模型(Decision Model)”路线:即输入一段状态(State)、问题及若干候选项,模型不生成任何解释性文本,直接通过单次前向传播输出各选项的概率分布。然而,传统稠密(Dense)决策模型存在致命短板——算力预算被死死锁在模型参数量上,想兼顾简单题的低延迟与难题的高精度,工程团队往往不得不部署大、小两套模型进行“级联(Cascade)”,而一旦小模型兜不住交由大模型接管,大模型还必须从头重新编码整段输入序列,白白浪费大量 Prefill 算力。

Lev(项目官网:https://openlair.github.io/lev/)彻底颠覆了这一思路。研究团队没有在普通 Dense 模型上硬套循环补丁,而是直接选用在预训练阶段就接受过逐圈监督的原生循环语言模型(Looped LM)Ouro 与 Nanbeige4.2 作为底座,让同一组解码层权重重复运行 $R$ 圈。每一圈结束后,系统直接在上一圈的隐藏状态(Hidden States)之上无缝续算下一圈,并通过共享的 Pointer Head 读取各选项结束符与 <decide> 标记的概率。这种机制意味着从第 1 圈切换到第 4 圈深思完全不需要重读输入上下文,彻底消除了模型级联的重复编码延迟。

二、 块因果掩码共享编码与 JevBench 13 个点跃升:同一权重覆盖全延迟光谱

在输入接口设计上,Lev 沿用了高效的批处理打包策略:当面临同一段共享上下文状态(例如长达数千字的会话历史或风控规则文档)关联多个独立决策问题时,Lev 将共享状态、所有问题及其各自候选项打包成一条单一序列,并巧妙运用块因果掩码(Block-Causal Mask)隔离注意域——每个问题及其候选项只能看见共享状态与问题自身,而彼此隔离。这使得庞大的共享状态只需经过一次前向编码即可同时服务所有子问题,将系统吞吐量推向极致。

实测基准数据印证了这种循环深思架构的惊人弹性:在权威决策基准 JevBench 上,完全同一个 Lev Checkpoint,当设定运行 1 圈快答时准确率为 63.2%,而当允许其循环思考至 4 圈时,准确率直接飙升 13 个百分点至 76.2%,其中绝大部分增益集中在最具挑战性的标准题与难题上。在 39–46ms 的超低延迟运营区间内,Lev 的决策准确率更是比同类多模型级联方案高出 7.0–8.8 个百分点,比表现最好的常规 Dense 模型高出 5.4–7.5 个百分点。

核心技术与性能指标 传统小+大模型级联方案 常规 Dense 固定深度模型 开源循环决策模型 Lev 工程部署收益
推理计算模式 小模型先跑,低置信再交大模型重算 单次固定层数前向传播 同一组解码层权重循环运行 R 圈 (1~4+) 一份权重覆盖从快答到深思全频谱
深度升级开销 须重新编码全部输入序列,延迟翻倍 无法动态调整思考计算量 直接从上一圈隐藏状态无缝续算 零重复 Prefill 开销,大幅压低长尾延迟
JevBench 准确率弹性 受限于跨模型特征对齐与阈值损耗 单点固定,提升精度须换更大模型 同权重 1 圈 63.2% -> 4 圈 76.2% (+13pt) 难题推理收益极其显著,部署体积减半
39–46ms 区间表现 基准对比领先 7.0–8.8 个百分点 比最优 Dense 方案高 5.4–7.5 个点 在极严苛毫秒级预算下全面领跑 适配高并发网关路由与实时风控拦截
早退校准数据要求 通常需人工标注验证集调优阈值 不支持逐题自适应早退 以“与最深答案一致”为目标,无需人工标签 仅用约 500 题自有业务无标签流量即可自校准

三、 拒绝人工标注:预测“与最深答案一致”的无标签逻辑回归停止器

在实际生产调度中,如何精确判断某道题目究竟该在“第 1 圈”立刻早退,还是继续多算 3 圈?Lev 团队在实验中发现,把常规大模型文本生成领域的“置信度早退(Confidence-based Early Exit)”直接迁移到决策模型上往往会遭遇滑铁卢。为此,Lev 重新定义了停止器(Stopper)的优化目标:它不试图预测“这一圈是否答对”,而是为每个深度部署一个极其轻量的逻辑回归(Logistic Regression)分类器,专门利用当前圈与上一圈读出的概率特征,去预测“当前答案是否已经与最深一圈(如第 4 圈)的最终答案一致”。

这一数学目标的切换带来了一项极其震撼的工程红利——由于“最深一圈的输出”本身就来自模型自己,拟合逻辑回归停止器与标定早退阈值(例如设定保证至少 98% 样本与最深答案一致的最小概率阈值)完全不需要任何昂贵的人工真值标注!企业运维人员只需截取每折约 500 条真实业务的无标签线上请求流量,即可在部署前全自动完成温度缩放(Temperature Scaling)与停止阈值校准。最终在线上运行时,简单题 1 圈秒退、难题自动跑满多圈,整体仅消耗全深度 76%–85% 的算力,而准确率损失控制在不足 1 个百分点以内。

四、 五大企业高频实战场景与开源获取指南

目前 Lev 已在 GitHub(https://github.com/OpenLAIR/lev)与 Hugging Face(https://huggingface.co/collections/songdj/lev)全面开放代码、LoRA 权重及对应检查点。凭借单权重自适应算力分配、零幻觉概率输出以及完全离线可自托管的特性,Lev 尤其契合五大低延迟工业级场景:

  • 智能客服意图路由: 常见问候与明确咨询在 1 圈内毫秒秒回,遇到含糊交叉意图时自动多算几圈精准派单,兼顾高并发响应与路由精度。
  • 内容审核分级处置: 清晰合规或明显违规文本快速放行/拦截,灰色擦边内容自动加深循环深度审慎判别,实测整体节省 15%–24% 算力并显著降低漏判率。
  • Agent 工具调用选择: 在多步智能体工作流中,机械确认步骤一圈极速通过,关键分支节点加深思考避免选错工具导致整条链路返工。
  • 电商推荐实时重排与金融合规分类: 支持普通流保速度、高价值首屏大促位加深排序;且因支持全离线自托管及无标签业务流量自校准,能够完美满足金融风控文档分类严苛的数据不出域要求。

📝 站长洞察 (Editor’s Insight)

如果把传统生成式模型比作必须写完八百字作文才交卷的学霸,循环决策模型 Lev 则是把草稿算在潜意识隐藏状态、且按题目难度分配算力的直觉特种兵。在工程界越来越清醒地认识到“并非所有节点都需要吐出长篇自然语言”的当下,Lev 不仅在 39–46ms 区间领先级联方案 7 至 8.8 个点,更巧妙地用“预测与最深答案一致”绕开了人工标注依赖。任何企业只需截取 500 条无标签线上流量,即可免费跑出自校准的算力省钱开关,把 GPU 算力真正用在最棘手的 20% 难题上。

❓ 常见问题解答(FAQ)
Lev循环决策模型解决了什么问题?

它主要解决传统决策模型“要么快但不准、要么准但延迟高”的矛盾。Lev通过同一权重循环思考1至4圈,在不重复编码输入的前提下动态增加计算量,兼顾低延迟与高精度。

Lev为什么比级联方案更快?

因为Lev不需要小模型失败后再交给大模型重算,也不必重新编码整段输入。它直接在上一圈隐藏状态上续算下一圈,省掉重复Prefill开销,因此在39–46ms区间仍能保持高性能。

Lev的停止器为什么不需要人工标注?

它不是预测“当前是否答对”,而是预测“当前答案是否与最深一圈的最终答案一致”。这个目标可直接用模型自身输出构造训练信号,因此只需约500题无标签业务流量就能完成自校准。

🏛️ Prompt 语宙研究院 · Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
半人马与赛博格:在未来工作的前沿 [译]
作为软件工程师,你可能不知道的 4 件事 [译]
Q* 假设:思维树推理、过程奖励模型,以及如何大幅提升合成数据的能力 [译]
大语言模型能取代编译器吗? [译]
AI 时代下,用户体验面临的复杂性挑战 [译]
TAGGED:LevOuro循环决策模型推理加速自适应早退
分享
Email 复制链接 打印
Share
Prompt 语宙研究院 头像
ByPrompt 语宙研究院
Follow:
Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
上一篇 浙江大学开源个人跨设备智能体 nanoMuse 官网架构与多端协同演示界面 手机一句@Mac直接调度电脑干活!浙江大学开源个人智能体nanoMuse:GPL-3.0全自托管、Hands无API屏幕操控与不可逆安全审批全景拆解
下一篇 Lambda 在超万卡 NVIDIA GB300 NVL72 算力集群中部署 NVIDIA Photonics 共封装光学交换机示意图 机架延迟降4%且可靠性飙升15倍!Lambda超万卡GB300集群全面部署NVIDIA Photonics CPO交换机:36°C液冷光引擎、去Retimer与可替换光源全景拆解
Ad image
Ad image

最近更新

NVIDIA发布升级版CUDA-X科学计算库矩阵赋能天体物理、核聚变与空间单细胞科研智能体
黑洞成像从1个月压至8分钟、空间生物计算提速900倍!NVIDIA升级CUDA-X科学计算库矩阵:cuPhoton联合Nemotron智能体实时操盘核聚变全拆解
AIGC 资讯
a16z剖析AI时代网络安全攻防失衡与90年代漏洞狂潮重现封面插图
大模型推理API密钥成黑客新“热钱包”!a16z深度警示:AI引爆90年代式0-day蠕虫潮,企业安全栈如何三大底层重构?
AI 工具
Google-Agent 用户触发型AI智能体流量识别与CDN防火墙放行示意图
别让WAF误杀高意向AI买手!Google发布Google-Agent放行技术指南:Web Bot Auth签名校验、IP名单同步与CDN排障全拆解
强化 AI 学习
Singular ChatGPT Ads付费广告与AI自然回答App归因全链路追踪架构封面图
告别App增量沦为自然流量!Singular详解ChatGPT Ads与AI回答全链路归因:CAPI回传、Web-to-App参数透传与无点击提及监测指南
AI 工具

相关推荐

“提示注入”与“破解”并不是一回事 [译]
强化 AI 学习

“提示注入”与“破解”并不是一回事 [译]

宝玉的分享
AI智能体 ChatGPT Llama OpenAI 大模型微调
在工程行业中质疑直觉的重要性 [译]
强化 AI 学习

在工程行业中质疑直觉的重要性 [译]

宝玉的分享
AI办公效率 AI智能体 AI编程 大模型微调
source forge repo screenshot
强化 AI 学习

GitHub 如何成为代码托管的领头羊,超越 SourceForge [译]

宝玉的分享
AI智能体 AI编程 大模型微调 开源大模型
为何你应该计划完成更少的任务 [译]
强化 AI 学习

为何你应该计划完成更少的任务 [译]

宝玉的分享
AI办公效率 AI智能体 大模型微调
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • Remaker AI
  • BGRemaker 抠图Hot
  • AIGC 工具
  • Prompt 咒语生成器
  • 去水印工具

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 YouTube
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.