斯坦福&英伟达发布TTT-Discover：测试时强化学习实现低成本AI科学发现

💡 站外导读：当前AI模型在科学发现等复杂任务中往往依赖海量数据与天价算力训练，且模型在部署后性能固定，无法从具体问题中实时进化。这限制了AI在解决开放性、前沿科学问题上的潜力。斯坦福与英伟达等机构最新提出的TTT-Discover方法，旨在打破这一僵局，通过创新的测试时强化学习框架，让AI模型在推理过程中动态学习，实现低成本、高性能的定向科学突破。

TTT-Discover是什么

TTT-Discover（Test-Time Training to Discover）是斯坦福、英伟达等机构推出的AI科学发现方法。TTT-Discover在测试阶段对模型进行强化学习训练，非冻结权重仅做搜索。通过熵目标函数优化最大奖励，结合PUCT启发的状态重用机制，让模型从具体问题的尝试中实时学习。TTT-Discover基于开源模型gpt-oss-120b，在数学、GPU内核工程、算法竞赛和生物信息学等领域达到SOTA，单问题成本仅数百美元。

TTT-Discover的主要功能

• 测试时持续学习：在解决具体问题时动态更新模型权重，使AI从失败尝试中实时积累经验，实现定向进化。
• 科学发现优化：针对数学、工程、算法、生物等领域的开放问题，寻找超越现有知识的最优解。
• 高效搜索策略：通过熵目标函数聚焦高奖励动作，结合PUCT机制智能重用历史状态，平衡探索与利用。
• 低成本高性能：使用开源模型即可在多项任务中达到SOTA，单问题训练成本仅需几百美元。

TTT-Discover的技术原理

• 熵目标函数：优化目标为 Jβ​(θ)=E[logE[eβR]] 。当$\beta \to \infty$ 时，目标收敛于最大化最大奖励而非平均奖励，确保模型专注寻找单一极优解。采用自适应$\beta (s)$ 控制KL散度，维持训练稳定性。
• PUCT启发状态重用：维护历史解缓冲区，用评分函数Q(s)+c⋅P(s)⋅1+n(s)1+T​​ 选择初始状态。其中$Q(s)$ 取子节点最大奖励（非平均值），$P(s)$ 为基于奖励排名的先验，兼顾高潜力状态利用与多样性探索。

TTT-Discover的项目地址

• arXiv技术论文：https://arxiv.org/pdf/2601.16175

TTT-Discover的应用场景

• 数学研究：优化Erdős最小重叠问题、自相关不等式等开放数学问题的边界值，发现新的构造性证明。
• GPU内核工程：帮助自动生成高性能计算内核，如AlphaFold的TriMul算子、DeepSeek的MLA解码，速度超越人类专家。
• 算法竞赛：TTT-Discover能解决AtCoder等编程竞赛中的NP-hard优化问题，如几何计算、生产规划等复杂任务。
• 生物信息学：TTT-Discover能改进单细胞RNA测序去噪算法，提升基因表达数据分析精度。