搜索智能体到底有多强,过去一年基本是BrowseComp说了算。但这个标尺正在失灵——它在10个月内就把模型成绩从30%一路推到了90%,基准测试本身的意义正快速被刷没。7月17日,美团LongCat抛出了一块更硬的试金石LoHoSearch,意图把搜索智能体重新逼回爬坡区。

LoHoSearch的难题不是人写的,而是从一个囊括762万个实体的维基百科知识图谱里自动生成的。正因为这种机器生成的出身,它在搜索空间和结构复杂度上,抵达了人类标注者根本无法稳定设计出的难度上限。换句话说,过去的基准靠人脑出题,题目再难也有天花板;LoHoSearch把出题权交给图谱,难度天花板被彻底掀开。

结果相当刺眼。在11个前沿模型的测试中,最佳成绩只有34.74%,紧随其后的三个模型集中在15%到16%左右;而同一批顶尖模型在BrowseComp上眼下能拿到约90%的分数。差距之大,直观说明LoHoSearch把搜索智能体真正的短板暴露了出来。更有意思的是上下文策略的边际效用:在LoHoSearch上,最好的上下文策略只带来6.8个百分点的提升,而同样的操作在BrowseComp上能换回14个百分点——这意味着靠提示和上下文工程去补能力的老办法,在这套新基准里几乎失灵。
这套基准本身有544道问题,覆盖11个领域,问题采用树状与图结构组织,且已经开源。当老基准被刷到顶、搜索agent的真正挑战才刚开始,LoHoSearch很可能成为下一个绕不开的必测项。
LoHoSearch是什么?
LoHoSearch是美团LongCat推出的搜索智能体新基准,题目由维基百科知识图谱自动生成,覆盖544道问题和11个领域,旨在测试搜索agent在复杂结构化检索中的真实能力上限。
LoHoSearch和BrowseComp有什么区别?
BrowseComp更容易被刷分,10个月内模型成绩从30%升到90%;LoHoSearch则把出题权交给知识图谱,难度更高。实测中,前沿模型在LoHoSearch最高仅34.74%,明显低于BrowseComp上的约90%。
LoHoSearch对提示词优化还有用吗?
有用但效果变弱。文章提到,最好的上下文策略在LoHoSearch上只提升6.8个百分点,而在BrowseComp上可提升14个百分点,说明单靠提示和上下文工程已难以显著补足搜索智能体能力。
LoHoSearch这类基准最该怎么用?
把它当“真实能力压力测试”,不要只看总分。重点观察模型在长链路检索、证据整合和失败恢复上的表现,再结合你的业务场景看是否需要更强规划器、重排器或人工兜底。
搜索智能体要提升实战分数先改哪层?
优先改检索策略而不是只堆模型。通常先优化查询分解、候选召回、证据重排和答案校验,再考虑更强的推理模型。很多低分不是不会答,而是前两步就把信息找偏了。
