数十亿商品压缩为3-Token且推理压至1毫秒！Shopify重磅解密生成式商品发现大模型：RQ-KMeans离散编码、Liquid AI底座与搜推一体架构深度拆解

💡 站外导读：在海量电商场景中，传统的“向量检索+多路倒排+多级重排”漏斗式架构正遭遇算力开销暴涨与语义割裂的瓶颈。全球电商巨头 Shopify 正式披露其生产级“生成式商品发现模型（Generative Discovery Model）”架构设计。该系统彻底打通搜索（Search）与个性化推荐（Recommendation）的底层边界，创新性地采用残差量化 K 均值聚类（RQ-KMeans）将数十亿商品映射为仅有 3 个 Token 的紧凑语义 ID，并搭载 Liquid AI 的 LFM2-2.6B 高性能模型。结合 GPU 前缀树（Prefix Trie）约束解码，Shopify 成功将候选召回时延从 50ms 极限压缩至约 1ms，在 Shop App 首页信息流与全球数百万独立站检索中斩获了显著的转化与召回提升。

当两位消费者在手机端输入同一个检索词“backpack（背包）”时，一个可能刚刚经历过公交车打翻咖啡弄湿电脑的意外，迫切需要一款防水防震的商务通勤电脑包；而另一个可能正在筹划穿越科罗拉多落基山脉的探险，寻找大容量轻量化户外登山包。在传统的检索系统中，字面匹配或无差别的稠密向量往往无法精准解构这种潜藏在用户历史消费行为与即时意图之下的深层差异。

面对全球数百万商家、跨越数十亿 SKU 的复杂商品目录，Shopify 工程团队构建了一套统一的生成式商品发现底座。该架构摒弃了传统将商品作为离散无关联 ID 的“黑盒映射”，而是将“理解商品语义”与“预测下一个合适商品”转化为大语言模型的生成任务。目前，该模型已在生产环境全量承载线上流量，带来了显著的离线召回率与在线商业转化增益。

一、破局核心：用 3-Token 语义 ID 破解数十亿商品“词表爆炸”

在传统的电商机器学习系统中，每个商品通常拥有一个唯一的数据库记录标识（Raw Product ID）。然而，数字 ID 本身不包含任何物理属性与语义信息。如果将目录中数十亿的商品逐一作为模型的输出词表，不仅会导致 Softmax 输出层参数规模膨胀至不可承受，而且对于长尾或冷启动新品而言，交互样本稀疏导致模型根本无法为独立 ID 学到有效的表征。

为此，Shopify 创新性地构建了语义 ID（Semantic ID）分词体系：

• 内容向量化：首先将商品的标题、类目层级、属性描述及视觉特征输入统一编码器，生成高质量稠密向量表征。
• RQ-KMeans 残差量化：在评估了残差量化自编码器（RQ-VAE）与残差 K 均值聚类（RQ-KMeans）后，团队发现在相同码本容量下 RQ-KMeans 的下游召回指标显著更优。系统配置了 3 级码本，每级码本包含 8,192 个聚类中心（Centroids）。
• 3-Token 层次编码：每一个商品被压缩为一个由 3 个离散编码组成的序列（如 [6001, 5561, 0]）。第一级 Token [6001] 代表通用大类（如所有马甲与背心款式）；第二级 [6001, 5561] 细化为带填充保暖马甲；第三级 [6001, 5561, 0] 则精准指向灰色保暖马甲。

这种分层编码使得共享前缀的相近商品能够天然共享模型注意力与训练梯度，长尾冷门商品通过继承同类高频商品的知识，彻底化解了电商冷启动表征难题。

二、推理加速突破：GPU 前缀树约束解码将延迟从 50ms 压至 1ms

在生成式检索（Generative Retrieval）落地工业界的过程中，最大的拦路虎往往是自回归解码的延迟与非合法 Token 序列幻觉。3 级码本共有 8192^3 种理论组合，但只有极小一部分对应真实在售商品。若模型输出了不存在的序列，或者花费数十毫秒进行 Beam Search，将直接超出电商实时网关的 SLA 预算。

Shopify 工程团队通过三大工程底座解决了这一挑战：

1. Liquid AI LFM2-2.6B 底座选型

在候选生成阶段，必须为下游复杂的精排模型预留足够的计算时间。团队对多种开源权重进行了深度横向基准测试，最终选定 Liquid AI 的 LFM2-2.6B 模型。该模型在保持高泛化语义理解能力的同时，推理吞吐与显存占用表现极其优异，并深度集成了 RIPL 推理栈与定制化 TensorRT-LLM 算子引擎。

2. GPU 前缀树（Prefix Trie）约束解码

为了保证生成的 Semantic ID 必定对应在售商品，系统基于 STATIC 架构将数十亿商品的有效路径编译为常驻 GPU 显存的稀疏前缀树。在解码每一步，由定制的 CUDA/C++ 插件拦截 Logits，通过向量化位运算直接掩码（Mask）非法分支。该优化将单次请求的路径约束开销从超过 50ms 骤降至约 1ms。

3. 多 Token 联合预测（Multi-Token Prediction, MTP）

传统自回归需要 3 步串行推理才能生成一个商品，Shopify 实装了 MTP 技术，在前向传播中单 Pass 直接输出全部 3 个位置的联合概率分布，并配合轻量级重排器（Lightweight Ranker）筛选，在同等甚至更低的 p95 时延下使有效候选吞吐量实现了数倍跃升。

三、核心架构与实测基准全景对比

为了直观展现 Shopify 生成式商品发现模型与传统双塔稠密召回及纯文本自回归方案的差异，我们将关键技术指标与工业实测表现整理如下：

四、多教师蒸馏与首单发现强化：让搜推任务在同一底座相互增益

在模型训练方面，Shopify 揭示了四条至关重要的工程经验：

1. 搜推跨域互哺：实验证实，从训练集中剥离搜索或推荐任何一方的数据，都会导致另一方的评测指标显著下滑。搜索查询注入了明确的用户意图锚点，而浏览和加购行为则提供了丰富的上下文联想，两者联合微调使得模型表征更加鲁棒。
2. 定向激活“探索发现（Discovery）”：纯粹拟合历史日志会导致模型过度推荐用户曾经购买过的店铺或熟知商品。Shopify 针对“用户首购事件（First-Purchase）”进行了过采样（Upsampling），同时清洗掉冗余的历史无意义点击，使模型在“非熟人探索”维度的有效召回率飙升了 10%~15%。
3. 大模型打分奖励强化学习：利用高质量 LLM 充当离线 Relevance Judge 奖励模型，将传统的“Next Token 交叉熵拟合”升级为强化学习策略优化，使最终输出的 Top-K 结果直接对齐用户综合满意度，为 OneDCG@10 带来了额外 +1.5 的提升。
4. 多教师蒸馏（Multi-Teacher Distillation）：先由专有分支分别精调出“搜索专家”与“推荐专家”，再将其知识综合蒸馏进单一的共享端侧底座，既保障了专精能力的拔尖，又实现了线上统一服务维护。