告别被动记录与记忆黑盒！Looki重磅推出第一视角多模态大模型Loom：Sense/Moment/Memory三层解耦、长时序算力直降85%与主动生活智能体全景深度拆解

💡 站外导读：传统多模态大模型在处理穿戴式设备的第一视角连续流媒体时，普遍深陷“推理算力爆炸、长期记忆调用黑盒与缺乏适时介入机制”的三重困境。Looki 团队正式推出的 Loom 多模态大模型系列，创新性地将人类对第一视角生活的感知与认知解构为 Loom Sense（事件感知）、Loom Moment（经历组织）与 Loom Memory（记忆导航）三层递进架构。通过在时序上引入状态传递双约束损失与共享编码机制，不仅将复杂事件检测 F1 分数推升至 88.6，更在长时序记忆评测中将信息处理量大幅缩减至传统方案的 14.5%，为下一代具备情境自愈与主动介入能力的生活级具身智能体奠定了工业级工程基石。

1. 破局穿戴式第一视角：为何传统大模型无法胜任生活连续感知？

在智能眼镜、AR 头显与微型随身相机等端侧穿戴硬件飞速普及的今天，让 AI 真正融入人类日常生活正面临根本性瓶颈。过往以视觉大语言模型（VLM）为核心的架构，往往采取“定期采样关键帧 + 密集推理”的被动交互模式：

• 算力黑洞与时延雪崩： 每秒 30 帧的连续视频流若直接喂入高参数 Transformer，会导致端侧或边缘云算力瞬间打满，电池续航在数十分钟内耗尽，端到端推理时延普遍在数秒以上，完全无法做到毫秒级生活突发事件捕捉。
• 时序抖动与误报泛滥： 人类第一视角伴随着大量的头部晃动、光照明暗突变与镜头遮挡。传统模型极易因单帧画面模糊产生灾难性语义漂移，将单纯的“低头系鞋带”误判为“跌倒晕厥”。
• 记忆黑盒与证据缺失： 当用户追问“我半小时前把车钥匙放在哪了？”时，现有记忆增强检索（RAG）系统多依赖无结构的分块文本嵌入，无法精准锚定视觉坐标与时间戳，极易产生凭空捏造的幻觉。

针对这一系列核心痛点，Looki 团队彻底颠覆了“暴力堆砌 Token”的传统思路，将复杂的生活理解任务分解为分层递进、权责明确的三个专用模型子系统，构建起高稳定性、超低开销的第一视角流式认知闭环。

2. 核心三层架构深度解密：Sense、Moment 与 Memory 的流式闭环

2.1 Loom Sense：问题条件化事件判别与双约束损失

Loom Sense 承担着连续环境感知的“哨兵”职责。与传统无监督全局场景分类不同，Sense 借鉴了先进的条件化判断理念，使用结构化的自然语言问题直接定义感知目标（如“用户是否正在过马路？”、“用户是否正在与他人交谈？”）。

模型在底层复用高能效的共享多模态编码器，各事件判别任务仅在此基础上进行轻量级 Softmax 归一化打分，使得计算复杂度与并发事件数量实现线性解耦。在时序平滑层面，Looki 引入了独创的状态传递与双约束损失函数（Dual-Constraint Loss）：

• 活动持续阶段概率抑制： 当某一行为（如持续慢跑或打字）处于稳定执行期时，损失函数强力惩罚概率突变，有效过滤画面抖动引起的瞬间误判；
• 边界切换强化监督： 当感知流接近真实行为起止临界点时，系统动态切换为高敏梯度回传，确保毫秒级感知切换的及时性与无缝过渡。

2.2 Loom Moment：起止边界与语义描述的端到端联合生成

在捕捉到离散感知信号后，如何将其凝练为连贯的生活经历？传统工程链路通常采取“两阶段流水线”——先通过时序动作分割（TAD）划定边界，再交由大模型生成文本摘要。这种设计极易导致前后级误差级联放大。

Loom Moment 创新性地将“在哪里切分”与“每段发生了什么”合二为一，统一建模为端到端序列生成任务。模型单次接收多模态观测帧、绝对时间戳与环境上下文，同步输出经历片段的精确起止时间、高保真内容描述以及可溯源的视觉证据坐标。更关键的是，训练流水线严格区分“直接观测到的事实（Seen/Heard）”与“逻辑推断的假设（Inferred）”，从数据底层杜绝了将推测写死为历史记忆的安全隐患。

2.3 Loom Memory：四层长期记忆拓扑与 Agentic 树状导航

面对人类数月乃至数年的海量生活流数据，单凭扁平的向量数据库检索必然遭遇索引爆炸与高维语义混淆。Loom Memory 提出了工业级的四层分层记忆存储拓扑：

• L1 原始经历层（Episodes）： 完整保留带时间戳与视觉锚点的物理事件原始记录，作为最终核验的黄金事实底座；
• L2 语义摘要层（Summaries）： 按半天/单日周期自动提炼关键行为脉络，滤除重复冗余背景；
• L3 待整合记忆池（Pending Pool）： 缓存跨事件的未决任务、延期承诺与待办状态，支持动态生命周期演化；
• L4 记忆快照层（Memory Snapshots）： 经由冲突消解（Conflict Resolution）与启发式遗忘机制沉淀出的长期用户偏好与实体关系网络。

在检索阶段，系统采用 Agentic Memory Navigation（智能体记忆导航） 机制，基于自适应树状索引沿着“全局概况 $
ightarrow$ 局部事件 $
ightarrow$ 微观物理证据”逐级定位，检索信息处理量仅为 mem0 的 14.5%，大幅消除了无效 Token 搬运。

3. 核心性能基准与主流记忆框架量化实测对比

在涵盖日常生活、办公协同与穿戴具身测试集的多维度权威基准下，Looki Loom 与业界主流的多模态方案及外置记忆框架进行了全面横向对决：

4. 从被动查询到主动伴随：会议续接与物品找回生活落地实操

Loom 架构的最高阶形态，在于其赋予 AI 的主动介入智能（Proactive Intelligence）。传统助手需要用户主动发起“Hey Siri”唤醒，而 Loom 则通过联合端到端策略模型，持续将 Sense 状态、Moment 上下文与 Memory 快照作为反向先验，自动评估“此时此刻是否需要向人类提供帮助”：

• 未决商务与技术会议无缝续接： 当团队在周五下午讨论到某一方案时，有人提出“需要等待运营数据同步”。而在下周二的例会上，当该话题被重新提及，Loom 自动监测到议题特征，主动在智能眼镜视场角微光提示：“上次会议遗留未决条件：等待周五运营流水，当前流水已入库，是否展示对比？”无需人工翻找纪要。
• 实体物品轨迹反向物理寻回： 当用户焦急寻找车钥匙或门禁卡时，提问“我的钥匙落在哪了？”Loom Memory 沿着分层树自顶向下检索，精准定位到昨晚 20:14 用户进门脱大衣的瞬间画面，并高亮钥匙滑落到玄关储物篮缝隙的特写证据。
• 日常偏好与健康状态隐式自学习： 系统在多周的第一视角观测中，自主沉淀出用户的饮食习惯、过敏原禁忌与通勤偏好快照，在点餐或出差时自动在合规防线下提供定制化决策支撑。