# NoteLLM – 小红书推出的笔记推荐多模态大模型框架

- Link: https://paooo.com/aigc-news/19993/
- Published: 2026-06-08T15:29:37+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * NoteLLM 用压缩嵌入+自动标签生成，强化笔记语义表示与推荐相关性。
 * NoteLLM-2 引入视觉编码器与 LLM，借助 mICL 和 late fusion 补足视觉信息。
 * 该框架已应用于小红书实际推荐系统，适合个性化推荐、冷启动与内容创作辅助。

## NoteLLM是什么

NoteLLM 是小红书推出的针对笔记推荐的多模态大型语言模型框架。NoteLLM 基于生成笔记
的压缩嵌入和自动生成标签类别，用大型语言模型（LLM）的强大语义理解能力，结合对比学习
和指令微调技术，提升笔记推荐的准确性和相关性。NoteLLM-2 在NoteLLM基础上引入多模态
输入，基于端到端微调策略，结合视觉编码器和 LLM，解决视觉信息被忽视的问题。NoteLLM-
2 提出多模态上下文学习（mICL）和晚期融合（late fusion）两种机制，进一步增强多模态
表示能力，显著提升多模态推荐任务的性能。框架在小红书平台上展示强大的推荐能力，已
应用在实际推荐系统中。

阅读目录

 * [NoteLLM是什么](https://paooo.com/aigc-news/19993/#notellm%e6%98%af%e4%bb%80%e4%b9%88)
 * [NoteLLM的主要功能](https://paooo.com/aigc-news/19993/#notellm%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [NoteLLM的技术原理](https://paooo.com/aigc-news/19993/#notellm%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [NoteLLM的项目地址](https://paooo.com/aigc-news/19993/#notellm%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [NoteLLM的应用场景](https://paooo.com/aigc-news/19993/#notellm%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![NoteLLM](https://paooo.com/wp-content/uploads/2026/06/NoteLLM-website-1.avif)

## NoteLLM的主要功能

 * **自动生成标签类别**：为笔记生成标签和类别，增强笔记嵌入的质量。
 * **提升用户体验**：基于更精准的推荐，提高用户在平台上的参与度和满意度。
 * **多模态笔记推荐**：结合文本和图像信息，生成更全面的笔记表示，提升多模态推荐的
   准确性和相关性。
 * **解决视觉信息忽视问题**：基于多模态上下文学习（mICL）和晚期融合（late fusion）
   机制，增强视觉信息的表示能力。

## NoteLLM的技术原理

 * **Note Compression Prompt**：设计特定的提示模板，将笔记内容压缩为一个特殊标记，
   同时生成标签和类别。
 * **对比学习（Contrastive Learning）**：基于用户行为数据中的共现机制构建相关笔记
   对，对比学习训练模型，增强笔记嵌入的语义表示。
 * **指令微调（Instruction Tuning）**：基于指令微调，让 LLM 更好地理解任务需求，
   生成高质量的标签和类别。
 * **多模态上下文学习（mICL）**：将多模态内容分离为视觉和文本两部分，分别压缩为两
   个模态压缩词，基于对比学习平衡模态间的注意力。
 * **晚期融合（Late Fusion）**：在 LLM 的输出阶段直接融合视觉信息，保留更多原始视觉
   信息，避免早期融合导致的视觉信息丢失。
 * **端到端微调**：结合任意现有的 LLM 和视觉编码器，基于端到端微调，定制高效的多
   模态表示模型，无需预训练对齐。

## NoteLLM的项目地址

 * **GitHub仓库**：[https://github.com/Applied-Machine-Learning-Lab/NoteLLM](https://github.com/Applied-Machine-Learning-Lab/NoteLLM?utm_source=ai-bot.cn)
 * **arXiv技术论文**：
    - **NoteLLM**：[https://arxiv.org/pdf/2403.01744](https://arxiv.org/pdf/2403.01744)
    - **NoteLLM2**：[https://arxiv.org/pdf/2405.16789](https://arxiv.org/pdf/2405.16789)

## NoteLLM的应用场景

 * **个性化笔记推荐**：根据用户兴趣和行为，从海量笔记中精准推荐相关内容，提升用户
   发现体验。
 * **冷启动笔记推荐**：帮助新发布的笔记快速获得曝光，基于内容相似性进行推荐。
 * **标签和类别生成**：自动生成与笔记内容相关的标签和类别，提升内容的可检索性，帮助
   用户更快找到感兴趣的内容。
 * **多模态内容推荐**：处理文本和图像信息，生成更全面的笔记表示，提升多模态推荐的
   准确性和相关性。
 * **内容创作辅助**：为创作者提供创作灵感和建议，如关键词、标签和相关笔记推荐，辅助
   内容创作。

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**小红书 ↗**

小红书（Xiaohongshu）是中国领先的生活方式分享社区和社交电商平台。其核心功能围绕用户
生成内容（UGC）

❓ 常见问题解答（FAQ）

NoteLLM 主要解决什么问题？

NoteLLM 主要面向小红书笔记推荐场景，通过压缩笔记内容、自动生成标签类别，并结合对比
学习与指令微调，提升笔记表示质量和推荐准确性。

NoteLLM-2 和 NoteLLM 有什么区别？

NoteLLM-2 在 NoteLLM 基础上加入多模态输入，结合视觉编码器与 LLM，并提出多模态上下文
学习（mICL）和晚期融合（late fusion），重点解决视觉信息被忽视的问题。

NoteLLM 可以用在哪些场景？

可用于个性化笔记推荐、冷启动推荐、标签和类别生成、多模态内容推荐，以及内容创作辅助，
帮助提升内容可检索性和用户发现效率。

🔬 语宙深潜追问 · 进阶实操拆解

多模态推荐最难解决什么问题？

最难的是把图文、标签和行为信号对齐到同一语义空间。需要压缩嵌入、对比学习和晚期融合
协同工作，同时防止热门内容把模型带偏，保持长尾召回。

平台推荐里指令微调值不值得做？

值得，但要和排序目标绑定。指令微调适合提升语义理解和标签生成，真正上线还要接入CTR、
停留时长和满意度反馈，否则模型“会说”不等于“会推”。

🗳️ 读者观点微投票 · 您的实战立场是？

推荐[大模型](https://paooo.com/ai-study/)该更懂内容还是更懂用户？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🐋 所属权威专题：DeepSeek 深度实战与部署 →](https://paooo.com/topics/deepseek/)

 * [vLLM深度解析：开源大模型推理框架，PagedAttention技术如何提升吞吐量10倍并大幅降低硬件成本](https://paooo.com/ai-tool/11826/)
 * [SWEET-RL – Meta 推出的多轮强化学习框架](https://paooo.com/aigc-news/20576/)
 * [上交大小红书联手打造LoopTool：自动化数据进化框架，显著提升大模型工具调用能力](https://paooo.com/aigc-news/12941/)
 * [LTM-2-mini – Magic公司推出的支持1亿token上下文AI模型](https://paooo.com/aigc-news/27093/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/19993/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
