Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: NoteLLM – 小红书推出的笔记推荐多模态大模型框架
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
NoteLLM – 小红书推出的笔记推荐多模态大模型框架
Prompt 语宙 > AIGC 资讯 > NoteLLM – 小红书推出的笔记推荐多模态大模型框架
AIGC 资讯

NoteLLM – 小红书推出的笔记推荐多模态大模型框架

Prompt 语宙研究院
最近更新: 2026年6月8日 下午3:29
AI智能体 大模型微调 小红书 开源大模型
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • NoteLLM 用压缩嵌入+自动标签生成,强化笔记语义表示与推荐相关性。
  • NoteLLM-2 引入视觉编码器与 LLM,借助 mICL 和 late fusion 补足视觉信息。
  • 该框架已应用于小红书实际推荐系统,适合个性化推荐、冷启动与内容创作辅助。

NoteLLM是什么

NoteLLM 是小红书推出的针对笔记推荐的多模态大型语言模型框架。NoteLLM 基于生成笔记的压缩嵌入和自动生成标签类别,用大型语言模型(LLM)的强大语义理解能力,结合对比学习和指令微调技术,提升笔记推荐的准确性和相关性。NoteLLM-2 在NoteLLM基础上引入多模态输入,基于端到端微调策略,结合视觉编码器和 LLM,解决视觉信息被忽视的问题。NoteLLM-2 提出多模态上下文学习(mICL)和晚期融合(late fusion)两种机制,进一步增强多模态表示能力,显著提升多模态推荐任务的性能。框架在小红书平台上展示强大的推荐能力,已应用在实际推荐系统中。

阅读目录
  • NoteLLM是什么
  • NoteLLM的主要功能
  • NoteLLM的技术原理
  • NoteLLM的项目地址
  • NoteLLM的应用场景

NoteLLM

NoteLLM的主要功能

  • 自动生成标签类别:为笔记生成标签和类别,增强笔记嵌入的质量。
  • 提升用户体验:基于更精准的推荐,提高用户在平台上的参与度和满意度。
  • 多模态笔记推荐:结合文本和图像信息,生成更全面的笔记表示,提升多模态推荐的准确性和相关性。
  • 解决视觉信息忽视问题:基于多模态上下文学习(mICL)和晚期融合(late fusion)机制,增强视觉信息的表示能力。

NoteLLM的技术原理

  • Note Compression Prompt:设计特定的提示模板,将笔记内容压缩为一个特殊标记,同时生成标签和类别。
  • 对比学习(Contrastive Learning):基于用户行为数据中的共现机制构建相关笔记对,对比学习训练模型,增强笔记嵌入的语义表示。
  • 指令微调(Instruction Tuning):基于指令微调,让 LLM 更好地理解任务需求,生成高质量的标签和类别。
  • 多模态上下文学习(mICL):将多模态内容分离为视觉和文本两部分,分别压缩为两个模态压缩词,基于对比学习平衡模态间的注意力。
  • 晚期融合(Late Fusion):在 LLM 的输出阶段直接融合视觉信息,保留更多原始视觉信息,避免早期融合导致的视觉信息丢失。
  • 端到端微调:结合任意现有的 LLM 和视觉编码器,基于端到端微调,定制高效的多模态表示模型,无需预训练对齐。

NoteLLM的项目地址

  • GitHub仓库:https://github.com/Applied-Machine-Learning-Lab/NoteLLM
  • arXiv技术论文:
    • NoteLLM:https://arxiv.org/pdf/2403.01744
    • NoteLLM2:https://arxiv.org/pdf/2405.16789

NoteLLM的应用场景

  • 个性化笔记推荐:根据用户兴趣和行为,从海量笔记中精准推荐相关内容,提升用户发现体验。
  • 冷启动笔记推荐:帮助新发布的笔记快速获得曝光,基于内容相似性进行推荐。
  • 标签和类别生成:自动生成与笔记内容相关的标签和类别,提升内容的可检索性,帮助用户更快找到感兴趣的内容。
  • 多模态内容推荐:处理文本和图像信息,生成更全面的笔记表示,提升多模态推荐的准确性和相关性。
  • 内容创作辅助:为创作者提供创作灵感和建议,如关键词、标签和相关笔记推荐,辅助内容创作。
🧭 文中关联 AI 工具官网与参数卡(语宙 AI 导航)
小红书 ↗
小红书(Xiaohongshu)是中国领先的生活方式分享社区和社交电商平台。其核心功能围绕用户生成内容(UGC)
❓ 常见问题解答(FAQ)
NoteLLM 主要解决什么问题?

NoteLLM 主要面向小红书笔记推荐场景,通过压缩笔记内容、自动生成标签类别,并结合对比学习与指令微调,提升笔记表示质量和推荐准确性。

NoteLLM-2 和 NoteLLM 有什么区别?

NoteLLM-2 在 NoteLLM 基础上加入多模态输入,结合视觉编码器与 LLM,并提出多模态上下文学习(mICL)和晚期融合(late fusion),重点解决视觉信息被忽视的问题。

NoteLLM 可以用在哪些场景?

可用于个性化笔记推荐、冷启动推荐、标签和类别生成、多模态内容推荐,以及内容创作辅助,帮助提升内容可检索性和用户发现效率。

🔬 语宙深潜追问 · 进阶实操拆解
多模态推荐最难解决什么问题?

最难的是把图文、标签和行为信号对齐到同一语义空间。需要压缩嵌入、对比学习和晚期融合协同工作,同时防止热门内容把模型带偏,保持长尾召回。

平台推荐里指令微调值不值得做?

值得,但要和排序目标绑定。指令微调适合提升语义理解和标签生成,真正上线还要接入CTR、停留时长和满意度反馈,否则模型“会说”不等于“会推”。

🗳️ 读者观点微投票 · 您的实战立场是?
推荐大模型该更懂内容还是更懂用户?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
🐋 所属权威专题:DeepSeek 深度实战与部署 →
  • vLLM深度解析:开源大模型推理框架,PagedAttention技术如何提升吞吐量10倍并大幅降低硬件成本
  • SWEET-RL – Meta 推出的多轮强化学习框架
  • 上交大小红书联手打造LoopTool:自动化数据进化框架,显著提升大模型工具调用能力
  • LTM-2-mini – Magic公司推出的支持1亿token上下文AI模型
🏛️ Prompt 语宙研究院 · Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
Open NotebookLM – 开源的PDF转播客AI工具,能自定义语气
小米开源 MiDashengLM-Spatial:业内首个统一通用听觉与 3D 空间方位感知的端到端音频大模型
豆包PixelDance – 字节跳动推出的AI视频生成大模型,基于DiT结构
阿里达摩院开源机器人上下文协议RynnRCP:打通具身智能开发全流程的关键框架
SentinelOne裁员8%聚焦AI安全:年营收增长21%仍亏损,科技巨头集体押注生成式AI
TAGGED:AI智能体大模型微调小红书开源大模型
分享
Email 复制链接 打印
Share
Prompt 语宙研究院 头像
ByPrompt 语宙研究院
Follow:
Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
上一篇 Mureka V6 – 昆仑万维推出的AI音乐创作基座模型 Mureka V6 – 昆仑万维推出的AI音乐创作基座模型
下一篇 COMET – 字节开源的通信优化系统 COMET – 字节开源的通信优化系统
Ad image
Ad image

最近更新

花旗银行、摩根大通与美国银行等多家大型商业银行收紧服务条款,明确用户授权第三方 AI 智能体受损需自行担责
哪怕被黑客盗刷也不赔!花旗、摩根大通与美银等五大银行集体改写条款:使用第三方AI智能体风险由客户全权自担,生态入口博弈全面打响
AIGC 资讯
LangSmith for Coding Agents 代码智能体按 PR 结果核算成本与 ROI 官方封面图
340亿美元编码AI开销如何算清账?LangSmith上线代码智能体ROI追踪:按PR结果归因成本、五大工具全统一与线程上下文通胀治理指南
最新趋势
Axiom Math 利用 AI 多智能体集群完成 1.5 万页有限单群分类定理(CFSG)与 7500 页 Stacks 项目数学形式化验证的可视化点阵图
4300万行代码堪比Linux内核!Axiom Math用AI智能体攻克1.5万页“庞大定理”与Stacks项目形式化验证:百个里程碑与分层多智能体架构全拆解
最新趋势
印度具身智能数据初创公司 Humyn Labs 联合创始人 Ishank Gupta(左)与 Manish Agarwal(右)
半年营收破千万且90%来自美国!印度物理AI数据创企Humyn Labs获4700万美元A轮:双摄硬件、2100万债权垫资与20国采集网全拆解
AIGC 资讯

相关推荐

豆包AI视频模型 – 字节跳动推出的AI视频生成大模型:PixelDance和Seaweed
AIGC 资讯

豆包AI视频模型 – 字节跳动推出的AI视频生成大模型:PixelDance和Seaweed

Prompt 语宙研究院
AI视频生成 即梦AI 豆包 豆包大模型
腾讯开源Youtu-LLM:19.6亿参数原生智能体模型,128K长上下文+STEM优化
AI 工具AIGC 资讯

腾讯开源Youtu-LLM:19.6亿参数原生智能体模型,128K长上下文+STEM优化

Prompt 语宙研究院
AI智能体 RAG检索增强 Youtu-LLM 大模型微调 开源 腾讯
Pangea – 卡内基梅隆大学开源的多语言多模态大语言模型
AIGC 资讯

Pangea – 卡内基梅隆大学开源的多语言多模态大语言模型

Prompt 语宙研究院
AI智能体 HuggingFace Llama 开源大模型
从第一视角视频自学到全链路自我进化!智元机器人重磅发布GO-3 Preview:首创WRAM具身原生架构、斩获三项权威评测第一与年底开源规划全景深度拆解 配图 1
最新趋势

从第一视角视频自学到全链路自我进化!智元机器人重磅发布GO-3 Preview:首创WRAM具身原生架构、斩获三项权威评测第一与年底开源规划全景深度拆解

Prompt 语宙研究院
GO-3 世界模型 人形机器人 具身智能 开源大模型 智元机器人
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • 语宙 AI 工具导航
  • EVA 视觉抠图工坊Hot
  • 出海数字营销宝典
  • AI 生图咒语灵感库
  • 24H 硅谷 AI 情报流

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 YouTube
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.