NoteLLM – 多模态笔记推荐的创新引擎

NoteLLM 是什么

NoteLLM 是小红书推出的针对笔记推荐的多模态大型语言模型框架。其目的是解决传统推荐系统中对视觉信息关注不足的问题，通过结合文本和图像信息，实现更精准、更全面的笔记推荐服务。

核心功能

• 自动生成标签类别 ：能够为笔记自动生成标签和类别，增强笔记嵌入的质量，提高内容的可检索性，如可将一篇巴黎旅行攻略笔记，除提取基础标签外，还能依据图像细节添加特色标签。
• 提升用户体验 ：基于更精准的推荐，为用户提供更符合其兴趣和需求的笔记内容，提高用户在平台上的参与度和满意度。
• 多模态笔记推荐 ：结合文本和图像信息，生成更全面的笔记表示，突破传统文本推荐的局限，提升多模态推荐的准确性和相关性。
• 解决视觉信息忽视问题 ：通过多模态上下文学习和晚期融合机制，增强视觉信息的表示能力，让视觉信息在推荐中发挥更大价值。

技术原理

• Note Compression Prompt ：设计特定的提示模板，将笔记内容压缩为一个特殊标记，同时生成标签和类别，以便更好地理解和处理笔记内容。
• 对比学习 ：基于用户行为数据中的共现机制构建相关笔记对，对比学习训练模型，增强笔记嵌入的语义表示，使模型能更精准地区分内容关联度。
• 指令微调 ：基于指令微调，让 LLM 更好地理解任务需求，生成高质量的标签和类别，以满足笔记推荐等具体任务的要求。
• 多模态上下文学习（mICL） ：将多模态内容分离为视觉和文本两部分，分别压缩为两个模态压缩词，基于对比学习平衡模态间的注意力，增强多模态表示能力。
• 晚期融合 ：在 LLM 的输出阶段直接融合视觉信息，保留更多原始视觉信息，避免早期融合导致的视觉信息丢失，从而提升推荐效果。
• 端到端微调 ：结合任意现有的 LLM 和视觉编码器，基于端到端微调，定制高效的多模态表示模型，无需预训练对齐，提高了模型的灵活性和效率。

支持平台

NoteLLM 主要应用于小红书平台，为小红书的笔记推荐系统提供技术支持，提升平台的个性化推荐水平和用户体验。

团队介绍

NoteLLM 由小红书推出，小红书作为一个拥有超 3 亿月活跃用户的生活方式平台，具备强大的技术研发实力和丰富的数据资源，能够为 NoteLLM 的研发和优化提供有力支持。

项目资源

• GitHub 仓库 ：https://github.com/Applied-Machine-Learning-Lab/NoteLLM
• arXiv 技术论文 ：https://arxiv.org/abs/2403.01744（NoteLLM）、https://arxiv.org/abs/2405.16789（NoteLLM2）

业务场景

• 个性化笔记推荐 ：根据用户的浏览历史、兴趣爱好等，为用户精准推荐他们可能感兴趣的笔记，提高用户发现优质内容的效率。
• 冷启动笔记推荐 ：对于新发布的笔记，能够通过内容相似性实现迅速曝光，解决冷启动问题，帮助新内容获得更多展示机会。
• 标签和类别生成 ：自动为笔记生成准确的标签和类别，便于用户更快地找到相关内容，同时也提高了平台内容的组织和管理效率。