小红书推荐系统技术公开信息 — Research Snapshot¶
调研日期：2026-03-27 | 作者：Cindy + Claude Opus 4.6 深度论文研读见：2026-03-27_xiaohongshu-recsys-papers-deepdive.md
调研目标¶
梳理小红书在学术会议、官方技术博客、开源项目、招聘信息等公开渠道披露了多少平台推荐系统技术细节，建立技术演进时间线，识别每个阶段的核心驱动力。
一、信息来源全景¶
学术论文（2021–2026，40+ 篇，推荐/搜索相关 ~10 篇核心）¶
| 论文 | 会议/平台 | 时间 | 系统阶段 | arXiv |
|---|---|---|---|---|
| SSD (Sliding Spectrum Decomposition) | KDD 2021 | 2021 | 重排/多样性 | 2107.05204 |
| NoteLLM | WWW 2024 | 2024.03 | 召回（I2I） | 2403.01744 |
| NoteLLM-2 | KDD 2025 | 2024.05 | 召回（多模态 I2I） | 2405.16789 |
| Inverse Retrieval (doc2query) | ICIC 2024 | 2024 | 搜索召回 | Springer 付费 |
| BatchEval | ACL 2024 主会 | 2024.08 | LLM 评估 | — |
| GemiRec | — | 2025.03 部署 | 召回（多兴趣） | 2510.14626 |
| GenRank | KDD 2025 Workshop | 2025 H1 | 精排（生成式） | 2505.04180 |
| IDProxy | — | 2025.03 广告 / 2025.08 Feed | 排序（冷启动） | 2603.01590 |
| GRM + SAM (RL Search Ranking) | KDD 2026 | 2025 Q4 | 搜索排序 | 2512.00968 |
| QP-OneModel | — | 2026 Q1 | 搜索 Query 理解 | 2602.09901 |
| MLLM Alignment Metric (LIS) | RecSys 2025 Workshop | 2025 | 评估方法 | 2508.04963 |
技术会议演讲¶
| 活动 | 时间 | 核心披露 |
|---|---|---|
| CCF C3 #18 @ 小红书 | 2023.03 | 推荐系统技术创新实践 + 搜索召回前沿 |
| CNCC 2023 | 2023.10 | 大模型如何变革推荐系统（冯笛主持） |
| QCon 上海 | 2024.10 | 搜推融合演进、模糊意图、长尾 query、多模态 |
| DataFunCon | 2024.04/07 | 图数据库、搜推广策略、大数据+AI |
| QCon 北京 | 2025 | 多模态大模型 RLHF 系统：Megatron-core + Ray + vLLM |
| QCon 上海 | 2025.12 | AI Coding: PRD→代码生成 |
官方技术博客（REDtech，2022.04 成立）¶
- 平台：微信公众号「小红书技术REDtech」、知乎、CSDN (REDtech_1024)、InfoQ
- 代表性文章：种草机制/深度学习系统（2023.03）、反欺诈（2023.04）、广告投放（2023.04）、成本优化
- 覆盖面：AI 算法、大数据、基础设施、客户端、音视频、安全
视频/播客¶
- 王树森推荐系统公开课（B 站 8 小时）：以小红书为核心案例，覆盖召回/排序/重排/冷启动全链路
- GitHub: wangshusen/RecommenderSystem
- ⚠️ 反映的是 ~2022 年前的技术栈（深度学习时代，LLM 之前）
- REDtech 技术直播系列：微信视频号/B站/抖音
- 2024 大模型论文分享会：6 篇顶会论文作者分享
开源项目¶
| 项目 | 说明 | 推荐系统相关度 |
|---|---|---|
| dots.llm1 | 142B MoE 大模型，开放全阶段 checkpoint | 间接（基座能力） |
| REDPlayer | 跨平台播放器 | 无 |
| NoteLLM 代码 | 推荐召回论文配套 | ★★★ 直接相关 |
| Karmada（联合） | K8s 多集群管理 | 无 |
技术栈（招聘/分享提取）¶
| 层面 | 技术 |
|---|---|
| 语言 | Python, C++, Go |
| DL | PyTorch, Megatron-core, DeepSpeed, HuggingFace |
| 推理 | vLLM |
| 调度 | Ray, K8s, OpenKruise, Koordinator |
| 数据 | Flink（实时）, StarRocks, Apache Paimon |
| 云 | 自建为主 + 阿里云（2024 从 AWS 迁移 500PB） |
| 内部 | Ark 图计算, 类 TAO 一跳查询, tomato-7B, 自研 RLHF |
规模指标¶
- MAU 3.5亿+，日搜索 3亿+
- 日志千亿级/天，数据湖 500PB+
- 混部集群数万节点，利用率 40-45%
二、技术演进时间线¶
Phase 0：规则 + 简单模型（2013–2018）¶
| 时间 | 变化 | 驱动力 |
|---|---|---|
| 2013 | 跨境购物社区，无推荐 | 用户量小，编辑精选 |
| ~2016 | Spark + GBDT 排序 | 用户增长，人工运营不 scale |
| ~2018 | Flink 实时管道 | 批处理延迟无法捕捉实时行为 |
转折：从电商导购转型内容社区，推荐从附属功能变成核心基础设施。
Phase 1：深度学习全面上线（2019–2021）¶
排序 - GBDT → Deep & Wide → 多目标 DNN + MMoE - 驱动力：GBDT 无法学特征交叉；单目标只优化 CTR 导致低质内容；需同时优化点击/互动/完播 - ODL 实时训练（百亿参数稀疏 embedding 分钟级更新） - 驱动力：热门内容爆发速度快，分钟级时效性需求
召回 - 单路 → 多路（ItemCF, Swing, UserCF, 双塔 DSSM, 向量召回） - 驱动力：单一召回覆盖率不足，长尾曝光差，新用户/新内容冷启动弱
粗排 - 引入三塔粗排模型 - 驱动力：精排算力有限，需从几千候选中快速筛选
重排 - SSD 滑动频谱分解（KDD 2021） - 驱动力：连续同类内容导致用户疲劳，简单规则打散粗糙
核心矛盾：用户破亿，内容从图文扩展到视频，传统 ML 表达能力不够，多目标优化成刚需。
Phase 2：精细化 + 搜推融合（2022–2023）¶
冷启动 - 三阶段：boost → 保量 → 差异化放量 - 双塔 + SSL 改善长尾 - 驱动力：UGC 爆发，每天大量新笔记需要快速分发
搜推一体化 - 统一工程架构：Ark 图计算 + Iceberg 数据湖（5 分钟延迟） - 驱动力：搜索/推荐独立系统导致特征/模型重复建设
组织 - REDtech 品牌成立（2022.04），对外技术输出开始
核心矛盾：DAU 1 亿+，搜索 3 亿次/天，搜索和推荐不再独立，工程效率和冷启动成瓶颈。
Phase 3：LLM 全面改造（2024–2026） ★¶
这是信息密度最高的阶段，每个环节都在从判别式迁移到生成式/LLM 架构。
召回 | 时间 | 论文 | 变化 | 核心结果 | 驱动力 | |------|------|------|----------|--------| | 2024 Q1 | NoteLLM | BERT → LLaMA 7B embedding | CTR +16.2%, 冷启动评论 +3.58% | BERT 语义理解弱，无法利用结构化信号 | | 2024 Q3 | NoteLLM-2 | 纯文本 → 多模态 LLM | 首千曝点击 +6.35%, 24h 互动 +8.08% | 图文平台纯文本丢视觉信息；naive 方法有文本偏置 | | 2025 Q1 | GemiRec | 单兴趣双塔 → 多兴趣 + RQ-VAE | Recall@120 +28.78%, 视频点击 +0.38% | 单向量无法表达多样兴趣，多兴趣模型兴趣坍缩 |
排序 | 时间 | 论文 | 变化 | 核心结果 | 驱动力 | |------|------|------|----------|--------| | 2025 H1 | GenRank | 判别式 MLP → 生成式 Transformer | 时长 +0.33%, 互动 +1.25%, P99 延迟 -25% | MLP 范式到顶；证明是架构而非训练范式带来提升 | | 2025 Q1-Q3 | IDProxy | 冷启动 random → MLLM proxy embedding | 广告曝光 +1.28%, Feed 互动 +0.5% | 新笔记 ID embedding 无交互数据 |
搜索 | 时间 | 论文 | 变化 | 核心结果 | 驱动力 | |------|------|------|----------|--------| | 2024 | Inverse Retrieval | 加入 doc2query 反向检索通道 | A/B 显著提升 | UGC 语言非标准化，词汇不匹配 | | 2025 Q4 | GRM + SAM | 标量分数 → 生成式 CoT 推理 + RL | CES +0.72% | 黑盒相关性无法处理复杂语义 | | 2026 Q1 | QP-OneModel | 多个独立模型 → 统一生成式 LLM | NER +9.01%, 留存 +0.044% | 误差传播 + 知识无法共享 |
组织 - 2024.12：成立应用算法部，合并社区/电商/商业化算法
技术模式 - RL 标准：GRPO（非 PPO） - 部署模式：大模型训练（7B–32B）→ 蒸馏到小模型上线（<1B） - 基座：RedOne / RedOne2.0（Qwen2.5 domain-adapted）
三、可直接深度阅读的材料¶
| 材料 | 可读性 | 优先级 |
|---|---|---|
| arXiv 论文 ×8（SSD, NoteLLM, NoteLLM-2, GemiRec, GenRank, IDProxy, GRM+SAM, QP-OneModel） | ✅ 可直接读 HTML | ★★★ |
| 王树森 GitHub repo | ✅ 可读 markdown/slides | ★★★ |
| CSDN/知乎 REDtech 博客 | ✅ 大概率可读 | ★★ |
| InfoQ 文章 | ✅ 大概率可读 | ★★ |
| Springer ICIC 论文 | ❌ 付费 | — |
| 微信公众号 | ❌ 需微信环境 | — |
| B 站视频 | ❌ 无法看视频 | — |
四、全局演进主线¶
2016-2018 规则/GBDT
↓ 用户增长 → 需要个性化
2019-2021 Deep Learning: D&W → MMoE, 多路召回, ODL, SSD 多样性
↓ DAU 破亿 → 冷启动/长尾/搜推融合成瓶颈
2022-2023 精细化: 冷启动全链路, 搜推统一工程, Ark
↓ LLM 能力突破 → 每个环节都有更强的表达方式
2024-2026 LLM 全面改造:
召回: BERT → LLM → 多模态 LLM → 多兴趣
排序: MLP → 生成式 Transformer
冷启动: Random → MLLM proxy
搜索: 独立判别模型 → 统一生成式 LLM
RL: GRPO 成为标准 | 部署: 大模型训练 → 蒸馏上线
两个贯穿始终的核心驱动力¶
- 内容形态决定技术路线：图文 → 图文+视频 → 短视频，每次变化倒逼多模态升级
- UGC 平台的冷启动宿命：新笔记持续涌入，冷启动不是一次性问题而是永久约束
五、待补充的 Gap（尚未公开或尚未读到的技术细节）¶
| Gap 领域 | 已知线索 | 可能信源 | 状态 |
|---|---|---|---|
| 精排多目标融合策略 | GenRank 提到多任务但未展开（多少 head、权重设置） | REDtech 博客、知乎 | 🔍 待搜索 |
| 实时特征工程 / Feature Store | GenRank 提到「实时窗口特征仍有价值」 | REDtech 博客、招聘 JD | 🔍 待搜索 |
| 粗排是否升级到生成式 | 王树森课提到三塔粗排，但 2024 后无公开信息 | 会议分享、博客 | 🔍 待搜索 |
| 重排策略（2024 后） | SSD (2021) 之后无公开更新 | 博客、DataFun 分享 | 🔍 待搜索 |
| 广告排序完整架构 | IDProxy 部署在广告，但广告排序模型细节未公开 | 博客、专利 | 🔍 待搜索 |
| 在线学习 / ODL 框架 | 提到百亿参数分钟级更新，但框架细节未知 | 博客、知乎 | 🔍 待搜索 |
| 用户建模 / 长期画像 | GemiRec 做了多兴趣，但长期画像和生命周期管理未知 | 博客 | 🔍 待搜索 |
| 探索 / 利用策略 | 冷启动有流量调控，但具体 exploration 策略未知 | 博客 | 🔍 待搜索 |
六、已完成的工作¶
- ✅ 按时间线顺序深度阅读 8 篇 arXiv 论文（含 SSD 通过 Jina Reader 补全）
- ✅ 详见 2026-03-27_xiaohongshu-recsys-papers-deepdive.md
⚠️ 方法论说明¶
本次调研未调用 /research-fast skill，因此输出格式缺少信源可信度分级（A/B/C/D）、证据记录、交叉验证、推理链、置信度标注等标准 section。后续补充 Gap 时将使用 skill 标准格式。