推荐系统大架构综述
输入“/”快速插入内容
推荐系统大架构综述
推荐系统大架构综述
用户3088用户30882022年10月12日创建
4788
7647
16
6
Draft v3.0.0
UML 图
背景需求
互联网的一个主要应用就是信息匹配，只有与人发生关系的信息才具有价值，因此人和信息的匹配是互联网应用的核心问题。信息匹配的方式有多种: 门户/订阅/搜索/推荐。 早期互联网应用以门户展示信息为主，类似专柜陈列的商品，由网站维护人员更新信息，所有人看到的信息都一样。 代表就是搜狐/网易/新浪， 互联网的技术发展主要推动因素就是计算广告的技术发展，为了提供更多的广告位，让网站能够展示更多的信息，因此由了订阅模式主流是SRR/社区等属性，基于社交关注关系，订阅感兴趣的内容主要代表由新浪微博，天涯社区等等，但有很多信息并能通过社交关系获得因此衍生出了搜索需求，用户通过一些query来查询到自己想要的信息，这还是信息找人的时代，主要代表就是谷歌/百度/搜狗。 再后来，随着互联网上的信息越来越多，人们陷入了选择困难，人们在阅读信息之前，可能对信息一无所知，只有看到时才知道是否喜欢，人们越来越懒，这就催生出了推荐系统: 基于用户广泛的历史行为，预测用户可能感兴趣的信息主动推送，从而达到用户与信息的匹配，由于用户在推荐之前并不知道内容是什么，这扩大了信息的候选范围，进一步提高了潜在的广告位数量，这成为互联网应用的核心竞争力，这是技术与业务的完美结合。
约束条件
1.
业务目标: 互联网技术本质上是为了用户需求服务的，推荐系统的目标就是增加留存，使用时长等
2.
低延迟: 推荐系统作为核心的在线系统，必须要尽可能的降低延迟，因为每降低20ms就可以上线一个策略，来优化业务目标，同时刷首页信息流的延迟感会直接影响用户体验。
3.
稳定性: 推荐系统是跟业务目标直接相关的，如果出现问题会直接降低用户留存，使用时长等指标直接影响公司收入， 因为通常广告业务需要依赖留存与使用时长进行变现。
4.
迭代效率&质量: 必须做的足够快，推荐系统的迭代速度直接影响公司的竞争能力，同时要对复杂系统保持高迭代效率，势必会导致问题频发，如何保证服务质量将是长久的拉锯战。
5.
成本: 推荐系统需要大量的存储/计算/网络成本，如何优化庞大的机器资源成本，这将直接创造收入
技术方案
如果你要给一个朋友推荐一本书你需要怎么做?
第一步: 你要自己读过很多书，这样朋友问你的时候你才能及时的推荐给朋友。
第二步: 你应该尽可能的了解这个朋友(你对他的印象/他现在的状态/他想看什么书)。
第三步: 基于你对这个朋友的了解以及对你读过的书的了解，潜意识快速筛选出来几十本可以推荐的书
第四步: 然后快速的对这几十本书进行猜测，你这位朋友喜欢这几本书的概率有多大?然后按概率排个序
第五步: 取top结果推荐，基于朋友的反馈，你修正了对朋友兴趣的理解，你的猜测将变得更加准确。
第六步: 如果你觉得朋友适合看你刚写的书，那么你会在推荐中夹带私货，强烈安利自己的书(广告)。
第七步: 再次推荐书籍时可能会重复推荐，当你发现脑子想到了之前推荐过的书时，你要把他忽略。
这个信息匹配的本质就是推荐的基本原理。将人的兴趣量化，再将要推荐的物品特征进行量化，将两个量化值进行计算得到一个分值，然后对所有的计算结果取topK，返回topK的结果。这一过程就是推荐的基本原理。为了实现这一基本步骤，我们发明了多种推荐算法，关于推荐算法的介绍可以参考: 推荐系统公开课，接下来的内容将假设你已经对基本的推荐算法有所了解。
根据对推荐算法的分类以及基本原理的理解，我们可以对推荐系统按数据流的构建过程划分为多个模块
候选构建/特征工程/召回系统/排序系统/模型训练/混排系统/消重系统
基本概念
1.
item， 代表信息的容器，可以是一个视频/文章/商品/广告等等。
2.
消费， 用户浏览item所承载的信息，然后发生一系列行为，播放/点赞/收藏/关注/转发/购买/等等
3.
分发，决定将哪些item与用户匹配，展示给用户进行消费的过程就是分发过程。
4.
打包, 推荐系统决定分发哪些item给到用户，但是推荐系统不关注item承载哪些信息，他只关注item具有的特征，因此打包就是将用户能够浏览的信息拼接封装到item的这个容器中展示给用户的过程。
5.
user，消费或者生产item的用户。
6.
候选， 准备推荐给用户消费的item数据集合。
7.
预估: 深度学习模型的前向传播。
8.
召回: 信息检索的一个过程，通过一个key获得一堆相关的id。
9.
排序: 对召回的id，按照某种分值进行排序。
10.
数据流: 数据整个生命周期的处理过程。
11.
特征: 物理上客观事物所蕴含信息的数学表达。
12.
样本: 用于机器学习模型训练的数据特征。
候选构建