基础知识 广告和自然结果通常是同一类型 当前的广告位分配方法主要可以分为两大类，固定位插入方法和动态位置插入方法。 固定位的插入方法显然是一种次优的结果，例如，对于所有人广告都是固定的插入在[3,6,9]这几个位置，这样的策略并没有考虑用户的个性化信息，容易被用户感知，从而导致快划或者跳出。 动态位

论文下载：https://arxiv.org/abs/1909.03602 创新点 作者提出了一种自然结果和插入广告的平衡，也就是用户体验和平台收益的trade-off（之前的强化学习应用于广告系统，通常只会考虑广告带来的收益最大化，并不会考虑广告给用户造成的影响） 推荐列表中是否需要插入广告、插入

ESMM模型 提出背景：一种新的CVR预估模型，用于解决真实场景中CVR预估面临的数据稀疏以及样本选择偏差这两个关键问题 数据稀疏：作为CVR训练数据的点击样本数量远小于CTR预估训练使用的曝光样本 样本选择偏差：转化是在点击之后才“有可能”发生的动作，传统CVR模型通常以点击数据为训练集，其中点击

在排序算法中，负样本的构造常常是曝光未点击，但是在召回中不可以这样，原因如下： 导致SSB（sample selection bias）样本选择偏差问题，曝光的样本本身就是比较好的样本了，排序是“优中选优”，所以可以这样负采样，但是召回是从大量的候选集中选出用户感兴趣的，需要学习那些曝光没这么高的样