文章链接：https://zhuanlan.zhihu.com/p/558087806 知乎上p神有了详细的解读，针对一些补充，做了更详细的解释： 在s_t采取了动作a_t之后，若用户下拉，则s_t转移到s_t+1，否则回合结束 模型输入是两个已经排序好的队列：一个自然结果的队列，一个广告的队列。输

论文下载：https://arxiv.org/abs/1909.03602 创新点 作者提出了一种自然结果和插入广告的平衡，也就是用户体验和平台收益的trade-off（之前的强化学习应用于广告系统，通常只会考虑广告带来的收益最大化，并不会考虑广告给用户造成的影响） 推荐列表中是否需要插入广告、插入