召回阶段

命中率

  • 预测准确的正样本数 / 所有预测为正样本的数量

召回率

  • 预测准确的正样本数 / 所有正样本数

排序阶段

AUC

  • 从物理意义来说,ROC曲线的面经,ROC曲线即横坐标假阳率纵坐标真阳率的曲线

  • 不断设置阈值,最开始阈值是1,只有高于这个阈值的样本才会预测为正,所以最开始是(0,0)

  • 不断将将每个样本的预测概率作为阈值

  • 直接意义来说的话,是随机选取一个正样本和一个负样本,模型预测正样本得分高于负样本的概率

GAUC

  • 计算AUC的时候,不同用户有各自的个性化差异,GAUC即将用户分组后计算AUC然后加权平均

比较下AUC和GAUC

  • 因为对用户进行的分组,所以高活跃用户和低活跃用户分布不均的时候用GAUC更好

  • 存在很多新用户或者新物品,导致样本数量不足的时候,AUC计算

MRR

  • 平均导数排名

CG

  • 累计增益,没有考7虑推荐结果的位置因素,只简单地将推荐结果的相关性分数相加

DCG

  • 折损累计增益,考虑了推荐结果的一个位置因素

NDGG

  • 归一化折损累计增益,是对DCG的进一步归一化处理

  • 比如现在需要比较两个推荐算法的性能,即使推荐结果集长度不同,也可以通过归一化DCG的方式去比较

  • DCG / 理想排序下最大DCG