召回阶段
命中率
预测准确的正样本数 / 所有预测为正样本的数量
召回率
预测准确的正样本数 / 所有正样本数
排序阶段
AUC
从物理意义来说,ROC曲线的面经,ROC曲线即横坐标是假阳率,纵坐标是真阳率的曲线
不断设置阈值,最开始阈值是1,只有高于这个阈值的样本才会预测为正,所以最开始是(0,0)
不断将将每个样本的预测概率作为阈值
直接意义来说的话,是随机选取一个正样本和一个负样本,模型预测正样本得分高于负样本的概率
GAUC
计算AUC的时候,不同用户有各自的个性化差异,GAUC即将用户分组后计算AUC然后加权平均
比较下AUC和GAUC
因为对用户进行的分组,所以高活跃用户和低活跃用户分布不均的时候用GAUC更好
存在很多新用户或者新物品,导致样本数量不足的时候,AUC计算
MRR
平均导数排名
CG
累计增益,没有考7虑推荐结果的位置因素,只简单地将推荐结果的相关性分数相加
DCG
折损累计增益,考虑了推荐结果的一个位置因素
NDGG
归一化折损累计增益,是对DCG的进一步归一化处理
比如现在需要比较两个推荐算法的性能,即使推荐结果集长度不同,也可以通过归一化DCG的方式去比较
DCG / 理想排序下的最大DCG