推荐系统[一]数据采样
在排序算法中,负样本的构造常常是曝光未点击,但是在召回中不可以这样,原因如下: 导致SSB(sample selection bias)样本选择偏差问题,曝光的样本本身就是比较好的样本了,排序是“优中选优”,所以可以这样负采样,但是召回是从大量的候选集中选出用户感兴趣的,需要学习那些曝光没这么高的样
大模型指令微调
概述 数据集构建 训练策略
注意力机制优化
推荐系统八股
1、DIN的注意力机制和transformer的注意力机制有啥区别 注意力范围:DIN是局部注意力,只计算了候选物品和历史行为的一个相关性,但是Transformer是全局计算了 计算方式不一样:DIN的话是将两个向量拼接或者相减,然后通过全连接层,Transformer是通过计算QKV矩阵,然后点
推荐系统指标
召回阶段 命中率 预测准确的正样本数 / 所有预测为正样本的数量 召回率 预测准确的正样本数 / 所有正样本数 排序阶段 AUC 从物理意义来说,ROC曲线的面经,ROC曲线即横坐标是假阳率,纵坐标是
GRU
对LSTM的一个改进,提高计算效率 将LSTM的输入门、遗忘门、输出门,变为了两个门 输入门表示需要记住当前的多少信息,遗忘门表示需要遗忘过去的多少信息,这两个会合并为一个细胞状态,输出门就表示需要输出多少合并后的记忆 GRU将原本的输入门和遗忘门变成了一个更新门,然后将细胞状态和隐藏状态合并了,重
DIN和DIEN
两个模型都是用来预测CTR点击率的 点击率是0-1的 在一定程度上都是在时间序列数据基础上进行建模 DIN 在建模中引入了attention机制,然后引入了小批量自适应正则化和Dice激活函数
大语言模型八股
1、LoRA微调的矩阵初始化怎么初始化 LoRA微调使用低秩分解,将参数矩阵的变化量,分解成两个更小的矩阵B和A 其中B初始化为0,A初始化为高斯分布 B初始化为0,是为了保证训练刚开始的时候,
python代码题
python脚本,读取命令行参数并打开txt文件 import sys def read_file(path): try: with open(path,'r') as file: content = file.read() return content except File