概述 数据集构建 训练策略

1、DIN的注意力机制和transformer的注意力机制有啥区别 注意力范围：DIN是局部注意力，只计算了候选物品和历史行为的一个相关性，但是Transformer是全局计算了 计算方式不一样：DIN的话是将两个向量拼接或者相减，然后通过全连接层，Transformer是通过计算QKV矩阵，然后点

召回阶段 命中率 预测准确的正样本数 / 所有预测为正样本的数量 召回率 预测准确的正样本数 / 所有正样本数 排序阶段 AUC 从物理意义来说，ROC曲线的面经，ROC曲线即横坐标是假阳率，纵坐标是

两个模型都是用来预测CTR点击率的 点击率是0-1的 在一定程度上都是在时间序列数据基础上进行建模 DIN 在建模中引入了attention机制，然后引入了小批量自适应正则化和Dice激活函数

1、LoRA微调的矩阵初始化怎么初始化 LoRA微调使用低秩分解，将参数矩阵的变化量，分解成两个更小的矩阵B和A 其中B初始化为0，A初始化为高斯分布 B初始化为0，是为了保证训练刚开始的时候，

SAC是一种actor-critic架构为基础的策略学习的强化学习 并不是基于策略梯度来更新策略网络，而是通过最大化奖励和熵来更新策略网络，是一种off-policy的强化学习 引入了最大熵和一个可学习的调节参数alpha来平衡探索与利用，设定一个熵阈值，如果小于阈值，增大alpha，提高探索 引入

python脚本，读取命令行参数并打开txt文件 import sys def read_file(path): try: with open(path,'r') as file: content = file.read() return content except File

是一种基于策略梯度的强化学习方法 是TRPO的一个改进的版本，都引入了对策略更新幅度（保证了策略的稳定单调提升），只不过TRPO采用的是硬约束的形式，得使用二阶优化方法（比如共轭梯度），效率低，PPO将硬约束变成了软约束 为了实现对策略更新幅度的软约束，ppo通常在目标函数里面剪切新旧策略的比率，或

1：在RLHF中，PPO、DPO、GRPO有什么区别，loss是什么样的、各自的优缺点是啥 共同点：三者都属于策略优化的方法 PPO（近端策略优化）：是一种在线强化学习的方法（但是因为限定了更新的幅度，所以可以利用部分之前的数据），构建奖励模型，依赖Critic模型