基于脱敏处理后的用户协同、文本、视觉等全模态历史行为数据，预测用户下一次可能交互的广告。 每个行为包含广告的 ID 类特征，以及图像、文本等多模态信息。
• 任务：构建推荐模型，用于广告场景的用户行为序列推荐任务。
• 目标：提升模型在离线评测中的准确率指标。
• 评测指标：0.31 × HitRate@10 + 0.69 × NDCG@10
1. Baseline
• 以 SASRec 模型作为基线，初始评分 0.014。
2. 损失函数改进
• 将交叉熵损失替换为 Triplet Loss，显式建模排序关系，评分提升至 0.032。
• 引入 InfoNCE 对比学习损失，利用噪声对比学习提升表示判别性和泛化能力，评分提升至 0.052。
3. 推理策略优化
• 将预测方式由“下一行为预测”改为“使用完整用户序列预测”，评分提升至 0.065。
4. 特征增强
• 引入时间特征和点击特征，增强模型捕捉用户行为语义与时间差异的能力，评分提升至 0.078。
5. 模型规模与温度系数调整
• 调整温度系数并扩展模型规模，评分提升至 0.086。
6. Embedding 初始化策略
• 将 User 和 Item 的 embedding 采用 zero-init 初始化，输入包含多模态和类别特征，这些特征更稳定、泛化更强。
• 将 ID embedding 置零以起到正则化作用，使模型优先学习强信号，后期再微调 ID embedding 作为补充，评分提升至 0.089。
7. 模型结构升级
• 采用 HSTU 模型替换 SASRec，将长序列划分为局部片段与全局表示，同时捕捉短期兴趣和长期偏好，最终评分达到 0.096，相较 Baseline 提升近 7 倍。