【用户画像CIKM】Learning to Build User-tag Profile in Recommendation System

文章目录

• ​​零、论文简介​​
• ​​一、Introduction​​
• ​​二、Related work​​
• ​​三、Model​​

• ​​3.1 建模为多分类任务（而非CTR）​​
• ​​3.2 用户侧的特征学习​​
• ​​3.3 用户点击标签偏好​​
• ​​3.4 画像指标​​

• ​​四、Experiments​​

• ​​4.1 experiment setup​​
• ​​4.2 the imporvements of attention mechanism​​
• ​​4.3 the improvements of cross feature​​
• ​​4.4 the improvements of joint loss​​
• ​​4.5 the performance of model in online recommendation​​
• ​​4.6 explainable case​​
• ​​4.7 the evaluation of hyper-parameters​​

• ​​Reference​​

零、论文简介

题目：Learning to Build User-tag Profile in Recommendation System
会议： CIKM2020
地址：https://dl.acm.org/doi/pdf/10.1145/3340531.3412719

用户画像：对现实世界中用户的描述、刻画和建模。

论文摘要：
推荐系统中用户画像，一般分为人口统计学信息（如性别、年龄、地理位置等等），和用户行为信息（如浏览和搜索的历史记录），这篇文章提出一种用户tag profiling模型——UTPM模型,主要工作如下，另外UTPM模型也部署在微信的"看一看"功能：
（1）使用深度学习方法解决给用户打标签这个多分类任务，UTPM模型使用了多头注意力机制(共享query向量,学习不同field的稀疏特征)；
（2）改进FM特征交叉模型，超越很多特征交叉模型的performance；
（3）使用一种联合学习方法，从用户对单一点击文章行为中，学习用户对不同tag的偏好程度。

一、Introduction

在推荐系统四个部分中（用户画像、物料画像、召回和排序）中，用户画像内容挺多，如人口统计学信息、用户行为信息（如用户阅读记录、用户收藏记录）等等。用户画像建模就是给用户打上他感兴趣的label，然后这些label作为特征，传给召回层和排序层模型。

虽然直接用用户的历史数据也可以作为给召回和排序的特征，但是一方面为了从众多历史行为中选出top感兴趣的特征，而且给冷启动用户补充潜在兴趣label，我们的用户画像模型也需要具有用户兴趣预估能力。

正样本：用户点击的文章
负样本：用户浏览但未单词的文章

二、Related work

• Tag recommendation system
• 注意力机制
• 特征交叉：如FM、DeepFM、NFM、AFM、DCN、XDeepFM等特征交叉模型；
• CTR点击率预估：如DIN、DIEN、DeepFM、DCN等模型，这里没建模成CTR，把user-tag profiling建模成一个多分类任务，user对tag的偏好程度通过用户特征向量和tag特征向量的innner product计算。

三、Model

input：用户历史点击过的标签，类别
output：对label进行打分

3.1 建模为多分类任务（而非CTR）

CTR处理召回层模型后的结果（千级别），而画像需要对整个标签空间（百万量级标签）进行打分，所以可以直接建模成多分类任务，加快模型训练速度。

3.2 用户侧的特征学习

（1）基于层次化attention的特征融合

注意力层：点击率


（2）类似FM层的特征交叉层：
任意i和j维特征的交叉结果如下，他们两者的特征隐向量内积结果，乘以两个特征的乘积：

交叉后的特征和之前的线性特征分别归一化到同一量级，然后concat拼接后进入下一层网络，同时这篇论文也结合AFM、NFM等基于FM的特征交叉模型，以及DCN、AUTOINT等基于迭代的交叉网络的方法进行对比。

（3）预测层：

3.3 用户点击标签偏好

3.4 画像指标

这篇论文在画像指标上，主要使用画像有点数、画像有点率来衡量画像的线上准确率和覆盖情况：

四、Experiments

4.1 experiment setup

指标：

4.2 the imporvements of attention mechanism

attention特征融合实验，和YouTube DNN模型对比，UTPM画像模型（是否共享query vector、使用的是单头还是多头注意力）。

4.3 the improvements of cross feature

4.4 the improvements of joint loss

4.5 the performance of model in online recommendation

4.6 explainable case

4.7 the evaluation of hyper-parameters

输入特征层的维度、多头注意力的“头数”、激活函数的选择等等。

Reference

[1] CS246课程：​​Mining of Massive Datasets​​​ [2] ​​用户画像的流程、方法​​ [3] ​​一文读懂推荐系统用户画像​​ [4] ​​推荐系统用户画像构建指南（看一看—UTPM模型）​​ [5] ​​推荐系统-用户和物品画像​​ [6] UTPM论文：​​https://dl.acm.org/doi/pdf/10.1145/3340531.3412719​​ [7] ​​推荐系统论文阅读（二十八)-微信：利用深度神经网络来学习用户标签​​