冷启动问题是推荐系统中一个常见的挑战，因为对于系统中的新用户来说，他们可观测到的交互是非常有限的。

而为了应对这一挑战，最近的许多工作开始将元学习的思想引入到推荐场景中，他们旨在通过对不同用户的偏好进行学习来获得泛化性强的先验知识，以便模型可以通过少量的训练数据快速适应系统中的新用户。

然而，推荐系统很容易被偏见和不公平左右，尽管元学习在冷启动推荐性能方面取得了成功，但公平性问题却在很大程度上被忽视了。

在本文中，我们提出了一个名为 CLOVER 的综合性公平元学习框架，以确保冷启动推荐模型的公平性。

我们系统地研究了推荐系统中的三种公平性——个体公平、反事实公平和群体公平，并提出通过多任务对抗学习的方法来提高这三种公平性。

在不同真实数据集上的实验评估表明，本文所提出的CLOVER方案明显优于其他相关方法，在不降低冷启动推荐性能的情况下成功提高了模型的综合公平性。

本期AI TIME PhD直播间，我们邀请到伊利诺伊大学香槟分校 (UIUC)博士生——魏天心，为我们带来报告分享《综合的公平冷启动推荐系统》。

魏天心：美国伊利诺伊大学香槟分校 (UIUC)一年级博士生。主要研究方向为可信机器学习、图数据挖掘及其在真实场景中的应用，在KDD, SIGIR, ICDM等机器学习与数据挖掘领域顶会上发表过多篇论文。个人主页：https://weitianxin.github.io/

---

1

Background

Age of Information Explosion

当前是一个信息爆炸的时代，很容易出现信息过载的问题。目前Youtube上已存在超过8亿个视频，人工选择十分困难。所以，人们开始研究推荐系统来研究用户的偏好，如亚马逊、Facebook等等。

Cold-start Recommendation

本文关注的是一个冷启动的推荐问题，常见的一个挑战是新用户加入到系统之中却拥有较少可利用的交互。

之前有人将元学习方法引入到场景之中来改善冷启动的性能，以期望获取一些general knowledge，模型也可以快速迭代到未来的新用户上。

尽管这些方法效果很好，但是他们的fairness issues问题也被忽略了，这也是我们要研究的问题。

Comprehensive Fairness

现在的推荐系统中由很多关于公平的定义，如个体的公平、群体的公平和反事实的公平。之前对工作往往考虑其中的一个方面，如何理解它们之间的关系并全面提升这些fairness还是一个研究较少的领域。

2

Problem Definition

冷启动问题大致表示如下：

（1）我们给定一些系统中的新用户，有他们的profile xu

（2）我们还获得了其比价有限的、已经交互过的物品Iu和对应的描述pi

（3）以上加在一起得到了我们的训练数据：

我们的目标就是对每个用户得到一个个性化的推荐系统，并根据其估测用户对潜在物品的感兴趣程度。

Existing Work

当前工作存在问题：

（1）目前只关注公平性其中的一个方面，欠缺对公平性更全面的理解性应用。

（2）冷启动问题中的公平性问题相关研究较少。

我们的方法：

（1）增强模型的综合公平性，当成一个多任务的对抗学习问题。

（2）我们提出了名为CLOVER的框架来提高在元学习框架下的公平性。

3

Proposed Model

Preliminary: Cold-start Recommender

关于具体的方法，我们先介绍一下基于的baseline。首先是冷启动的推荐系统，其包含两个部分：

（1）Inner loop内循环

我们会对每个用户初始化一个模型并根据用户的数据迭代更新模型，将其用于本身的预测。

（2）Outer loop外循环

Preliminary: Comprehensive Fairness

关于公平的综合性，我们学习到的表示应该符合以下特性：不应该暴露用户的敏感信息；不能歧视特定的某个个体或某类群体。

所以我们将推荐系统的公平性整理如下：

（1）个体的公平性：尽可能地不让隐私的窃取者窃取到用户的隐私。

（2）群体的公平性：我们希望不同群体的推荐性能相似

（3）反事实的公平性：我们希望模型在用户敏感信息变更时也不会发生推荐系统的改变或者带有歧视

Comprehensive Unfairness Mitigation

我们将公平的综合性问题当作一个对抗学习问题。其中有一个判别器尽可能地根据某些输入来预测敏感信息。

我们的推荐系统会一边抽取用户的潜在喜好，一边在中间过程中生成公平的结果来满足特定的公平性约束。其目标可表示如下公式：

Individual Fairness

对于个体的公平，要求在推荐系统建模的过程中保护用户的隐私，使其不受到攻击者对于敏感信息的攻击。我们把用户学到的表示当作输入，使模型尽可能生成和敏感信息无关的表示。损失函数可以表示如下：

我们还发现，结合不同层次的信息可以很好的帮助提升功能性。

Counterfactual Fairness

对于反事实的公平性，我们发现用户的敏感信息只能通过用户的embedding影响最终的推荐结果。所以只要我们能产生用户公平的表示，即他们的互信息为0，那我们也就能满足反事实公平的约束。可见个体公平和反事实公平是可以通过同一个loss来实现的。

Group Fairness

群体的公平要求我们的推荐系统模型在不同的群体之间是一样的，这个在不同群体之间给定用户真实的喜好使其预测喜好一样。我们输入用户真实的评分和我们预测的评分并结合information来生成公平的结果。

综合前面这两部分并综合一些超参数就可以得到我们综合的来解决不同fairness方法的loss。

Unfairness Mitigation In Cold-start Model

对于冷启动而言，情况有些特殊。我们从下图可以看到，(a)对应的正常情况我们可以直接加一些fairness的约束或是对抗学习的方法来提升公平性。

又因为冷启动包含两部分——内循环和外循环，我们需要在这两部分都增强公平性，但是我们又该怎么去做呢？

为了更好的解决这个问题，我们首先是把推荐系统对抗训练这一部分分解成了3个不同的task——Tr，T1和T2。

其中Tr是对优化训练推荐系统本身loss的过程。T1是优化判别器使其更好攻击窃取敏感信息的过程。T2是更新推荐系统使其生成更公平结果的过程。

我们的主要发现是如果直接在内循环和外循环中perform task会得到不太好的结果，这也说明我们需要在内循环和外循环中采取不同的方式。

我们需要学到一个公平的推荐系统初始化，如下公式所示，3个task同时进行：

在内循环过程中，我们去optimize推荐系统和判别器的loss。这一部分有3个主要的好处：

1）其有助于模型的稳定型

2）去掉内循环中的更新可以让训练更加有效

3）去掉task T2，我们只需要在实际部署的时候更新Tr即，推荐系统的loss。

我们也就不需要在实际应用中需要用户的敏感信息。

以上就是我们本次研究的方法部分，下面是实验结果。

4

Analysis and Results

Experiments

1）数据集：

• ML-1M

• BookCrossing

• ML-100K

2）Evaluation:

• 用户分成70%/10%/20%，来划分训练、验证和测试集

• 测试用户在训练时是不可见的

3）Baselines:

• Traditional collaborative filtering

• Traditional cold-start

• Meta-learning Algorithm

• With Fairness Consideration

4）Metrics:

• MAE

• NDCG@3

• AUC (Individual Fairness)

• CF (Counterfactual Fairness)

• GF (Group Fairness)

以下是我们总共的实验结果图：

从上图我们可以看出，meta-learning相对于传统的推荐系统是有更好的推荐效果的，但是其fairness性能是不如传统方法的，也就更凸显了我们提高fairness的必要性。

我们提出的方法CLOVER在各个Metric上都是比Baseline要好的，除了个别推荐系统效果。然而这已经是很好的结果了。

Case Study

我们还进行了Ablation study和generalization ability的实验，并对超参进行了研究。我们发现模型是能够按照我们所预想的进行实验的。

Conclusion

1）我们研究了冷启动推荐系统中的fairness问题

2）我们提出了comprehensive fairness这一概念，并整理成了对抗学习问题。

3）我们提出的框架CLOVER，也能够保证在实际应用中的fair representation

learning

4）在三个数据集上的结果也验证了方法的有效性，而且没有损耗推荐系统的性能。

提

醒

论文题目：

Comprehensive Fair Meta-learned Recommender System

论文链接：

https://arxiv.org/abs/2206.04789