洪亮劼
19-01-23 13:04

Netflix的科学家Harald Steck在RecSys 2018上发表了一篇很有意思的论文“Calibrated Recommendations”(http://t.cn/E5HTjnG),讨论了一个推荐系统里的一个有意思的问题,那就是利用“准确率”(包括以排序准确率为主)为指标的推荐系统会“惊人得”推荐太过于相似的物品,超过原本应该有的比例。

文章举了一个简单的例子。对于二分的分类问题的时候,如果大类的数据点占全部数据的70%,小类占30%。如果没有任何其他信息,那么“准确率”最大化的分类方法就是默认所有数据点是大类,则准确率是70%。然而,预测所有数据是大类,也就是100%的数据是大类,并没有符合,或者说是距离原本的数据分布(70%比30%)相去甚远,因此造成了结果的失真。作者提出,需要进行一步"校准“(Calibration),来让最后的结果更加符合数据真实的分布。

这一方面的话题和最近一两年关于机器学习的”偏差性“(Bias)和”公平性“(Fairness)有着天然的联系。推荐大家阅读。