对于互联网产品做数据科学或者是人工智能算法提升，最难的恐怕就是对于用户指标的理解和迭代。虽然我们都知道“点击率”这样的简单指标是远远不够的，但究竟对于手中的产品，如何理解提出的指标是否真正抓住了用户的使用规律，以及用户数据是否能够真正反映我们对于产品的假设，这些都是非常重要的研究问题。

在KDD 2021上，来自Spotify的一组研究人员：Praveen Chandar、Fernando Diaz、Christine Hosey和Brian St. Thomas给了一个关于“评价指标的混合方法”的短课程（Google搜索“Mixed Method Development of Evaluation Metrics KDD 2021”）。这个短课程是把“定性”的用户研究（User Study）和“定量”的大数据研究相结合起来（这也就是叫做“混合方法”的原因）通过Spotify的四个案例生动得讲解了用户评价指标和用户行为之间的关系。通过，大数据的定量方法又能够从数据中找到新提出的评价指标的支撑证据，可以说这套短课程里讲的方法论很有实践的意义。