21-12-26 04:04

在机器学习中,有时候一些看似非常简单容易的问题中,蕴藏着可能异常困难的角度,在今年的NeurlPS 2021大会上,来自西班牙Pompeu Fabra University的Gabor Lugosi教授,给了一个关于如何预测均值的主体演讲(http://t.cn/A6xDM2Ef),向大家展示了我们想象中的某些简单问题依然有很大的困难程度。

预测均值有什么实际的应用或者意义吗?有,例如在分布式计算(Distributed Computing)中,我们常常需要把样本分割成每一个计算节点可以容纳的大小,然后在每一个计算节点上进行计算(例如做Stochastic Gradient Descent),这个时候我们往往或取所有节点计算结果的均值。这一个步骤,其实就是依赖于,对于均值的估计的某些性质,使得我们认为这样的估计结果具有一定的准确性。

这个讲座其实就是给了一些简单的一维情况下和高维情况下,均值的估计都依赖于什么样的假设,和我们目前有哪些Estimator是比较可靠的。非常建议大家进行了解(不一定需要知道证明过程,但是结论则有不小的意义)。