硅谷王川
22-01-31 12:27 微博认证:独立投资人

随机梯度下降算法,和普通梯度下降算法的区别是:

前者只是用很小的一个(从大数据里面) 随机挑选的子集的数据做训练,因此计算量是恒定的,短期效果可能波动大一些,但长期效果不差。

而且随机梯度下降算法,可以避免普通梯度下降算法,掉到一个局部极值里出不来的陷阱 (俗称 "内卷") ​