随机梯度下降算法,和普通梯度下降算法的区别是:
前者只是用很小的一个(从大数据里面) 随机挑选的子集的数据做训练,因此计算量是恒定的,短期效果可能波动大一些,但长期效果不差。
而且随机梯度下降算法,可以避免普通梯度下降算法,掉到一个局部极值里出不来的陷阱 (俗称 "内卷")
随机梯度下降算法,和普通梯度下降算法的区别是:
前者只是用很小的一个(从大数据里面) 随机挑选的子集的数据做训练,因此计算量是恒定的,短期效果可能波动大一些,但长期效果不差。
而且随机梯度下降算法,可以避免普通梯度下降算法,掉到一个局部极值里出不来的陷阱 (俗称 "内卷")