深度学习(其实也包括传统的机器学习)中的优化算法丰富多彩多种多样。如果没有从逻辑上有条主线c;很容易会陷入混乱。因此我参考前人的总结特意总结了一张图九游体育官方网站将这些优化算法的逻辑关系理顺一下。
上面的图从两个方面对优化算法进行逻辑梳理以最基础的SGD为起点左半部分针对梯度方向进行优化右半部分针对学习率进行优化。
根据上面图片不难看出深度学习优化算法发展过程基本如下
根据参考文献1提出用一个框架表述所有的优化算法个人认为总结很赞因此贴出来供大家参考
各种优化算法基本都是上述框架步骤34都一致不同就体现九游体育官方网站在第12两点。
