看到有不少人挺推崇：An overview of gradient descent optimization algorithms；特此放到最上面，大家有机会可以阅读一下；
本文内容主要来源于Coursera吴恩达《优化深度神经网络》课程，另外一些不同优化算法之间的比较也会出现在其中，具体来源不再单独说明，会在文末给出全部的参考文献；
本主要主要介绍的优化算法有：
Mini-batch梯度下降（Mini-batch gradient descent）
指数加权平均（Exponentially weighted averages）
Momentum梯度下降法
RMSprop算法
Adam算法
其实就是对梯度下降的优化算法，每一种优化算法会介绍其：基本原理、TensorFlow中的使用、不同优化算法的优缺点总结；在最后会介绍调整学习率衰减的方式以及局部最优问题；
目录
1. Mini-batch gradient descent
1.1 算法原理
1.2 进一步理解Mini-batch gradient descent
1.2.1 Cost function
1.2.2 如何选择batch size
1.3 TensorFlow中的梯度下降
1.3.1 构建optimizer
1.3.2 tf.train.GradientDescentOptimizer()
1.3.3 TensorFlow中的使用
2. Exponentially weighted averages
2.1 伦敦天气温度
2.2 进一步理解Exponentially weighted averages
2.2.1 理解指数加权平均一般形式
2.2.2 实际计算指数加权平均
2.3 偏差修正（bias correction）
3. Gradient descent with momentum（Momentum梯度下降法）
3.1 梯度下降
3.2 伪代码表示
3.3 TensorFlow中的Gradient descent with momentum
3.3.1 构建optimizer
3.3.2 tf.train.MomentumOptimizer()
4. RMSprop
4.1 伪代码表示
4.2 TensorFlow中的RMSprop
4.2.1 构建optimizer
4.2.2 tf.train.RMSPropOptimizer()
5. Adam optimization algorithm
5.1 Adam算法流程-伪代码
5.2 TensorFlow中Adam optimization algorithm
5.2.1 构建optimizer
5.2.2 tf.train.AdamOptimizer
6. 不同优化算法的优缺点总结
6.1 Batch Gradient Descent
6.2 Stochastic Gradient Descent
6.3 Mini Batch Gradient Descent
6.4 Gradient Descent with Momentum
6.5 RMSprop
6.6 AdaGrad
7. Learning rate decay
7.1 学习率减小的几种方式
7.2 TensorFlow中的学习率设置
8. The problem of local optima
Reference
1. Mini-batch gradient descent
如果样本数量不是过于庞大，一般使用batch的方式进行计算，即将整个样本集投入到深度神经网络进行梯度下降；而一般实际应用中，样本集的数量将会很大，如达到百万数量级，这种情况下如果继续使用batch的方式，训练的速度往往会很慢；
因此，假如每次只对整个样本集中的部分样本执行梯度下降，这就有了Mini-batch gradient descent。
1.1 算法原理
整个样本集\(X=[x^1, x^2, \cdots, x^m] \in R^{n \times m}\)；\(Y=[y^1, y^2, \cdots, y^m] \in R^{1 \times m}\)；
假设：
\(m=5000000\)；每一个mini-batch含有1000个样本，即\(X^{\{t\}} \in R^{n \times 1000},Y^{\{t\}} \in R^{1 \times 1000}, t=1, 2, \cdots, 5000\)；
\(x^i\)表示第\(i\)个样本；\(Z^{[l]}\)表示网络第\(l\)层网络的线性输出；\(X^{\{t\}}, Y^{\{t\}}\)表示第\(t\)组mini-batch；
即在每一个mini-batch上执行梯度下降，伪代码如下：
# 一个epoch
for t = 1, ..., T{
Forward Propagation
Compute Cost Function
Backward Propagation
}
其中，每一步详解：
（1）Forward Propagation
第一层网络非线性输出：
\[Z^{[1]} = W^{[1]}X^{\{t\}} + b^{[1]}
\]
\[A^{[1]} = g^{(1)}(Z^{[1]})
\]
第\(l\)层网络非线性输出：
\[A^{[l]} = g^{[l]}(Z^{[l]})
\]
（2）Compute Cost Function
计算代价函数：
\[J = \dfrac{1}{1000} \sum_{i=1}^{l}Loss(\hat{y}^i, y^i) + \dfrac{\lambda}{2 \times 1000} \sum_{l}||W^l||_F^2
\]
（3）Backward Propagation
更新权重和偏置：
\[W^{[l]} : = W^{[l]} - \alpha dW^{[l]}
\]
\[b^{[l]} : = b^{[l]} - \alpha db^{[l]}
\]
经过T次for循环后，表示已经在整个样本集上训练了一次，即一个epoch；可以执行多个epoch；
1.2 进一步理解Mini-batch gradient descent
对与Batch Gradient Descent来说，一个epoch只进行了一次梯度下降；而对于Mini-batch Gradient Decent来说，一个epoch进行T次梯度下降；
1.2.1 Cost function
（1）左图表示一般神经网络中，使用Batch Gradient Descent，随着在整个样本集上迭代次数的增加，cost在不断的减小；
（2）右图表示使用Mini-batch Gradient Descent，随着在不同的mini-batch上进行训练，cost整体趋势处于下降，但由于受到噪声的影响，会出现震荡；
（3）Mini-batch Gradient Descent中cost出现震荡的原因时：不同的mini-batch之间是存在差异的，可能其中某些mini-batch是好的子集，而某些子集中存在噪声，因此cost会出现震荡的情况；
1.2.2 如何选择batch size
总共有三种选择方式：（1）batch_size=m；（2）batch_size=1；（3）batch_size介于1和m之间；
（1）Batch Gradient Descent（batch_size = m）
当batch_size=m，就成了Batch Gradient Descent，只有包含一个子集，就是整个数据集；即\((X^{\{1\}}, Y^{\{1\}})=(X,Y)\)；
（2）Stochastic Gradient Descent（batch_size=1）
当batch_size=m，就成了Stochastic Gradient Descent，共包含m个子集，每个样本作为一个子集，即\((X^{\{1\}}, Y^{\{1\}})=(x^i,y^i)\)；
（3）Mini-batch gradient descent（batch_size介于1和m之间）
上图表示三者之间梯度下降曲线：
a. 蓝色表示Batch Gradient Descent，会比较平稳的接近全局最小值；由于使用了全部数据集，每次前进的速度会比较慢；
b. 紫色表示Stochastic Gradient Descent，每次前进速度很快；但由于每次只使用了一个样本，会出现较大的震荡；而且，不会收敛到最小值，最终会在最小值附近来回波动
c. 绿色表示Mini-batch gradient descent，每次前进速度较快，且震荡较小，基本能够接近最小值；如果出现在最小值附近波动，可以减小学习率；
| 算法 | Stochastic Gradient Descent | Mini-batch gradient descent | Batch Gradient Descent |
|---|---|---|---|
| 优点 | 适用于单个样本； | （1）能够快速学习；（2）向量化加速；（3）未在整个训练集上训练完，就可以执行后续工作； | |
| 缺点 | （1）丢失了向量化带来的加速；（2）效率低； | 单次迭代时间太长； |
如何为Mini-batch gradient descent选择batch size？
64-512，2的n次方，提高运算速度；
\(X^{\{t\}}, Y^{\{t\}}\)符合GPU、CPU内存；
1.3 TensorFlow中的梯度下降
1.3.1 构建optimizer
optimizer = tf.train.GradientDescentOptimizer(leraning_rate)
train = optimizer.minimize(loss)
1.3.2 tf.train.GradientDescentOptimizer()
tf.train.GradientDescentOptimizer.__init__(self,
learning_rate,
use_locking=False,
name="GradientDescent"):
Args:
learning_rate: A Tensor or a floating point value. The learning rate to use. # 学习率
use_locking: If True use locks for update operations. #
name: Optional name prefix for the operations created when applying gradients. Defaults to "GradientDescent".
1.3.3 TensorFlow中的使用
#coding=utf-8
import tensorflow as tf
# Model parameters
W = tf.Variable([.3], dtype=tf.float32)
b = tf.Variable([-.3], dtype=tf.float32)
# Model input and output
x = tf.placeholder(tf.float32)
y_pred = W * x + b
y = tf.placeholder(tf.float32)
# loss
loss = tf.reduce_sum(tf.square(y_pred - y)) # sum of the squares
# optimizer
optimizer = tf.train.GradientDescentOptimizer(0.01)
train = optimizer.minimize(loss)
# training data
x_train = [1, 2, 3, 4]
y_train = [0, -1, -2, -3]
# training loop
init = tf.global_variables_initializer()
sess = tf.Session()
sess.run(init) # reset values to wrong
for i in range(1000):
sess.run(train, {x: x_train, y: y_train})
# evaluate training accuracy
curr_W, curr_b, curr_loss = sess.run([W, b, loss], {x: x_train, y: y_train})
print("W: %s b: %s loss: %s" % (curr_W, curr_b, curr_loss))
2. Exponentially weighted averages
指数加权平均（Exponentially weighted averages）是除梯度下降算法之外其他优化算法中重要的概念，因此，这里先介绍其概念。
2.1 伦敦天气温度
这里不再介绍如何引入指数加权平均的，具体参考：网易云课堂-吴恩达《优化深度神经网络》-第二周或红色石头Will-吴恩达《优化深度神经网络》课程笔记；
假设：\(V_0 = 0\)；
\[V_t = \beta V_{t-1} + (1 - \beta) \theta_t
\]
其中，\(\theta_t\)表示第\(t\)天的温度；\(V_t\)表示通过移动平均的方法对每天气温进行平滑处理后结果；
\(\beta\)值决定了指数加权平均的天数，即\(\dfrac{1}{1-\beta}\)；\(\beta\)表示加权平均的天数越多，平均后的趋势越平缓，同时也会向右移动；
即，当\(\beta=0.9\)，则\(\dfrac{1}{1-\beta}=10\)，表示将前10天进行指数加权平均；
2.2 进一步理解Exponentially weighted averages
2.2.1 理解指数加权平均一般形式
\[V_t = \beta V_{t-1} + (1-\beta)\theta_{t}
\]
\[V_t = (1-\beta) \cdot \theta_{t} + (1-\beta) \cdot \beta \cdot \theta_{t-1} + (1-\beta) \cdot \beta^2 \cdot \theta_{t-2} + \cdots + (1-\beta)\cdot \beta^{t-1}\cdot \theta_1 + \beta^t\cdot V_0
\]
其中，\(\theta_t, \theta_{t-1}, \cdots , \theta_1\)表示原始数据集，即下图中的第一张图；
\((1-\beta), (1-\beta)\cdot \beta, \cdots, (1-\beta)\cdot \beta^{t-1}\)类似指数曲线，如下图中第二张图；从右向左，呈指数下降；
\(V_t\)表示两者点乘，将原始数据值与衰减指数点乘，相当于做了指数衰减，离的越近，影响就越大；离的越远，影响就越小，衰减就越严重；
2.2.2 实际计算指数加权平均
实际应用中，为了减少内存的使用，可以使用如下语句实现指数加权平均：
\(V_0=0\)
Repeat{
\[Get \quad next \quad \theta_t
\]
\[V_{\theta} := \beta V_{\theta} + (1-\beta)\theta_t
\]
}
2.3 偏差修正（bias correction）
因为初始假设\(V_0=0\)，可以想到，在使用\(V_t = \beta V_{t-1} + (1-\beta)\theta_t\)计算的时候，前面的一些值将会受到很大的影响，会比正常值小一些，直到计算后面数据的时候，影响才会渐渐变小，趋于正常。
因此，修正这种问题的方式是偏移修正（bias correction），即对\(V_t\)作如下处理：
\[\dfrac{V_t}{1-\beta^t}
\]
在机器学习中，偏移修正不是必须的；
3. Gradient descent with momentum（Momentum梯度下降法）
动量梯度下降算法（Gradient descent with momentum）的速度要快于标准的梯度下降算法；
具体做法是：在每次训练时，对梯度计算指数加权平均，然后使用得到的梯度值更新权重和偏置；
3.1 梯度下降
如上图蓝色折线所示，表示标准梯度下降算法；在梯度下降的过程中，会出现震荡的情况，这是因为每一点的梯度只与当前梯度方向有关，因此会出现折线的效果；
如上图红色折线所示，表示使用momentum梯度下降算法；可以看到，在梯度下降的过程中，不会出现剧烈的震荡，这是因为，每一个点的梯度不仅与当前梯度方向有关，还与之前的梯度方向有关；能够做到纵轴摆动变小，横轴方向运动更快；
3.2 伪代码表示
On iteration t{
Compute dW, db on the current mini-batch
\(V_{dW} = \beta V_{dW} + (1-\beta)dW\)
\(V_{db} = \beta V_{db} + (1-\beta)db\)
更新权重和偏置
\(W := W - \alpha V_{dW}, b := b - \alpha V_{db}\)
}
其中，初始化时，\(V_{dW}=0, V_{db}=0, \beta=0.9\)；
3.3 TensorFlow中的Gradient descent with momentum
3.3.1 构建optimizer
# optimizer
optimizer = tf.train.MomentumOptimizer(0.01, momentum) # \beta
train = optimizer.minimize(loss)
3.3.2 tf.train.MomentumOptimizer()
tf.train.MomentumOptimizer.__init__(self, learning_rate, momentum,
use_locking=False, name="Momentum", use_nesterov=False):
Args:
learning_rat: A `Tensor` or a floating point value. The learning rate. # 学习率
momentum: A `Tensor` or a floating point value. The momentum. # 就是指数加权平均中的超参数\alpha=0.9
use_locking: If `True` use locks for update operations.
name: Optional name prefix for the operations created when applying gradients. Defaults to "Momentum".
use_nesterov: If `True` use Nesterov Momentum. # 另一种优化算法，由momentum改进而来，效果更好；来源于：http://jmlr.org/proceedings/papers/v28/sutskever13.pdf
Return:
optimizer
4. RMSprop
RMSprop（Root mean squared prop）是另外一种优化梯度下降的算法，类似于Momentum Gradient descent，同样可以在纵轴上减小摆动，在横轴方向上运动更快；
4.1 伪代码表示
On iteration t{
Compute dW, db on the current mini-batch
\(S_{dW} = \beta S_{dW} + (1-\beta)(dW)^2\)
\(S_{db} = \beta S_{db} + (1-\beta)(db)^2\)
更新权重和偏置
\(W := W - \alpha \dfrac{dW}{\sqrt{S_W}+\epsilon}, b := b - \alpha \dfrac{db}{\sqrt{S_W}+\epsilon}\)
}
其中，一般取\(\epsilon=10^{-8}\)，防止分母趋近于0；
4.2 TensorFlow中的RMSprop
4.2.1 构建optimizer
# optimizer
optimizer = tf.train.RMSPropOptimizer(0.01, decay, momentum) # decay不清楚具体什么作用？？求解：
train = optimizer.minimize(loss)
4.2.2 tf.train.RMSPropOptimizer()
tf.train.RMSPropOptimizer.__init__(self,
learning_rate,
decay=0.9,
momentum=0.0,
epsilon=1e-10,
use_locking=False,
centered=False,
name="RMSProp")
Args:
learning_rate: A Tensor or a floating point value. The learning rate. # 学习率
decay: Discounting factor for the history/coming gradient # ？？
momentum: A scalar tensor. # \alpha
epsilon: Small value to avoid zero denominator. # \epsilon 防止分母趋近于0
use_locking: If True use locks for update operation.
centered: If True, gradients are normalized by the estimated variance of the gradient; if False, by the uncentered second moment. Setting this to True may help with training, but is slightly more expensive in terms of computation and memory. Defaults to False.
name: Optional name prefix for the operations created when applying gradients. Defaults to "RMSProp".
5. Adam optimization algorithm
Adam优化算法是结合了Gradient descent with momentum与RMSprop两种算法；被证明能够适用于不同的神经网络；
5.1 Adam算法流程-伪代码
初始化：\(V_{dW}=0, S_{dW}=0, V_{db}=0, S_{db}=0\)；
On iteration t {
Compute \(dW, db\) on each mini-batch
\(V_{dW} = \beta_1 V_{dW} + (1-\beta_1)dW\)
\(V_{db} = \beta_1 V_{db} + (1-\beta_1)db\)
\(S_{dW} = \beta_2 S_{dW} + (1-\beta_2)(dW)^2\)
\(S_{db} = \beta_2 S_{db} + (1-\beta_2)(db)^2\)
\(V_{dW}^{corrected}= \dfrac{V_{dW}}{1-\beta_1^t}, V_{db}^{corrected}= \dfrac{V_{db}}{1-\beta_1^t}\)
\(S_{dW}^{corrected}= \dfrac{S_{dW}}{1-\beta_2^t}, S_{db}^{corrected}= \dfrac{S_{db}}{1-\beta_2^t}\)
\(W := W - \alpha \dfrac{V_{dW}^{corrected}}{\sqrt{S_{dW}^{corrected}}+\epsilon} b := b - \alpha \dfrac{V_{db}^{corrected}}{\sqrt{S_{db}^{corrected}}+\epsilon}\)
}
Adam算法中需要做偏差修正；
超参数设置：\(\beta_1 = 0.9, \beta_2=0.999, \epsilon = 10^{-8}\)；一般只需要对学习率\(\alpha\)进行调试；
5.2 TensorFlow中Adam optimization algorithm
5.2.1 构建optimizer
optimizer = tf.train.AdamOptimizer(learning_rate, beta1, beta2, epsilon)
train = optimizer.minimize(loss)
5.2.2 tf.train.AdamOptimizer
tf.train.AdamOptimizer._init__(self,
learning_rate=0.001,
beta1=0.9,
beta2=0.999,
epsilon=1e-8,
use_locking=False,
name="Adam"):
Args:
learning_rate: A Tensor or a floating point value. The learning rate. # 学习率
beta1: A float value or a constant float tensor. The exponential decay rate for the 1st moment estimates. # \beta_1
beta2: A float value or a constant float tensor. The exponential decay rate for the 2nd moment estimates. # \beta_2
epsilon: A small constant for numerical stability. This epsilon is "epsilon hat" in the Kingma and Ba paper (in the formula just before Section 2.1), not the epsilon in Algorithm 1 of the paper.
use_locking: If True use locks for update operations.
name: Optional name for the operations created when applying gradients. Defaults to "Adam".
6. 不同优化算法的优缺点总结
6.1 Batch Gradient Descent
思想：基于整个训练集进行梯度下降，更新权重；
优点：
考虑的是全局损失，不会陷入局部最优；
缺点：
每次迭代计算量较大，占用内存较高；
6.2 Stochastic Gradient Descent
思想：从训练集中随机选取一个样本计算梯度更新参数；
优点：
由于是对当个样本的损失计算梯度，因此计算量较小；
缺点：
仅考虑单个样本，容易陷入局部最优；
训练集较大时，训练时间较长；
选择合适的学习率比较困难；
对参数初始化比较敏感；
由于引入了噪声，因此具有正则化的效果；
6.3 Mini Batch Gradient Descent
思想：从整个样本集中选择batch_size个样本计算损失的梯度，更新权重；
优点：
对于很大的训练集，能够较快的收敛；
缺点：
梯度更新的方向依赖于当前batch内的样本，所以梯度的方向不稳定；
可能会出现不会收敛的最小值的情况，需要逐渐减小学习率；
6.4 Gradient Descent with Momentum
思想：基于之前梯度的方向以及当前batch的梯度方向进行更新；
优点：
减弱纵向方向的摆动，对震荡的情况能够有一定的抑制作用；
加速横向的运动，快速接近于最优值，加速收敛；
6.5 RMSprop
思想：类似于动量梯度下降，引入了指数权重加权平均值；
6.6 AdaGrad
思想：综合了Gradient Descent with Momentum与RMSprop两种优化算法；
优点：
训练前期，更新幅度大；
训练后期，更新幅度小；
适合处理稀疏梯度；
缺点：
训练后期，会导致学习率很小，梯度更新的很慢；
自定义全局学习率；
7. Learning rate decay
在神经网络训练的过程中，适当减小学习率有利于提高训练速度，该类方法称为learning rate decay，即随着迭代次数的增加，学习率\(\alpha\)逐渐减小；
7.1 学习率减小的几种方式
（1）第一种：
\[\alpha = \dfrac{1}{1+ decay\_rate \times epoch\_num}\cdot \alpha_0
\]
其中，\(decay\_rate\)衰减参数；\(epoch\_num\)表示迭代次数；
（2）第二种：
\[\alpha = 0.95^{epoch\_num} \cdot \alpha_0
\]
（3）第三种：
\[alpha = \dfrac{k}{\sqrt{epoch\_num}}\cdot \alpha_0 \quad 或 \quad \dfrac{k}{\sqrt{t}}\cdot \alpha_0
\]
（4）第四种：
将\(\alpha\)设置为关于\(t\)的离散值，随着\(t\)的增加，\(\alpha\)呈阶梯式减少；
（5）第五种：
通过查看训练日志，手动调整学习率；
7.2 TensorFlow中的学习率设置
由于TensorFlow中提供的学习率设置方式有不少种，而本文主要是叙述梯度下降的优化算法，在此处介绍将会占用不小的篇幅，显得有些臃肿，因此，另总结一篇博文供自己学习；
TensorFlow中设置学习率的方式
8. The problem of local optima
在使用梯度下降算法减少cost function的时候，可能会得到局部最优解，而不是全局最优解；
我们认为的局部最优可能如下图左边所示；但在神经网络中，局部最优的概念发生了变化；大部分梯度为零的“最优点“不是这些凹槽处，而是如下图右边的马鞍处，称为saddle point。
类似马鞍状的plateaus会降低神经网络的学习速度。plateaus是梯度接近于零的平缓区域，如下图所示，在plateaus上梯度很小，前进缓慢，达到saddle point需要很长时间；到达saddle point后，由于随机扰动，梯度能够进去下降；但是会在plateaus上花费很多时间；
动量梯度下降、RMSprop、Adam算法能够解决plateaus下降过慢的问题，提高训练速度；
结束！！！
博主个人网站:https://chenzhen.online
Reference
网易云课堂-吴恩达《优化深度神经网络》-第二周
红色石头Will-吴恩达《优化深度神经网络》课程笔记
idisfkj-tensorflow-梯度下降
attitude_yu-神经网络模型的各种优化算法
