数学中优化问题是什么意思 优化问题都须要什么物理基础

深度学习中的优化是一项极其复杂的任务，本文是一份基础手册，借以从物理的角度深入剖析优化器。

通常而言，神经网路的整体性能取决于几个诱因。一般最受关注的是网路构架，但这只是诸多重要元素之一。还有一个经常被忽视的元素，就是拿来拟合模型的优化器。

为了说明优化的复杂性，此处以为例。有11,689,512个参数。找寻最佳参数配置，也就是在11,689,512维的空间中定位一个点。假如暴力搜索的话，可以把这个空间分割成网格。假定将每位维度分成十格，这么就要检测10^（10的次方）组可能的配置，对每一组配置都要估算损失函数，并找出损失最小的配置。

10的次方是一个哪些概念？已知宇宙中的原子才只有10^83个，宇宙的年纪只有4.32x10^17秒（约137亿年）。倘若从大爆燃开始，每秒检测10^83个原子，我们如今才检测了4.32*10^1411个，远远大于上述网格可能的配置数。

所以优化器十分重要。它们就是拿来处理这些无法理解的复杂性的。有了它，你就可以将训练网路的时间压缩在几天内，而不是数十亿年间。下文将从物理角度深入研究优化器，并了解它们是怎么完成这一看似不可能的任务的。

优化的基础

我们从简单的地方开始。假定要最大化单变量函数。（在机器学习中，一般以最小化损失函数为目标，不过最小化就等同于最大化函数的负值。）

定义：

对函数画图：

最直观的方式是将这条线界定成网格，检测每位点的值，之后选择函数值最大的点。正如前言中所说，这是不可扩充的，因而要找其他解决方案。将这条线想像成一座要爬到顶峰的山。假定坐落红点处：

假如要抵达山峰，该往那个方向走？其实，应当向斜率降低的地方前进。这个概念对应的是函数的求导。在物理上，行列式定义为：

乍看之下，行列式十分神秘，但它的几何意义十分简单。仔细看一下导数的点：

对任何x和y，通过f(x)和f(y)的这条线定义为：

通常而言，假若用at+b定义一条直线，那称a为这条线的斜率。这个值既可以是正值也可以是负值，斜率为正，直线向下走；斜率为负，直线向上走。绝对值越大，直线越陡。假如像行列式定义中一样，让y越来越接近x，这么这条线都会成为x处的切线。

（图注）在x=-2.0时，f(x)的切线和迫近线。

切线为：

切线方向记为向量(1,f’(x))。

倘若从x_0=-2.0的位置开始徒步，应当沿切线上升的方往前进。假如切线的斜率较大，可以大步迈向；假如斜率接近零，应当小步小步往上爬，以免跨过峰值。假如用物理语言表示，我们应当用下边这些形式定义下一个点：

式中λ是个参数，设置前进的步长。这就是所谓的学习率。一般，后续步骤定义为：

正行列式意味着斜率在降低，所以可以前进；而负行列式意味着斜率在降低，所以要退后。可视化这个过程：

如你所见，这个简单的算法成功地找到了峰值。但如图所示，这并非函数的全局最大值。在所有的优化算法中，这都是一个潜在的问题，但还是有解决办法的。

在这个简单的事例中，我们只最大化了单变量函数。这样其实可以有效地说明这个概念，但在现实生活中，可能存在数百万变量，神经网路中就是这么。下一部份将会介绍，怎样将这样简单的算法泛化到多维函数的优化。

多维优化

在单变量函数中，可以将行列式视为切线的斜率。但遇见多个变量，则不能这么。先来看个具体的反例。定义函数：

这个函数将是这部份的toy。

对f(x,y)画图。

这是一个有两个变量的函数，图象是一个曲面。马上可以发觉，这样很难定义切线的概念，由于与曲面上一个点相切的线有好多。事实上，可以做一个完整的平面。这就是切平面。

f(x,y)在点(0,0)处的切平面。

但切平面有两个特别非常的方向。以点(0,0)处的切平面为例。对每一个多变量函数来说，先固定所有变量只取一个能动的变量，这样这个函数基本上就弄成单变量函数了。示例函数变为：

和：

可以用垂直于座标轴的平面分割曲面，来可视化前面这两个函数。平面和曲面相交处就是f(x,0)或f(0,y)，这取决于你用那个平面。

用垂直的平面切割曲面，可视化f(0,x)。

对这种函数，就可以像上文一样定义行列式了。这就是所谓的偏求导。要泛化之前发觉峰值的算法，偏行列式起着至关重要的作用。用物理语言定义：

每位偏行列式表示切平面上的一个方向。

切平面上偏行列式的方向。

偏行列式的值是特殊切线的斜率。最陡的方向按照梯度确定，定义为：

注意，梯度是参数空间中的方向。可以轻松在二维平面中勾画出梯度，如右图所示：

f(x,y)的梯度。

综上所述，发觉峰值的算法如今成为：

这就是所谓的梯度上升（）。假如要求函数最小值，就要沿负梯度的方向迈出一步，也就是增长最陡的方向：

这就是所谓的梯度增长（），你可能会很频繁地看见它，由于在机器学习中，实际上是要最小化损失。

为何梯度指向最陡的上升方向？

在这些情况下，要晓得为何梯度给出的是最险峻的上升方向。为了给出精确的解释，还要做一些物理估算。不仅用垂直于x轴或y轴的垂直平面切割曲面外，还可以用(a,b)任意方向的垂直平面切割曲面。对于偏行列式，有：

可以将它们视为f(x,y)沿(1,0)和(0,1)方向的行列式。虽然这种方向非常重要，但也可以任意规定这种方向。也就是说，假定方向为：

这个方向的行列式定义为：

注意，最后一个方程就是方向向量和梯度的点积，这可能和中学几何课堂上遇见的点积是相同的。所以：

问题是，那个方向的方向行列式最大？答案是上升程度最险峻的方向，所以假如要优化，得先晓得这个特定的方向。这个方向就是之前提过的梯度数学中优化问题是什么意思，点积可以写作：

式中的|.|表示向量宽度，α是两向量间的倾角（这在任意维数上都是创立的，不只是二维）。显而易见，当cosα=1，即α=0时，表达式取最大值。这就意味着这两个向量是平行的，所以e的方向和梯度方向是相同的。

训练神经网路

如今要从理论转战实践了，了解怎样训练神经网路。假定任务是将有n维特点向量的图象分成c类。从物理角度看，神经网路代表将n维特点空间映射到c维空间的函数f：

神经网路本身是参数化的函数。便捷起见，将参数标记为m维向量：

为了表现出对参数的依赖，习惯记为：

将神经网路的参数空间映射为实数。损失函数记为：

式中的

是观测值为

的第i个数据点

L是损失函数项。诸如，假如J是交叉熵损失，则：

式中

这看似简单，但无法估算。在真实世界中有数百万个数据点N，更别说参数m的数目了。所以，一共有数百万项，因而要估算数百万个行列式来求最小值。这么在实践中该怎么解决这一问题？

随机梯度增长

要用梯度升高，得先估算：

假如N很大，这么估算量就很大，而通常都希望N大一点（由于想要尽量多的数据）。可以通分吗？一种形式是忽视一部份。虽然这看上去像个不靠谱的方案，但却有坚实的理论基础。要理解这一点，首先注意J虽然可以写成期望值：

式中的

是训练数据给出的（经验）机率分布。可以将序列写成：

这样就成了独立同分布的随机变量。按照大数定理：

式中

是真正的总体分布（这是未知的）。再详尽点说，由于降低了训练数据，损失函数收敛到真实损失。为此，假如对数据二次取样，并估算梯度：

对个别i，假如估算足够，依然可以得到合理的恐怕。这就是所谓的随机梯度升高，记为SGD（）。

我觉得，研究人员和数据科学家能有效训练深度神经网路依赖于三个基础发展：将GPU作为通用的估算工具、反向传播还有随机梯度升高。可以肯定地说，假如没有SGD，就难以广泛应用深度学习。

与几乎所有新方式一样，SGD也引入了一堆新问题。最显著的是，二次取样的样本量要有多大？太小可能会导致梯度恐怕有噪音，太大则会导致利润递减。选择子样本也须要慎重。比如假如所有子样本都属于一类，恐怕值可能会相差甚远。但在实践中数学中优化问题是什么意思，这种问题都可以通过实验和适当随机化数据来解决。

改善梯度增长

梯度增长（以及SGD变体）存在一些问题，因而这种方式在个别情况下可能会无效。诸如，学习率控制着梯度方向上前进的步长。在这个参数上通常会犯两个错误。第一，步长太大，以至于损失难以收敛，甚至可能分散；第二，步长太小，可能由于前进太慢，永远都没法抵达局部最小值。为了阐述这个问题，以f(x)=x+sinx函数为例进行研究：

假定从x_0=2.5开始进行梯度升高，学习率α分别为1、0.1和0.01。

理解上去可能不够直观，所以对每位学习率的x-s绘图：

当α=1时，图象在两点间回落，难以收敛到局部最小值；当α=0.01时，收敛得好像很慢。在本例中，α=0.1其实是合适的。那在通常情况下该怎么确定这个值呢？这儿的中心思想是，学习率不一定是恒定的。同理，假如梯度幅度很大，就应当减少学习率，防止跳得太远。另一方面数学中优化问题是什么意思，假如梯度幅度较小，那可能意味着接近局部最优值了，所以要避开超调（）的话，学习率绝对不能再降低了。动态改变学习率的算法也就是所谓的自适应算法。

最流行的自适应算法之一是。它会累积储存梯度幅度和大小，并按照记录调整学习率。定义了累积变量r_0=0并按照规则进行更新：

式中的

表示两个向量的份量乘积。将其用于测度学习率：

式中的δ是为了保持数据稳定的数值，平方根是按照份量取的。首先，当梯度大时，累积变量会很快地下降，学习率会增长。当参数接近局部最小值时，梯度会变小，学习率会停止增长。

其实，是一种可能的解决方案。每一年就会有越来越多先进的优化算法，来解决梯度增长相关的问题。但显然是最先进的方式，使用并调整学习率，都是很有用处的。

另一个关于梯度增长的问题是要确定全局最优值或与之接近的局部最优值。看后面的反例，梯度增长一般会深陷局部最优值。为了更好地了解这一问题和更好的解决办法，建议您阅读Ian、和Aaron所著的《深度学习》（Deep）第八章（）。

深度神经网路的损失函数哪些样？

后面的反例只可视化了特别简单的玩具示例，例如f(x)=25sinx-x^2。这是有诱因的：勾画超过两个变量的函数图象很难。考虑到固有的局限性，我们最多只能在三个维度上进行观察和思索。但为了了解神经网路中的损失函数，可以采取一些方法。HaoLi等人发表的论文《theLossofNets》（）就是有关这个的，她们选择两个随机方向，对二变量函数绘图，因而可视化损失函数。

（为了防止因尺度不变而导致的失真，她们还在随机方向中引入了一些归一化诱因。）她们的研究阐明了在构架中，方差联接是怎样影响损失，让优化显得更容易的。

图象来源：HaoLi等人所著《theLossofNets》（）。