梯度下降法原理

　　梯度下降算法解析

　　（1）直观解释

　　eg.在一座大山的某一位置，要下山，走一步算一步，每走一步就计算当前位置的梯度，沿着当前梯度的负方向走一步（也就是当前最陡的位置），然后再次计算当前位置，这样一步一步往下走，一直走到觉得已经到了山脚。有可能我们只是到了一个局部山峰底部。所以梯度下降不一定能找到全局最优解，有可能是一个局部最优解。当损失函数是凸函数的时候，梯度下降法所求的解就是全局最优解。

　　（2）相关概念

　　（i）步长：梯度下降迭代过程中每一步沿负方向前进的长度。

　　（ii）特征：样本输入部分，样本（x0,y0），其样本特征为x,输出为y。

　　(Iii) 假设函数：在监督学习中，用假设函数拟合输入样本，记为hθ(x)。比如对于样本（xi,yi）。(i=1,2,...n),可以采用拟合函数如下： hθ(x) = θ0+θ1x。

　　（iv）损失函数：度量拟合程度，评估模型拟合好坏。损失函数极小化，意味着拟合程度最好，对应的模型参数为最优参数。线性回归中，损失函数通常为样本输出和假设函数的差取平方。