每天五分钟机器学习:神经网络比逻辑回归强大的本质
本文重点:
本文就是想讲清楚两点:
第一点是神经网络如何进行计算的,这个计算就叫做前向传播。
第二点是神经网络可以理解为逻辑回归,它和逻辑回归不同的是,逻辑回归是直接使用样本x,这个样本x是什么,逻辑回归就用什么,而神经网络中,我们虽然也是输入了样本x,但是它经过隐藏层之后,这些样本特征x变化了,变成了a,我们可以认为a和原特征相比较变得很厉害了,所以我们是使用这个更加厉害的特征项来进行了最后一步的逻辑回归,输出hθ(x),会得到相对直接对样本x进行逻辑回归来说更好的假设函数,这就是神经网络比逻辑回归强大的原因。
第一点
单样本的前向传播
θ10表示i+1层的第1个神经元和i层的第0个神经元之间的权重参数,依次类推
如上图所示,就是神经网络的输入层和第一个隐藏层之间的计算,我们可以发现上面的红框其实就是矩阵运算Θ(1)X,所以我们可以将上面的计算向量化。
其中样本x,参数矩阵θ或者w,z分别为: