神经网络

模型架构

神经网络背后的逻辑斯蒂回归模型

公式推导

Forward

\(a = \begin{bmatrix} a_1 \\ a_2 \\a_3 \\\end{bmatrix} = \begin{bmatrix} g(V_1 ^T x + b_{11}) \\ g(V_2 ^T x + b_{12}) \\ g(V_3^T x + b_{13}) \end{bmatrix}\)，\(y = \begin{bmatrix}y_1 \\ y_2 \end{bmatrix} =\begin{bmatrix}g(W_1^Ta + b_{21} ) \\ g(W_2^T a + b_{22}) \end{bmatrix}\)

Backward

输出层对隐含层：
\(\frac{\partial y_j}{\partial W_j} = g \cdot (1-g) \cdot a\)，\(\frac{\partial y_j}{\partial a}= g \cdot (1-g) \cdot W_j\)， \(\frac{\partial y_j}{\partial b_{2j}} = g \cdot (1-g)\)
隐含层对输入层：
$\frac{\partial a_j}{\partial V_j} = g \cdot (1 - g) \cdot x $， \(\frac{\partial a_j}{\partial b_{1j}} = g \cdot (1 - g)\)

理解

1. 是否设置 bias 要更具实际问题来决定。
2. 一个神经网络可以看做是若干个逻辑斯蒂回归模型的嵌套组合。
3. 神经网络可以看做，不用输入特征来训练，而是用输入特征的映射来训练逻辑回归，这个映射可以是很复杂的映射。

神经网络

原文：https://www.cnblogs.com/luyunan/p/12254449.html