神经网络和深度学习

深度学习概论

什么是神经网络

神经网络是一个受大脑工作方式启发而得的有效学习算法

单一神经网络：给定一维数据，如房屋面积，创建一个 \(ReLU\) (线性整流函数)函数，映射出房屋价格。

多元神经网络：多维数据预测结果，自动生成隐藏单元，只需给定输入输出数据集让模型自己去学习。

用神经网络进行监督学习

结构化数据：数据库或数据序列，每个特征都有清晰的定义

非结构化数据：音频、图像、文本，特征可以是图像的像素值或文本内的单词

为什么深度学习流行起来

1. 传统模型性能上限。传统模型适用于小型数据处理，到达性能上限后数据量增加也不能明显提高性能
2. 数据量增大。传统模型不适用处理海量数据
3. 深度学习模型性能依赖数据量。深度学习模型学习越多数据性能越好。
4. 新的算法催动计算速度的更新，从而催生新的想法，继续推动计算速度更新

规模 (模型规模、数据规模) 推动深度学习性能增长。

神经网络基础

二分分类

举例：二分类一个 64*64 的图片，判断是否为猫，输出 1 (cat) or 0 (not cat)。

图像在计算机中的存储通常为三个 64*64 的矩阵，分布对应 Red、Green、Blue 三种像素的亮度。

将三个矩阵映射到一个特征向量 \(X\) 中，将每个矩阵中的值，按行逐个读取，组成一个大的 12288*1 的向量 ( 64 x 64 x 3 = 12288 )。用 \(n = 12288\) 表示特征向量的维度。

那么二分类模型的作用就是对于输入的特征变量 \(x\) 输出结果标签 \(y\) 来预测是否是猫。

一般记训练集有 \(m\) 个训练样本，其中 \((x^{(1)},y^{(1)})\) 表示第1个样本输入 \(x^{(1)}\) 输出 \(y^{(1)}\)，为了区分，记训练集为 \(m_{train}\) 测试集为 \(m_{test}\)。用 \(X=(x^{(1)},x^{(2)},...,x^{(m)})\) 记为所有特征变量的集合。那么 \(X=n * m\)，是特征维度*训练样本个数

Logistic Regression

计算 \(\widehat{y}=P(y=1|x) \in (0,1)\)，其中 \(x\) 是一个特征变量，给定 \(x\)，参数 \(w\) (也是一个向量) 和参数 \(b\)，输出 \(\widehat{y}=\sigma(w^Tx+b)\) (\(\sigma(z)\) 是 \(Sigmoid\) 函数，将输出映射到 (0,1))

\[\widehat{y}=\sigma(z)=\frac{1}{1+e^{-z}}\quad z=w^Tx+b\]

损失函数：损失函数是在单个样本上体现的，衡量了单个样本的表现。因为 \(L-2\) norm 在后续的梯度下降求最优值中表现不好，所以 \(Logistic\ Regression\) 使用

\[L(\widehat{y},y)=-(ylog\widehat{y}+(1-y)log(1-\widehat{y}))\]

• 如果 \(y=1\)：\(L(\widehat{y},y)=-log\widehat{y}\)，想要 \(L(\widehat{y},y)\) 尽量小，就要 \(log\widehat{y}\) 尽量大，因为 \(\widehat{y}\) 是经过 \(Sigmoid\) 函数映射后的结果，\(\widehat{y}\in (0,1)\)，所以 \(\widehat{y}\) 越大越接近真实值
• 同理 \(y=0\)：\(L(\widehat{y},y)=-log(1-\widehat{y})\)，就要 \(log(1-\widehat{y})\) 尽量大，那么 \(\widehat{y}\) 要尽量小

成本函数：基于参数的总成本，反映整体训练样本的表现。

\[J(w,b)=\frac{1}{m}\sum_{i=0}^mL(\widehat{y}^{(i)},y^{(i)})\]

• \(m\) 是训练样本个数
• \(L(\widehat{y}^{(i)},y^{(i)})\) 表示第 \(i\) 个训练样本的损失函数

前向反向传播

前向就是正常的计算顺序，反向传播是计算导数的顺序 (链式法则)

程序里 \(dvar\) 表示导数

Logistic 回归的梯度下降法

\[ \begin{array}{l}{z=w^{T} x+b} \\ {\hat{y}=a=\sigma(z)} \\ {\mathcal{L}(a, y)=-(y \log (a)+(1-y) \log (1-a))}\end{array} \]

单个样本：假设特征值只有两个，\(w=(w_1,w_2)^T\)，输入 \(w_1,x_1,w_2,,x_2,b\)，则 \(z=w_1x_1+w_2x_2+b\)，则 \(\widehat{y}=a=\sigma(z)\)，最后计算 \(L(a,y)\)。在 \(Logistic\) 回归中要做的就是改变 \(w_1,w_2,b\) 的值使得 \(L(a,y)\) 最小。

一次梯度更新的步骤：
\[ \begin{array}{l}{w_{1}:=w_{1}-\alpha d w_{1}} \\ {w_{2}:=w_{2}-\alpha d w_{2}} \\ {b:=b-\alpha}\end{array} \]

向量化

向量化通常是消去程序中显式 \(for\) 循环的艺术。向量计算和 \(for\) 循环之间的计算速度差异差不多是 300 倍。尽可能避免使用 \(for\) 循环!

numpy 库内置了许多向量函数，将 \(w\) 向量化，程序中调用 \(np.zeros()\)，将训练集 \(X\) 和偏置 \(b\) 向量化

python的广播

1. 不要使用 shape 为 \((n,)\) 这种秩为 1 的数组。使用\(a=np.random.randn(5,1)\) 这种声明具体大小的语句
2. 如果已经得到了 \((n,)\) 这种秩为 1 的数组，可以使用 reshape 转换
3. 随意申明 assert 语句，使用断言，确定矩阵的 shape，及时发现bug

浅层神经网络

神经网络表示

输入层、隐藏层、输出层，但输入层一般不看做一个标准层，从隐藏层开始对网络层数计数，数学标记 \(a^{[n]}_i\) 表示第 \(n\) 层网络的第 \(i\) 个节点的结果。

神经网络的输出

类比 \(Logistic\) 回归中的计算， \(Logistic\) 回归中先计算 \(z=w^Tx+b\)，再计算 \(a=\sigma(z)=\widehat{y}\)，单隐藏层的神经网络就是对每一个节点 \(a^{[1]}_i\) 都计算一遍 \(z^{[1]}_i=w^{[1]T}_ix+b^{[1]}_i\)

激活函数

\(Sigmoid\)、\(tanh\)、\(ReLU\)、\(Leaky ReLU\)

随机初始化

权重矩阵不宜太大，一般0.01合适，权重矩阵太大会导致 \(z\) 值过大，落在激活函数的平缓部分，梯度下降小，学习速度减慢。

深层神经网络

技术上来说，\(Logistic\) 回归是单层神经网络。

正向传播是时候还是要用 \(for\) 循环的。

前几层识别简单的特征，后面的就可识别更复杂的特征，比如脸的轮廓 \(\rightarrow\) 五官 \(\rightarrow\) 脸部，音位 \(\rightarrow\) 单词 \(\rightarrow\) 词组 \(\rightarrow\) 句子

深度学习就是听着唬人，搁以前都叫有很多隐藏层的神经网络。。

超参数：控制实际参数的参数

不知道超参数如何取最优值，需要多次实验，练成超参数直觉。。 玄学学习率和超参 。。。

[吴恩达深度学习]神经网络和深度学习

原文：https://www.cnblogs.com/ColleenHe/p/11704342.html