神经网络的神经元，是模仿生物的神经元结构。图像如下：
|
为了形象理解，可以将上图简化如下：
|
在这个神经元中，input的feature 可以有很多维度, output也可以有很多的 layer。
(1) 感知机是网络神经的基础，感知机也被称为单层神经网络(即，单个神经元也称作感知机)
(2) 感知机的一大缺陷是无法解决线性不可分问题，想要解决这一问题，需要将原来线性不可分的样本映射到另一个特征空间去，在该空间样本线性可分，映射方法主要有两种:
① 人工指定映射方法
手动指定映射的方法，代表为核函数(核方法)
② 自动寻找映射方法
使用机器学习的方法自动获得映射方法，代表为神经网络。
(1) 第一层为输入层，最后一层为输出层，中间为隐藏层。
(2) ANN(浅层神经网络)人工神经网络有两个或两个以上隐藏层，成为DNN(深度神经网络)
(3) 如果感知机层数越多(即网络越长)，基础学习率相对就要越小，否则loss不容易收敛。当loss不收敛时，可能是基础学习率不够小，也可能是过拟合，也可能是数据集有问题。
(4) 如果是回归，output层没有非线性激活函数；如果是分类，output层有非线性激活函数。而hidden层通常都为非线性激活函数。
原文：https://www.cnblogs.com/wandaoyi/p/11756046.html