激活函数：对隐藏变量使用按元素运算的非线性函数进行变换，作为下一个全连接层的输入。这个非线性函数被称为激活函数。
正则化：正则化通过为模型损失函数添加惩罚项使学出的模型参数值较小，是应对过拟合的常用手段。
人脸神经网络及算法整理
原文：https://www.cnblogs.com/cxt-janson/p/13399177.html
