AlexNet 中包含了比较新的技术点，首次在CNN中成功应用了 ReLu 、Dropout和LRN等Trick。
1.成功使用了Relu作为CNN的激活函数，并验证其效果在较深的网络中超过了Sigmoid成功解决了Simoid在网络较深时的梯度弥散问题。
2.训练时使用了Dropout随机忽略一部分神经元，以避免模型过拟合。
3.在CNN中使用了重叠的最大池化，AlexNet全部使用最大池化，避免平均池化的模糊效果。并且AlexNet中提出让步长比池化核的尺寸小，这样池化层的输出之间会有重叠核覆盖，提升了特征的丰富性。
4.提出了LRN层。对局部神经元的活动创建竞争机制，使其中相应比较大的值变得比较大，并抑制其他反馈较小的神经元，增加了模型的泛化能力。
5.GPU加强运算
6.数据增强使用数据增强后大大减轻了过拟合，提升了泛化能力。
原文：https://www.cnblogs.com/Davirain/p/8916805.html