* 1958：Perceptron诞生
* 1960：梯度下降 的使用
# 1962：视觉皮层中的simple cells和complex cells被发现。
$ 1971：第一个CPU Intel 4004诞生。频率 108KHz-740KHz。
$ 1985：CPU 386诞生。频率 12MHz-33MHz。
* 1986：反向传播 开始广泛使用
* 1989：卷积神经网络
$ 1993：CPU性能参考。Pentium。频率 60MHz-300MHz。
* 1997：Long-Short Term Memory
$ 2003：CPU性能参考。主流频率2GHz+。单核。
* 2006：深度学习 开始
$ 2007：Nvidia CUDA公布。
* 2009：神经网络开始夺冠。神经网络开始逐步成为技术主流。
* 2012：ImageNet夺冠。神经网络开始逐步大热。
神经网络部分历史
原文：http://www.cnblogs.com/jiurl/p/5661252.html
