神经网络的挑战和关键技术：
1.神经网络结构决定（层，神经元，连接）
加入特定领域的知识（CNN 图片处理）
2.模型复杂度高
大的数据量；
regularization: dropout；denoising
3.最优化困难
好的初始化以避免局部最优：pre-training
4.计算复杂度高
好的硬件方案：mini-batch with GPU
pre-training（对神经网络连接的初始权重进行训练）
好的权重的一个标准-能保留原先的信息
AutoEncoder：
用途：1.informative representation-保留原先数据的信息
2.typical representation-保留大部分数据的信息
density estimation：如果x位于稠密区域，|g(x)-x|小
outlier detection：异常値位于不稠密区，|g(x)-x|大
3.在pre-training中训练初始权重
进阶：denoising autoencoder（在输入中加入人工noise，使robust）
denoising autoencoder
原文：http://www.cnblogs.com/porco/p/4501354.html
