1损失函数和代价函数的区别：
损失函数(Loss function)：指单个训练样本进行预测的结果与实际结果的误差。
代价函数(Cost function)：整个训练集，所有样本误差总和(所有损失函数总和)的平均值。（这一步体现在propagate()函数中的第32行）
损失函数(Loss function) 和 代价函数(Cost function)
原文：http://www.cnblogs.com/baibaibaiyou/p/7892460.html
