我们解决一个问题时，如果将该问题表示为一个函数f(x)，最优化问题就是求该函数的极小值。通过高等数学知识可以知道，如果该函数连续可导，就可以通过求导，计算导数＝0的点，来求出其极值。但现实问题中，如果f(x)不是连续可导的，就不能用这种方法了。最优化问题就是讨论这种情况。
求最优解的问题可以分为两种：（1）无约束最优问题；（2）有约束最优问题。
无约束最优算法可以表达为：。可以用数值计算方法中的牛顿法、最速梯度下降法等，通过多次循环，求得一次近似的最优解。
原文：http://www.cnblogs.com/GuoJiaSheng/p/3852188.html