机器学习的目标是：对于给定的一个训练数据集，通过不断地分析和学习产生一个联系属性集合和类标的分类函数(Classification Function)或预测函数(Prediction Function),这个函数称为分类模型(Classification Model)或预测模型(Prediction Model).通过这个模型可以对输入对象的特征向量预测或对对象的类标进行分类。
超定方程组：
方程个数大于未知量个数的方程组，不存在解(原因是条件严格，导致解不存在)。
Ra=y，R为n*m阶，如果R列满秩，且n>m，则方程组没有精确解，此时方程组为超定方程组。
超定方程组的解：
超定方程组常用最小二乘法求解，在无法满足给定条件的情况下，求最接近的解。也就是说，需要退一步，将参数求解问题转化为求最小误差问题，求出一个最接近的解，又被称为松弛求解。如果存在向量a使函数值达到最小，那么存在以下超定方程组的最小二乘解：
最小二乘法：
最小二乘法是一个直接的数学求解公式，不过它要求X是列满秩。
列满秩：
矩阵的秩：用初等行变换将矩阵A化为阶梯形矩阵，则矩阵中非零行的个数就定义为这个矩阵的值，记为r(A)。
满秩矩阵(non-singular matrix)：设A是n阶矩阵，若r(A)=n，则称A为满秩矩阵。
行满秩：若矩阵秩等于行数，称为行满秩。
列满秩：若矩阵秩等于列数，称为列满秩。
即是行满秩又是列满秩则为n阶矩阵，即n阶方阵。
满秩矩阵是判断一个矩阵是否可逆的充分必要条件。其中非奇异矩阵是满秩矩阵。
损失函数：
由以上求一个最接近解，想到误差最小的表达形式。其模型与数据的误差最小的形式，模型与数据差的平方和最小。损失函数是一种衡量损失和错误(这种损失与“错误地”估计有关，如费用或者设备的损失)程度的函数。 我们在应用中通常计算在不同参数（parameter）值之下的损失。
高斯分布：
线性回归以高斯分布为误差分析模型。高斯分布即正态分布又称常态分布。
当
此时均数、中位数、众数都等于μ。
μ是服从正态分布的随机变量的均值，σ^2是此随机变量的方差。取与μ邻近的值的概率大，而取离μ越远的值的概率越小；σ越小，分布越集中在μ附近，σ越大，分布越分散。
待续……
原文：http://blog.csdn.net/u013361361/article/details/44596259
