概率论总结
首先数学的发展使得我们对于确定的现象的描述已经可以相当精确了，但是还有一部分的现象是“说不清楚的”，这种说不清楚的性质就是有一定的随机性，为了更好地描述这一性质概率由此而生，而研究概率的性质的学科概率论也应运而生。而早期的概率论用于描述的事情很是简单，比如说掷硬币的概率，抽彩的概率所以早期的概率称之为“古典概率”，是基于这样两个事实的：1、基本事件是等可能发生的2、组成全体的基本事件是有限的。而后随着对于随机现象的进一步的深入的认识我们发现很多的事情的基本事件是无法穷举的所以产生了，但是为了，描述上的形象形成了基于几何性质的概率——几何概率。这样对于可列无穷以及不可列事件对应于不同的图形来描述就更浅显易懂了。比如说射箭的中环的概率。只不过这种的概率依旧是建立在有面积的地方是均匀分布的前提之下的——即基本事件对应的概率是一样的，或者说面积一样的区域块的概率一样。当然这种均匀性是我们假设的条件，如果这一条件不成立，也就是第三阶段的现代概率论雏形。我们引入了概率的公理化定义，在测度论上定义概率是在可测空间上的对应于任何一个子集的实值集函数。于是研究了在这个空间上的对应于集合的几种性质以及运算法则。
为了更好的研究概率我们在概率空间定义了随机变量并研究了在这个基础之上的概率的随着随机变量的不同取值的分布情况，所以有了随机变量（离散）的分布列以及单点取值对应于连续变量是分布函数以及分布密度函数，并对于一些特定的分布的性质做了深入研究，得到了一些结论。
然后我们发现在某些情况下，实际的事件没有那么简单，常常两个事件之间具有一定的关联性，所以在单个的变量的基础之上将其维度进行拓展，并开始研究多维变量的联合概率对应于连续的变量是联合分布于联合分布密度函数，对应于离散型随机变量是联合分布列以及二维单点概率，并相对的深入研究了某些分布函数的性质，得到了一些结论。
与此同时，人们还注意到有些事件的关系并不是在同一个水平上的，有可能有这种情况就是一个事件的发生往往导致另一个事件的发生，也就是说在上面所说的多个事件的关联性中如果这两个事件的关联是属于因果关联的这种特殊的情形下，也就是说前一个事件的发生是后一个事件发生的条件那么这样的关联可以单独提出来进行研究，也就是我们后面要说的条件概率的产生。同样的对于条件概率我们还是研究了和上面两个一样的东西。
至此事件的概率就基本上研究的比较清楚了，不过实践中人们发现，其实在很多情况下我们根本就不知道或者很难知道事件的概率或其服从什么分布函数，但是我们又发现其实我们也根本没有必要知道事件的概率分布函数才可以解决实际问题，我们只要知道其中的某些关键特征就好。在这一层面上所谓的随机变量的数字特征就产生了。人们发现这种特征很是好用，并在这一特征中提出了“矩”的概念，也就是原点矩和中心矩。一般情况下我们用的最多的还是一阶原点矩——期望，以及二阶中心矩——方差。最多不超过4阶矩，4阶以上不常用。同样，定义了矩的概念以后对于之前的服从特殊分布的随机变量的相应的矩，我们做了进一步研究得到了一些结论，并拓展到多维度的矩，条件矩等。在这期间我们定义了事件之间线性关系的度量——所谓的协方差以及相关系数并发现服从正态分布的随机变量的线性无关与其相互独立是分割不开的。
但其实我们对于矩的研究主要是基于对于现实生活中的事件的发生的统计，或者说是我们进行的抽样来近似这样一个总体的特性，但是为什么大量抽样就可以很好地近似这样的总体的数字特征并没有科学严谨的证实，毕竟不像古典概率那样认为是等概率的。所以就有了大数定律以及中心极限定理的产生。大数定律说明了这样一个事实，那就是当抽到的样本很大时，所有的样本的均值和样本所属总体的期望的均值是以很大概率接近的，这个定理之所以强大是因为无论样本之间是相互独立的还是有什么关联，无论是不是从同一个总体中抽取的都没有关系，只要n趋于无穷大那么样本均值一定以很大的概率接近于其期望的均值。如果只考虑样本之间相互独立的这一特殊的情形，那么当期望以及方差都存在时服从大数定律（切比雪夫大数定律；如果样本之间不但相互独立，而且还服从同一分布，那么当期望和方差都存在时服从都存在时服从大数定律（独立同分布大数定律）。但是这一条件限制可以放松一点，即只有期望存在时也是服从大数定律的（辛钦大数定律）这一个定律应用的最多，因为其解释了大量测量值的算术平均值作为精确值的估计的理论依据；如果样本是由“贝努力试验”中得到的那么其发生的频率趋近于概率（贝努力大数定律）而基于这一理论的另一个角度上引出了小概率推断原理——如果事件发生的频率过小，那么对应的概率一定也很小，所以单次发生的可能性基本为零。中心极限定理说明了这样一个问题，就是任何相互独立的标准化随机变量序列的极限分布趋近于正态分布。当这些随机变量序列服从同分布的时候，就是独立同分布中心极限定理，当随机序列是由贝努力试验中得到的时候，就有了棣莫佛—拉普拉斯中心极限定理。
至此所有的概率的内容基本上就完了，但是在18世纪中叶由于傅里叶的出现，产生了特征函数。他发现分布函数其实就是一种表示频度的函数，而与另一种时域函数特征函数产生了关联——就是傅里叶变换及其逆变换。特征函数的发现使得对于随机变量的矩的求解具有特殊的意义，他使得求解矩就跟求导一样容易，所以相应的也就研究了多维随机变量的特征函数以及条件特征函数。相应的对于离散的随机变量的分布函数是母函数，我们也研究了其相应的性质。
在后续的人们逐渐意识到我们可以知道随机变量的特性，不过我们所谓的随机变量其实是与基本事件一一对应的，而基本事件的发生与否只是一个时间点上的瞬间，如果要研究特定的事件的在相当一段时间的取值又该如何呢。所以产生了随机过程的这一概念，将随机变量加入了时间的这一参数。
原文：http://www.cnblogs.com/sacredknight/p/3887559.html