概率论与数理统计五个主线思维导图

当样本n趋向无穷大时，事件的频率和数学期望都趋向一个稳定值。

大量独立的随机变量，其均值分布以正态分布为极限。

好了，我们知道一个随机现象背后存在一个客 观整体规律，离散型我们可以用分布律来描述 ，连续性可以用概率密度函数来描述，那么我 们就需要根据有限次观察样本对其（总体）进 行估计。如何做呢？我们假设总体（连续型） 的概率密度函数为f(x,θ)，那么对总体的估计 就转化为θ的求值。

矩估计是三种方法中最简单粗暴的一种，它直 接令样本的一阶原点矩（数学期望）和总体的 一阶原点矩相等，而样本的数学期望是其算术 平均，而总体的数学期望是其概率密度函数f( x,θ)的积分，那么我们就可以计算出θ值

最小二乘法的方法就是计算每一个红点(Xi, Yi) 与(Xi, f(Xi,θ)) 的误差ΔYi = |Yi – f(Xi,θ)|，寻 找一个θ值，使(ΔY1)^2 + (ΔY2)^2 + .. (ΔY n)^2最小

最大似然估计的思想是，样本数(X1,X2,...Xn) 是已经发生了的事实，那么我们要寻找的总 体f(x,θ)(模型)应该是让这一组样本出现的概率最大，那么也就是f(X1,X2,...Xn,θ)最大，我们假设样本数(X1,X2,...Xn)都为独立同分布样本，那么定义L(x,θ)=