回归分析思维导图

我们最后理论说的回归分析指的是线性回归，到这里为止

已经达到了大学理工科对于这门课的知识储备的全部

在最近火的机器学习算法中，线性回归只是最基础的一种模型

实际的统计中还有相当多的模型比如logistic回归

我们的目的也只是对理论有些了解，方便之后对R的介绍

首先明白回归分析的目的：寻找两个变量的相关性

另外我们的讨论一直围绕着随机变量在进行

但是实际生活中，直接去研究变量本身很麻烦，因为我们讨论的是二者相关

如果把两种随机变量设为 ，并且认为 为自变量， 为因变量。那么实际情况就是要研究

要完全通过数据来模拟出这个值与 的关系是几乎不可能的

平方的函数，其性质往往相对其余次方的函数来说最好

因此把 的函数值 作为一种近似，并且对应的用方差来衡量误差的大小，是合情合理的

由于我们有n组数据，所以对于每一个数据点我们有

因此我们很容易算出它的联合密度，因此可以使用MLE来估计参数

这说明我们可以通过 来衡量 与 的关系，越小自然是越有效的

由于 这个参数是和我们规定的随机误差紧密联系的，而估计需要一系列的样本

因此我们会引入残差，也就是把每一个点的实际值去掉预测值

如何计算这个值？我们之前已经给定了一些记号，因此可以考虑用上考虑平方和的分解

实际的数据总不是那种完全的线性的，总是会存在一些误差，因此我们即使估计出了 也不敢去轻易使用

所以我们需要做检验，如果检验出来 的假设被接受了，那就很尴尬了

因为这就说明二者并没有线性关系。所以我们的假设检验就是

根据定理我们有同时我们之前已经估计了 因此我们有两个结论

显然，我们希望拒绝这个假设，这才能说明回归分析是有效的

同样，通过拒绝域的分析，我们还可以得到 b的置信区间

还有两个我们比较关心的量是回归函数的值和观测点的值

我们可以使用函数 的点估计。这是因为根据定理，这个统计量是无偏的

并且我们还可以得到这个估计量的方差因此我们可以得到和上面类似的一个正态分布的关系式

另一方面再结合上面已经得到的结论，总结一下就是和上面一样的道理，我们也很容易联想到t分布

如果我们要估计观测点的值，由于我们的估计值多了一个随机误差

所以它的方差增大了，根据定理（别想了，不会证的），它的置信区间是也就是方差多了一个1

有一些模型，两边取一下对数就很容易通过变量代换得到线性模型

多元线性回归模型就是多了一些自变量而已，也就是说模型变成了参数与自变量无关

那么样本也从原来的 所需要研究的残差平方和变成了求关于每一个参数的偏导（为了MLE），化简

我们引入矩阵那么因为式子过于庞杂，我们不再详细的列出过程，而是直接给出它的表示

我们在实际中可能会碰上诸如多项式回归的例子，只需要把两个参数设置为就可以代入数据与矩阵进行计算了

实际的运算中，因为矩阵计算庞杂，我们一般使用计算机去代替我们计算，也就是R