统计¶
普通最小二乘估计的假设条件
- 因变量\(Y\)与自变量\(X\)之间是 线性 关系。
- 自变量之间 不存在多重共线性 ，即\(\left(X^{\prime} X\right)^{-1}\)存在。
- 误差项的 条件均值为\(0\) ，即\(E\left[u \mid X\right]=0\)。
- 误差项之间 同方差且不相关 ，即\(E\left[u u^{\prime} \mid X\right]=\sigma^2 I_T\)。
- \(\left(Y_t, X_t\right)\) 独立同分布 。
- 误差项是 正态分布 的。
假设 1-4 可推出：普通最小二乘估计是最小方差线性无偏估计（BLUE）。
假设 1-3 与假设 5 可推出：普通最小二乘估计具有一致性。
假设 6 并不影响普通最小二乘估计是最小方差线性无偏估计，它是为了便于在有限样本下对回归系数进行统计检验。
普通最小二乘估计的方差与高斯 - 马尔可夫定理
本文计算了普通最小二乘估计的方差，并证明了高斯 - 马尔可夫定理。
普通最小二乘估计的方差：
\[
\begin{aligned}
\operatorname{Var}(\underbrace{\beta^{O L S}}_ {(K+1) \times 1} \mid X)&=\sigma^2 \underbrace{\left(X^{\prime} X\right)^{-1}} _ {(K+1) \times (K+1)}
\end{aligned}
\]
高斯 - 马尔可夫定理（Gauss-Markov Theorem）
在线性回归模型中，如果线性模型满足高斯马尔可夫假定，则回归系数的最佳线性无偏估计（BLUE, Best Linear Unbiased Estimator）就是普通最小二乘法估计。
普通最小二乘估计的无偏性和一致性
本文证明了普通最小二乘估计的无偏性和一致性。
无偏性：
\[
E\left[\beta^{O L S}\right]=\beta
\]
一致性
\[
\beta^{O L S}-\beta=\left(X^{\prime} X\right)^{-1} X^{\prime} u \stackrel{p}{\rightarrow} 0 \text { as } T \rightarrow \infty
\]
线性回归的普通最小二乘估计
本文推导了线性回归的普通最小二乘估计量的矩阵形式，并在一元线性回归的情境下给出了求和形式的表达式。 $$ Y=X \widehat{\beta}+e $$
\[
\beta^{O L S}=\left(X^{\prime} X\right)^{-1} X^{\prime} Y
\]
在一元线性回归的情境下：
\[
\beta_1^{O L S} =\frac{\overline{X Y}-\overline{X} * \overline{Y}}{\overline{X^2}-\left(\overline{X}\right)^2}
\]
\[
\beta_0^{O L S} =\frac{\overline{X^2} * \overline{Y}-\overline{X} * \overline{X Y}}{\overline{X^2}-\left(\overline{X}\right)^2}
\]
梯度下降和 MCMC 实现逻辑回归的 LASSO 形式
本文使用梯度下降法、随机梯度下降法、坐标下降法和基于贝叶斯后验的 MCMC 采样法实现带有 L1 惩罚项的逻辑回归，并在银行客户流失数据集上进行实证检验。
样本方差的无偏性
样本方差的分母是 n-1，这使得样本方差是总体方差的无偏估计。
在 pandas 中计算方差
pandas 默认的.var()方法计算的是样本方差，即自由度为\(N-1\)。若想计算总体方差，需指定参数ddof=0(1)。
- Delta Degrees of Freedom。当指定
ddof时，计算方差的分母为N-ddof。
总结
- pandas 中的
var()默认的自由度是 n-1，即var(ddof=1)； - NumPy 中的
var()默认的自由度是 n，即var(ddof=0)； - pandas 中的
var(ddof=0)相当于 NumPy 中的var()。
随机抽样之 MCMC 算法
MCMC 算法是一种随机抽样算法。借助建议分布，可以在各个样本状态之间进行转移，最终得到目标分布的样本。本文使用了逐分量 MCMC、随机游走和独立性抽样构造 Ising 分布和二元正态分布的随机样本。
方差分解公式
应用重期望公式，证明方差分解公式。 $$ \operatorname{Var}(X)=\operatorname{Var}(\mathrm{E}[X \mid Y])+\mathrm{E}[\operatorname{Var}(X \mid Y)] $$