本文将把OLS回归，从小样本推行到大样本的现象。关于小样本OLS回归，可见《小样本OLS回归的结构》和《小样本OLS回归整理》。

虽然在大样本下，假定、推导、结论都与在小样本现象下不同，但全体的思路还是相同的：

  • 进行点估计，再研讨估计量的性质；
  • 结构统计量，在大样本下推导其渐近散布，并进行假定查验。

本文考虑大样本现象中最简略的状况：独立同散布的随机样本。

1 记号与假定

由于可能会考虑到时间序列的现象，因而这儿关于单个样本的下标选用tt，不再用ii。记Q=E(xtxt′)Q=text{E}(x_t x_t’)，V=Var(xtt)V=text{Var}(x_tvarepsilon_t)，其他记号与小样本现象下相同。

  • 假定1 独立同散布：{xt′,yt}′{x_t’,y_t}’，t=1,…,Nt=1,ldots,N是可观测的独立同散布的随机样本；
  • 假定2 线性性：yt=xt′+ty_t=x_t’beta+varepsilon_t，可写作矩阵办法y=X+y=Xbeta+varepsilon；
  • 假定3 模型正确设定：E(t∣xt)=0text{E}(varepsilon_t|x_t)=0且E(t2)=2<∞text{E}(varepsilon_t^2)=sigma^2<infty；
  • 假定4 非奇异性：KKKtimes K矩阵QQ是对称、有限、非奇异的；
  • 假定5：KKKtimes K矩阵VV是对称、有限、正定的；
  • 假定6 条件同方差：E(t2∣xt)=2text{E}(varepsilon_t^2|x_t)=sigma^2。

由假定1与假定3，可推出E(t∣X)=0text{E}(varepsilon_t|X)=0，即满意了严厉外生性。另外，由于有假定3的确保，V=Var(xtt)=E(xtxt′t2)V=text{Var}(x_tvarepsilon_t)=text{E}(x_t x_t’ varepsilon^2_t)。

能够看到，在大样本下，不需要对扰动项作出正态散布的假定。而这儿的独立同散布假定，也确保了扰动项无自相关，因而，在后续的推导中，只需要考虑假定6是否满意即可。若满意假定6，那么假定5可由假定4确保，若不满意假定6即存在条件异方差，能够用E(t4)<∞text{E}(varepsilon_t^4)<infty和E(xtk4)<∞text{E}(x_{tk}^4)<infty联合确保假定5的矩条件。在推导后续结论时，一般要对是否满意假定6做分类谈论。

2 一些定理

定理1 独立同散布随机样本的弱大数规矩：假定{Zt}t=1n{Z_t}_{t=1}^n为独立同散布随机样本，E(Zt)=text{E}(Z_t)=mu且E(∣Zt∣)<∞text{E}(vert Z_tvert)<infty，定义Zn=n−1∑t=1nZtbar Z_n=n^{-1}sum_{t=1}^{n}Z_t，则当n→∞nto infty时，有Zn→pbar{Z}_n xrightarrow{p}mu。

定理2 独立同散布随机样本的多元中心极限定理：若{Zt}t=1n{Z_t}_{t=1}^n为独立同散布随机样本，E(Zt)=0text{E}(Z_t)=0且Var(Zt)=Vtext{Var}(Z_t)=V为有限、对称、正定的矩阵。定义Zn=n−1∑t=1nZtbar{Z}_n=n^{-1}sum_{t=1}^{n} Z_t，则当n→∞ntoinfty时，有
nZn→dN(0,V)sqrt{n}bar{Z}_nxrightarrow{d}mathcal{N}(0,V)

定理3 依概率收敛的连续性：若当n→∞ntoinfty时，An→pAA_nxrightarrow{p}A，Bn→pBB_nxrightarrow{p}B，且g(⋅)g(cdot)和f(⋅)f(cdot)都是连续函数，则

g(An)+h(Bn)→pg(A)+h(B)g(An)h(Bn)→pg(A)h(B)begin{aligned} g(A_n)+h(B_n)&xrightarrow{p}g(A)+h(B) g(A_n)h(B_n)&xrightarrow{p}g(A)h(B) end{aligned}

定理4 Slutsky定理：若Zn→dZZ_nxrightarrow{d}Z，an→paa_nxrightarrow{p}a且bn→pbb_nxrightarrow{p}b，其间aa和bb是常数，则当n→∞ntoinfty时有an+bnZn→da+bZa_n+b_nZ_n xrightarrow{d}a+bZ。

3 ^hatbeta的性质

beta的点估计与小样本现象相同：^=(X′X)−1X′yhatbeta=(X’X)^{-1}X’y。在后续推导中，首要用到的是^hatbeta与beta之差，^−=(X′X)−1X′hatbeta-beta=(X’X)^{-1}X’varepsilon。

为方便地运用大数规矩和中心极限定理，可将它改写为^−=(1NX′X)−1(1NX′)hatbeta-beta=(dfrac{1}{N}X’X)^{-1}(dfrac{1}{N}X’varepsilon)。若将矩阵办法翻开，上式就变为

^−=(1N∑t=1Nxtxt′)−1(1N∑t=1Nxtt)hatbeta-beta=(dfrac{1}{N}sum_{t=1}^{N}x_t x_t’)^{-1}(dfrac{1}{N}sum_{t=1}^{N}x_tvarepsilon_t)

其间1N∑t=1Nxtxt′=1NXX′dfrac{1}{N}sum_{t=1}^{N}x_t x_t’=dfrac{1}{N}XX’其实就是QQ的样本矩办法，记为Q^hat Q。由大数规矩，Q^→pQhat Qxrightarrow{p}Q，而矩阵求逆操作可视为连续函数，因而有Q^−1→pQ−1hat {Q}^{-1}xrightarrow{p}Q^{-1}。

相同使用大数规矩和假定3，可得1N∑t=1Nxtt→pE(xtt)=0dfrac{1}{N}sum_{t=1}^{N}x_tvarepsilon_t xrightarrow{p} text{E}(x_tvarepsilon_t)=0。再由定理3，可知^−→p0hatbeta-betaxrightarrow{p}0。这就是估计量^hatbeta的一起性。

4 ^hatbeta的渐近散布及假定查验

4.1 ^hatbeta的渐近散布

由中心极限定理可得

N⋅1N∑t=1Nxtt→dN(0,V)sqrt{N}cdotdfrac{1}{N}sum_{t=1}^{N}x_tvarepsilon_txrightarrow{d}mathcal{N}(0,V)

因而

N(^−)→dN(0,Q−1VQ−1)sqrt{N}(hatbeta-beta)xrightarrow{d}mathcal{N}(0,Q^{-1}VQ^{-1})

它的渐近散布的方差又称为渐近方差，记为Avar(N^)=Q−1VQ−1text{Avar}(sqrt{N}hatbeta)=Q^{-1}VQ^{-1}。

若满意假定6，即在条件同方差下，V=2QV=sigma^2Q，渐近散布就变成了

N(^−)→dN(0,2Q−1)sqrt{N}(hatbeta-beta)xrightarrow{d}mathcal{N}(0,sigma^2 Q^{-1})

4.2 假定查验

查验零假定H0:R=rH_0: Rbeta=r，其间RR为JKJtimes K矩阵。

4.2.1 条件异方差

若零假定建立，则R(^−)=R^−rR(hatbeta-beta)=Rhatbeta-r，而左面的渐近散布现已知道了，因而，可结构

N(R^−r)′(RQ−1VQ−1R′)−1N(R^−r)→dJ2sqrt{N}(Rhatbeta-r)'(RQ^{-1}VQ^{-1}R’)^{-1}sqrt{N}(Rhatbeta-r)xrightarrow{d}chi^2_J

式中的QQ和VV我们还需要进行估计。由前文可知Q^→pQhat Qxrightarrow{p}Q，关于VV，我们相同可其用样本办法估计：

V^=N−1∑t=1Nxtxt′et2=X′D(e)D(e)′XNbegin{aligned} hat V&=N^{-1}sum_{t=1}^{N}x_tx_t’ e_t^2 &=dfrac{X’D(e)D(e)’X}{N} end{aligned}

其间D(e)=diag(e1,…,eN)D(e)=text{diag}(e_1,ldots,e_N)。

能够证得，V^→pVhat Vxrightarrow{p}V。证明只需将ete_t写为et=t−(^−)′xte_t=varepsilon_t-(hatbeta-beta)’x_t后代入V^hat V中，然后逐项推导依概率收敛即可。

毕竟，我们用Q^hat Q和V^hat V进行替换，得：

N(R^−r)′(RQ^−1V^Q^−1R′)−1(R^−r)→dJ2N(Rhatbeta-r)'(Rhat{Q}^{-1}hat Vhat{Q}^{-1}R’)^{-1}(Rhatbeta-r)xrightarrow{d}chi^2_J

当J=1J=1时，12chi^2_1开根号就是规范正态散布，因而可直接结构tt统计量：

N(R^−r)RQ^−1V^Q^−1R′→dN(0,1)dfrac{sqrt{N}(Rhatbeta-r)}{sqrt{Rhat{Q}^{-1}hat{V}hat{Q}^{-1}R’}}xrightarrow{d}mathcal{N}(0,1)

值得注意的是，在大样本下，tt统计量的tN−Kt_{N-K}散布变成了规范正态散布。

4.2.2 条件同方差

若满意假定6，则V=2QV=sigma^2 Q，代入上一节，有

N(R^−r)′(2RQ^−1R′)−1(R^−r)→dJ2N(Rhatbeta-r)'(sigma^2 Rhat{Q}^{-1}R’)^{-1}(Rhatbeta-r)xrightarrow{d}chi^2_J

与小样本现象中遇到的问题相同，由于不知道2sigma^2的值，无法直接核算统计量。因而，可相同用s2s^2替代2sigma^2，这也是一起估计量，即s2→p2s^2xrightarrow{p}sigma^2。毕竟可得

N(R^−r)′(s2RQ^−1R′)−1(R^−r)→dJ2N(Rhatbeta-r)'(s^2 Rhat{Q}^{-1}R’)^{-1}(Rhatbeta-r)xrightarrow{d}chi^2_J

当J=1J=1时，可得

N(R^−r)s2RQ^−1R′→dN(0,1)dfrac{sqrt{N}(Rhatbeta-r)}{sqrt{s^2 Rhat{Q}^{-1}R’}}xrightarrow{d}mathcal{N}(0,1)