半参数模型估计方法概述

摘 要:半参数回归模型,是由Engle etal(1986)在研究天气变化与供电需求之间的关系时引入的,是20世纪80年代以来发展起来的一种重要的统计模型。主要介绍了两类半参数回归模型:线性半参数回归模型和非线性半参数回归模型。概述了目前两类半参数回归模型常见的估计方法,这其中主要包括补偿最小二乘估计、核光滑估计,虚拟观测法等。

关键词:线性半参数回归模型;非线性半参数回归模型;补偿最小二乘估计;正则核估计;虚拟观测法

中图分类号:O1

文献标识码:A

文章编号:1672-3198(2010)05-0321-03

1 线性半参数模型的估计方法概述

线性半参数模型的一般向量形式为:

Y=Xβ+S+ε(1)

其中Y表示为n维观测向量,Y=(Y1,Y2,…,Yn)T;X为n×p维列满秩设计矩阵,X=(X1,X2,…,Xn)T,rank(X)=p;β为p维参数向量,β=(β1,β2,…,βp)T;ε为n维偶然误差向量,εN(0,∑),ε=(ε1,ε2,…,εn);S表示描述系统误差的n维非参数向量,S=(S1,S2,…,Sn)T。

1.1 补偿最小二乘估计法

对于线性半参数回归模型,将上式改写成观测方程:

Y+V=Xβ+S(2)

得出V=Xβ+S-Y,将此带入VTPV+αJ(S)=min化简整理为

(Xβ+S-Y)TP(Xβ+S-Y)+αSTRS=min(3)

由此可以按照求极值方法求解,即满足:

(X,I)βS-YTP(X,I)βS-Y+

αβT,ST000R(β,S)=min(4)

则法方程为:

XTPXXTPPXP+αR

βS=XTPXPY(5)

从而有

XTPXβ+XTPS=XTPY,PXβ+(P+αR)S=PY,

由此可以得到

=(XTPX)-1XTPY-(XTPX)-1XTPS(6)

=(P+αR-PX(XTPX)-1XTP)-1(PY-PX(XTPX)-1XTPY)(7)

补偿最小二乘法的关键是如何确定光滑因子α和正则矩阵R,对于α的选择方法可由交叉核实法CV以及L-曲线法等方法确定。正则矩阵R是一个具有正则特征的矩阵,它的作用在于半参数模型是否可解,其中R的构成可由三次样条曲线法或矩阵构造法来实现。

1.2 正则核估计方法

将半参数模型改写为:Y=BX+S+ε,式中B为n×t固定(或随机)设计满秩(或秩亏)矩阵,si=s(i)。

根据最小二乘原理得到法方程:

BTPBX+BTPS=BTPY(8)

式中,P为正定方阵,是观测值Y的权。未知量为参数X和非参数S,共有(t+n)个,而方程有n个。所以从上式无法得到唯一解。

可以首先假设待估参数X是已知的,然后基于i,yi-bTiXni=1做出s的非参数估计

s(k,X)=∑ni=1Wi(k)(li-bTiX)(9)

将(9)代入式(8),整理得误差方程

εk=yk-bTkX-∑ni=1Wi(k)(yi-bTiX)(10)

按照最小二乘原理,并整理成向量形式得法方程为

BT(I-W)TP(I-W)BX=BT(I-W)TP(I-W)Y(11)

式中,W=Wi(j)ni,j=1。

设(I-W)TP(I-W)=则可以得到X的估计X估计值

X=(BTB)-1BTY(12)

得到S的估计值为

S=W(Y-BX)(13)

观测值的残差向量为

ε=(I-W)(Y-BX)(14)

观测值的平差估计值为

Y=BX+S=hY(15)

式中,h=W+B(BTB)-1BT(I-W),成h为帽子矩阵。

上述方法中W=Wi(j)ni,j=1的构造是关键的问题,在此提出正则核估计方法。当观测值中包含有系统误差时,会在残差中体现出来。可以基于数据集Mi,yi-bTiXni=1来做出S的非参数估计,实际上是一个回归估计。最简单的方法是建立一个线性回归方程,其中i∈Rm为随机变量,可以选取与系统误差产生相关的量。

S()=WT=∑mi=1ωiφi(16)

使其成为M的最优插值,符号=1,2,…,m表示m维自变量,W=w1,w2,…,wm表示回归参数。

令l=Y-BX,根据最小二乘原理,定义回归准则为

λW2+(l-ΦTW)T(l-ΦTW)=min(17)

其中,是一个正数,称为正则化参数。它定义范数和损失之间的相对均衡,从而控制正则化的程度,Φ=1,2,…,m。

取(17)式参数的导数,解得

W=T+λIm-1Tl(18)

其中Im是m×m的单位矩阵。

得到S的非参数估计回归函数

S()=(W,)=lTΦ(ΦTΦ+λIm)-1(19)

核估计是出现比较早且比较成熟的方法,但有一定得缺陷,即在边界处估计得性能不好,引起方差增大,通常称为边界效应,为此,Fan和Gijbels提出了利用局部多项式方法来拟合非参数回归模型中的未知参数,能更好地弥补核估计的这一不足,同时保留了他的其他优点并发展到时间序列数据中的局部线性拟合。

现在使用的线性模型或多或少都带有某种程度的近似。随着科学技术和近代统计学的飞速发展,不能化为线性模型的非线性模型也越来越多,农业、生物、经济、工程技术等领域都提出了许多非线性模型以及其它非线性统计问题,从而使非线性模型估计的研究具有了重要的理论与实际意义。非线性模型估计是线性模型估计得推广,目前对于非线性参数模型估计理论的研究还不成熟,对非线性模型非参数和半参数估计得研究尚处于初级阶段。

2 非线性半参数模型的估计方法概述

2.1 补偿最小二乘法

在常规线性半参数模型基础上将参数部分加以拓展便可得到更为一般的半参数模型-非线性半参数模型,模型形式如下:

Y=f(X,β)+S+ε(20)

其中f是已知二次可微的函数,其它的量与线性的半参数回归模型相同。

将模型(20)改写成观测方程,有

Y+V=f(X,β)+S(21)

则V=f(X,β)+S-Y,将此带入VTPV+αSTRS=min化简整理为

(f(X,β)+S-Y)TP(f(X,β)+S-Y)+αSTRS=min(22)

将f(X,β)运用非线性模型的解法加以计算,先将f(X,β)在β=β0处用泰勒公式展开

f(X,β)=f(X,β0)+f′(X,β0)(β-β0)+o((β-β0))(23)

则(22)式对应的法方程为

[f′(X,β0)]TP[f′(X,β0)]β+[f′(X,β0)]TPS=[f′(X,β0)]TPY(24)

Pf′(X,β)β+(P+αR)S=PY(25)

然后在(22)式条件下利用Newton-Raphson算法迭代可以求得(21)式的补偿最小二乘解

β(k+1)=βk+[f′(X,βk)]Tp[f′(X,βk)]-1[f′(X,βk)]Tp[Y-S(k)-f′(X,β(k))]

S(k+1)=(P+αR)-1pY-f′(X,β(k))

其中p=Σ-1,Σ为偶然误差向量ε的方差。对于光滑因子α和正则矩阵R的确定可采用同线性半参数模型中补偿最小二乘估计方法中的方法。

2.2 虚拟观测法

以上几种算法相对有些抽象,所以在实际应用中存在一定得苦难,为此,我们提出下面的虚拟观测法。对于先验信息,如果相邻时刻的模型误差或系统误差相差不大,即可以用虚拟观测:

li=Si+1-Si=0(26)

表示。虚拟观测用误差方程形式可以表示为

l+v=

-11……

0-11…

………

……-11

S1S2S3S4

(27)

即

l+v=AtS(28)

其中l为虚拟观测变量,并且有l=0,v为虚拟观测的残差向量。对于上述先验信息下的虚拟观测值,赋以等权且知,观测方差未知,从而将虚拟观测权表示为:

Pl=αI(29)

其中α为观测方差和虚拟观测方差的方差比。

虚拟观测与实际观测联合的观测方程为:

Y+V=f(A,X)+S

l+v=AlS(30)

在最小二乘准则:

VTPV+vTPlv=min(31)

下,可求得法方程为:

XTPXβ+XTP=XTPY

PXβ+(Pq+XTqPqXq)S=PY+XTqPqXq(32)

最后可求得

β=(XTPX)-1XTPY-(XTPX)-1XTPS=(XTPX)-1XTP(Y-S)(33)

将(33)式带入到(32)式中的第二式可求得:

S=P+XTqPqXq-PX(XTPX)-1XTP-1

PY+XTqPqXq-PX(XTPX)-1XTPY

以上两式就是线性半参数回归模型的虚拟观测法的解。

本文主要介绍了半参数模型中的补偿最小二乘法,正则核估计法和虚拟观测法,是因为这些方法存在应用到研究金融时间序列的可能性。而像虚拟似然估计法如果应用到金融研究中就会受到很大的限制。

参考文献

[1]Bonneu, M., Delecroix, M. & Malin, E. Semiparametric versus nonparametric estimation in single index regression model: A computational approach, Computational Statistics,1993,(8):207-222.

[2]Cui Hengjian and Li Rongcai. On parameter estimation for semi-linear errors-in-variables models[J]. Journal of Multivariate Analysis,1988,(64):1-24.

[3]Denby, L. Smooth regression functions, Statistical report, 1986,(26), AT&A Bell Laboratories.

[4]柴根象,洪圣岩.半参数回归模型[M].合肥:安徽教育出版社,1995.

[5]冉颢,朱仲义.半参数回归模型的异方差统计分析[J].应用概率统计,2004,(20):83-90.

[6]孙海燕,吴云.半参数回归与模型精化[M].武汉:武汉大学学报信息科学版,2002,27(2):172-174.

[7]曹轶之,隋立芳,高成胜.半参数模型估计的正则核方法[J].测绘科学技术学报,2008,25(4):284-285.[8]钱伟民,柴根象.半参数回归模型小波估计的强逼近[J].中国科学(A辑),2008,25(4):284-287.

[9]朱建军,冯光财,戴吾蛟.半参数回归模型结算的一种虚拟观测法[J].工程勘测,2006,(9):53-57.