多元线性回归模型变量选择的总偏回归平方和法
作者：李进文 陈朝辉 孙燕 曾平
【摘要】 提出一个新概念总偏回归平方和(Pt， total partial regression sum of squares),将Pt定义为全部自变量Xi(i=1,2,…,m,m为自变量数目或个数)的偏回归平方和Pi之总和。根据Pi占Pt的比例Ri(Pi／Pt)，进行m+1个回归方程后，可选择出“较优”自变量组合，从而得到一至数个“较优”多元线性回归模型，以供进一步分析。
【关键词】 偏回归平方和； 总偏回归平方和； 多元线性回归； 变量选择
1 问题的提出
多元线性回归在诸多学科中有广泛应用。在多元线性回归的实际应用中，考虑的自变量Xi(i=1,2,…,m,m为自变量数目或个数)经常包括所有可能影响因变量Y的因素。在众多的Xi中，有的对Y有显著影响，有的影响很小甚至基本无影响。如果把对Y影响小的Xi保留在回归模型中，不仅增加收集数据和分析数据的负担，使得回归方程不稳定，而且会因Xi的数目过多而不便于使用。因此，自变量选择在理论和应用上都十分重要。自变量选择通常有两类方法［1~4］：一是全局择优法，可选出全局“最优”回归模型。该法是对自变量各种不同的组合所建立的回归方程进行比较，进而从全部组合中挑出一个“最优”回归方程。挑选“最优”回归模型的指标一般有R2法、校正R2法、残差均方和或剩余标准差最小法、Cp统计量法、AIC、BIC及AICC信息量准则等。对于给定的方法和准则，“最优”回归方程应从所有可能回归子集(共有2m-1个)选出。问题是，根据不同的方法和准则，选出的“最优”回归模型不一定相同，真正哪个回归模型“最优”，同样面临选择的困难。而且，从所有可能回归子集中选择“最优”回归方程，计算量较大或极大(视m值而定)。二是逐步选择法(包括前进法、后退法和逐步回归法)。每一种逐步选择法选出的“最优”回归方程不一定相同。同一种方法，给定的检验水准α(0.10,0.05,0.01,0.001)不同，选出的“最优”回归方程亦不同。而且，在确定哪些变量应当添加或者剔除时，采用的统计规则(显著性水平或者方差统计值的大小)都有一定的武断性［5］。笔者认为，从统计学意义上说，真正的最优回归方程是不存在或不可能得到的。与其花费大量的时间和高计算成本而得不到“最优”回归方程，不如少些武断性，用少量的时间和低计算成本得到1至数个“较优”多元线性回归模型以供选择，在实践中发挥相似的效果和作用。基于上述考虑，本研究从偏回归平方和的概念出发，提出一个概念总偏回归平方和(Pt total partial regression sum of squares)，Pt这个概念或术语，作者尚未见报道。借助Pt，我们提出简便实用的选择“较优”多元线性回归模型的总偏回归平方和法。
2 原理与方法
设1个应变量Y与m个自变量Xi(i=1,2,…,m,m为自变量个数)呈线性相关。从多元回归全模型中取消一个自变量Xi后，回归平方和U减少的部分，称为这个自变量Xi对Y的偏回归平方和(Pi)，即这个自变量Xi对Y的回归贡献。关于每个自变量Xi在多元回归中所起的作用大小，可通过相应Xi的偏回归平方和Pi来衡量。Pi表明对Y的回归贡献。Pi越大，表示相应的Xi在回归中对Y的作用越大；当Pi很小时，表示相应的Xi在回归中所起的作用越小。总偏回归平方和(Pt)表示全部Pi之和，如能计算出每个Pi与Pt之比Ri(Pi／Pt,Ri∈［0，1］)，根据Ri大小不同，可较快选择出“较优”自变量组合或子集。方法如下：① 估计全模型即包括所有自变量Xi回归方程的残差平方和Q：Q=Y’*Y-Y’*X*(X’*X)-1*X’*X② 计算每个自变量Xi的偏回归平方和Pi［2］：Pi=Qi-Q (i=1,2,…,m)(1)式(1)中Qi表示自变量Xi不在回归模型时的残差平方和，即Y与m-1个自变量X1，…，Xi-1，Xi+1…，Xm的选模型的残差平方和。Q为包括所有自变量Xi回归方程即全模型的残差平方和。至此所计算回归方程总数为m+1个。③ 计算总偏回归平方和Pt ：Pt=ΣPi (i=1,2,…,m)(2)④ 计算各Pi占Pt的比例：Ri=Pi／Pt (Ri∈［0,1］)(3)根据各Ri大小选择自变量，选出“较优”回归方程。⑤ 将Ri按由大到小秩序排列，然后计算累积Ri。一般地，可选择使累积Ri≥0?95(或0?85，0?90，0?99，需按数据的实际情况而定)的自变量组合，作为“较优”回归模型的自变量组合，从而得到所求“较优”回归方程。
3 实例
实例1Hald水泥问题是一多元回归的经典实例，在诸多［4，6］中均有研究，说明存在一些不确定的模型。用本法作变量选择，结果见表1。
表1 各自变量的偏回归平方和、总偏回归平方和及其比例与累积比例（略）
由表1可知，X1和X2的累积Ri为0.9878，而X4与X3对回归的贡献是微不足道的，两者的Ri均不到0?01，故“较优”自变量子集应为X∈{X1,X2}，这个结果与Cp统计量法选出的结果相同。如需选3个自变量进入回归方程，自变量子集应是X∈{X1,X2，X4}，而不是X∈{X1,X2，X3}，与用最小残差方差、最小残差标准差、R2及校正R2选出的结果相一致。但本法仅了m+1=5个回归方程子集便得到与用2m-1=15个回归方程子集相一致的结论，表明本法计算量明显减小。本法的结果亦与逐步选择法(包括前进法、后退法和逐步回归法)的结果相同。
实例2为了研究正常少年儿童心像面积Y与性别(X1)，年龄(X2)，身高(X3)，体重(X4)，胸围(X5)的关系，某单位调查了254名男性，267名女性，月龄在30月~178月的正常少年儿童，全部可能的回归方程的主要结果见文献［7］，应用本法选择自变量子集的数据见表2。
表2 各自变量的偏回归平方和、总偏回归平方和及其比例与累积比例（略）
由表2可知，自变量子集{X1,X3,X4}的累积Ri为0.9795≥0.95，故较优自变量子集应为X∈{X1,X3，X4}。如限定选2个自变量，自变量子集应是X∈{X1，X3}，其累积Ri为0.9100≥0.90。如限定选4个自变量，自变量子集应是X∈{X1,X3，X4，X5}，其累积Ri为0.9939≥0.99。本法仅计算了m+1=6个回归方程子集便得到与用2m-1=31个回归方程子集相一致的结论，进一步表明本法计算量小，结果可靠。
4 讨论
本研究在提出总偏回归平方和(Pt)概念的基础上，用Pt法选择自变量子集，进而优选出所需多元回归模型。本法的变量选择结果与全局择优法及逐步选择法的结果基本一致。本法计算量小，简便实用。本法的不足之处是累积Ri的选择标准亦有一定的主观性，标准不同，选出的自变量子集相异。另外，变量较多时，本法虽能选出“较优”回归模型，但不一定是在某一准则下“最优”的。这些尚有待进一步研究。
【文献】
1 孙振球，徐勇勇?医学统计学?第1版?北京：人民卫生出版社，2002，242~251?
2 高惠璇?统计计算?第1版?北京：北京大学出版社，2005，313~324?
3 柳青，主编?医学统计百科全书(多元统计分册)?第1版?北京：人民卫生出版社，2004，26~31.
4 黄小兰?比较几种挑选“最优”回归模型的指标?中国卫生统计，1988，5(4)：23?
5 Quinn GP, Keough MJ(蒋志刚，等译)?生物实验设计与数据分析?第1版?北京：高等出版社，2003，142~148.
6 吕纯廉，等?线性模型中变量和变换的同时选择?数值计算与计算机应用，2005，26(1)：26?
7 郭祖超，主编?医用数理统计方法?第3版?北京：人民卫生出版社，1988，420~432.
