线性回归中多重共线性处理——主成分分析法

多重共线性

在进行多重线性回归时，有一个隐含假设为各个自变量之间相互独立；若自变量之间存在线性相关关系，则称存在多重共线性。

怎么判断自变量之间存在多重共线性？常用的评价指标有两个：容许度和膨胀因子（VIF）。容许度=1-Rj^2。其中的R是第j个自变量与其余变量进行回归时的判定系数。容许度越接近1，表示多重共线性越弱。膨胀因子:膨胀因子是容许度的倒数。膨胀因子越接近1（膨胀因子理论最小值是1），表示解释变量之间的多重共线性越弱，通常膨胀因子<10是弱多重共线性。若膨胀因子>=10,说明膨胀因子存在严重多重共线性。

在SPSS中可以通过在回归分析时勾选“统计”选项卡的“共线性诊断”自动计算容许度和膨胀因子，来判断自变量是否高度相关，是否存在多重共线性问题。

多重共线性的处理方法

若自变量之间存在多重共线性就需要对自变量进行处理后才能进行回归分析，处理方法为主成分分析（Principal Component Analysis，PCA）。

1 PCA

主成分分析法是运用降维的思想将一组高度相关的自变量转换为一组相互独立的、不存在线性关系的变量，转换后的变量称为主成分，主成分可反映原始数据的大部分信息。一般在自变量个数太多或者存在严重相关关系时使用主成分分析对自变量进行处理，主成分分析一般作为研究中的一个中间环节。

2 常用统计量

主成分分析中的几个统计量：

⑴特征根。主成分特征根的大小可反映该主成分的影响力度，表示该主成分可以解释平均多少个原始变量的信息。例如若特征根λi=3.998，表示该主成分可以解释平均3.998个原始变量。若特征根λi<1表示该主成分的解释力度还不如一个原始变量的解释力度大，因此常将特征根大于1作为引入某个主成分的标准。

⑵主成分Zi的方差贡献率。主成分的方差反映该主成分含原变量总信息量的百分。

⑶累积贡献率。将k个主成分的方差贡献率按照从大到小的顺序排列，累计贡献率指前k个主成分的方差贡献率之和，反映前k个主成分可提取百分之多少的原始变量的信息。在确定主成分个数时，一般选择累积贡献率达到70%-85%的前k个主成分。

3 PCA的用途

⑴主成分评价

在进行多指标综合评价时，可使用主成分分析对指标进行浓缩、确定权重。（即用于评价指标的研究）

⑵主成分回归

在进行回归分析时，若自变量之间存在高度相关性，则可使用PCA将自变量转换为相互独立的的新的自变量。

实例分析

第一步数据标准化
（1）依次选择【分析】→【描述统计】→【描述】，将变量y，x1，x2，x3 选入“变量”对话框，勾选“将标准化得分另存为变量”，点击“确定”。