广义线性模型中, 联系函数(link function) 的作用是不是就是将不是正态分布的Y转换成正态分布?

广义线性模型中, 联系函数(link function) 的作用是不是就是将不是正态分布的Y转换成正态分布?

结论:连接函数(link function)的作用是建立广义线性模型的似然函数的自然参数 与回归方程——也即条件期望的之间的联系。

统计学上的回归(模型)方程,定义为响应变量 在给定解释变量 时的条件期望. 当条件期望在形式上可表达为依赖于参数 的 线性预测子 时,也即 时则称之为线性回归 (模型)。

若考虑响应变量 具有依赖于自然参数的分布 时,我们往往希望建立的关系——这样便建立了解释变量与响应变量的一种统计模型。根据 与 得出 . 我们称 这样的模型为广义线性模型 (Generalized Linear Model)。

不难看出广义线性模型 (Generalized Linear Model)是一般线性模型(General Linear Model)的推广:在一般线性模型中,假设响应变量 服从正态分布 , 则模型方程为 . 由于正态分布具有线性变换的不变性这一良好性质,故我们能把一般线性模型写成 这种"响应变量=回归方程+随机噪声"的形式。然而,大多数情况下响应变量 服从的分布并不具备正态分布这样的优良性质,也即响应变量的自然参数无法直接建立与 的关系,因此引进连接函数 ,作为建立这二者相等关系的桥梁,进而建立自然参数与线性预测子的关系。

假设响应变量(Response Variable) 服从如下形式的分布:

其中 被称为“典范参数”(canonical parameter)或“自然参数”(natural parameter), 被称为“分散参数”(dispersion parameter); 仅与 相关,这种形式的分布族也称作典范指数分布族(canonical exponential family)。这个家族的分布包括但不限于正态分布、指数分布、beta分布、gamma分布、泊松分布、二项分布、多项分布等。

式(1)的对数似然函数为:

由指数分布族的性质和似然估计的一些理论,不难得出如下结论(参考 Casella and Berger Statistical Inference Second Edition, Theorem 3.4.2, p112; Corollary 7.3.10 and Lemma 7.3.11, p337~p338):

;

; i.e.

;

也即

其中 为 关于 的一阶导数, 为 关于 的二阶导数。

由于 所以

其中, 表示 的逆函数。

所谓连接函数建立的是 与 的关系,即

若在(5)中,取(4)中的函数 ,则 ; 称 为“典范连接函数"(Canonical Link function). 在应用广义线性模型时,我们往往使用典范连接函数建立自然参数 与条件期望 相等关系,也即:

根据具体的分布函数,典范参数与典范连接函数有不同的表达形式。

典范参数 ;

进而

典范连接函数:

线性回归中的正则连接函数为就是 本身,也称之为”恒等连接函数“(identity link function):

2.泊松回归:假设 服从泊松分布:

: 典范参数:

进而

典范连接函数: 也称为“对数连接函数”(log link function):

模型:

3. logistic回归:假设 服从二项分布: 已知;

典范参数:

进而

典范连接函数:

模型方程:

4. Gamma回归:假设 服从Gamma分布:其中 已知;即

典范参数:

进而

典范连接函数:

模型方程: 其中 已知; 或 .

实际数据分析时,大多统计分析软件(SAS proc genmod, R的glm package等)一般运用“迭代再加权最小二乘估计”(iterative re-weighted least square estimation, IRLS)的算法得到回归系数 的估计值。

(注:以上公式中log即为ln).