
结论:连接函数(link function)的作用是建立广义线性模型的似然函数的自然参数 与回归方程——也即条件期望的之间的联系。
统计学上的回归(模型)方程,定义为响应变量 在给定解释变量 时的条件期望. 当条件期望在形式上可表达为依赖于参数 的 线性预测子 时,也即 时则称之为线性回归 (模型)。
若考虑响应变量 具有依赖于自然参数的分布 时,我们往往希望建立的关系——这样便建立了解释变量与响应变量的一种统计模型。根据 与 得出 . 我们称 这样的模型为广义线性模型 (Generalized Linear Model)。
不难看出广义线性模型 (Generalized Linear Model)是一般线性模型(General Linear Model)的推广:在一般线性模型中,假设响应变量 服从正态分布 , 则模型方程为 . 由于正态分布具有线性变换的不变性这一良好性质,故我们能把一般线性模型写成 这种"响应变量=回归方程+随机噪声"的形式。然而,大多数情况下响应变量 服从的分布并不具备正态分布这样的优良性质,也即响应变量的自然参数无法直接建立与 的关系,因此引进连接函数 ,作为建立这二者相等关系的桥梁,进而建立自然参数与线性预测子的关系。
假设响应变量(Response Variable) 服从如下形式的分布:
其中 被称为“典范参数”(canonical parameter)或“自然参数”(natural parameter), 被称为“分散参数”(dispersion parameter); 仅与 相关,这种形式的分布族也称作典范指数分布族(canonical exponential family)。这个家族的分布包括但不限于正态分布、指数分布、beta分布、gamma分布、泊松分布、二项分布、多项分布等。
式(1)的对数似然函数为:
由指数分布族的性质和似然估计的一些理论,不难得出如下结论(参考 Casella and Berger Statistical Inference Second Edition, Theorem 3.4.2, p112; Corollary 7.3.10 and Lemma 7.3.11, p337~p338):
;
; i.e.
;
也即
其中 为 关于 的一阶导数, 为 关于 的二阶导数。
由于 所以
其中, 表示 的逆函数。
所谓连接函数建立的是 与 的关系,即
若在(5)中,取(4)中的函数 ,则 ; 称 为“典范连接函数"(Canonical Link function). 在应用广义线性模型时,我们往往使用典范连接函数建立自然参数 与条件期望 相等关系,也即:
根据具体的分布函数,典范参数与典范连接函数有不同的表达形式。
典范参数 ;
进而
典范连接函数:
线性回归中的正则连接函数为就是 本身,也称之为”恒等连接函数“(identity link function):
2.泊松回归:假设 服从泊松分布:
: 典范参数:
进而
典范连接函数: 也称为“对数连接函数”(log link function):
模型:
3. logistic回归:假设 服从二项分布: 已知;
典范参数:
进而
典范连接函数:
模型方程:
4. Gamma回归:假设 服从Gamma分布:其中 已知;即
典范参数:
进而
典范连接函数:
模型方程: 其中 已知; 或 .
实际数据分析时,大多统计分析软件(SAS proc genmod, R的glm package等)一般运用“迭代再加权最小二乘估计”(iterative re-weighted least square estimation, IRLS)的算法得到回归系数 的估计值。
(注:以上公式中log即为ln).
