GLM: 迴歸,變異數,共變數分析的整合工具
General Linear Model

An Integrated Modeling Tool for

Regression, ANOVA, and ANCOVA

神掌打通任督二脈‧易筋經以簡馭繁

多因子分析常用模型簡介多變項-多因子分析常用模型簡介

一般線性模型特色

一般線性模型發展

當前一般線性模型定義

迴歸與變異數分析的整合

迴歸與共變數分析的整合

調節模型迴歸線法之視覺輔助

廣義線性模型 Generalized Linear Model, GLM/GLZ

統計模型的發展與統計史觀的分界 


一般線性模型特色

一般線性模型(General linear model, GLM)又稱為「多變項線性迴歸(Multivariate linear regression, MLR)」,是整合各種資料型態、各種建構變項(如交互作用項)、各種理論類型檢定的基礎線性模型;在統計軟體上,則是可以檢定各種多變項模型:調節模型共變模型中介模型因徑分析/結構方程模型其他多應變項模型的單一分析與建模工具。

一般線性模型也可以檢定多元迴歸模型,不過實務上,通常習慣分開使用。

一般線性模型包括處理積項、二次曲線的能力,但還是稱為線性模型。

(multivariate linear regression/ general linear model, GLM)注意:一般線性模型與多元迴歸模型這兩者差別的定義-即使是科普級的定義,對不是非常喜歡統計的人,讀來大概是一頭霧水。

統雄老師建議:由實務應用角度理解:多元迴歸的自變項必須是連續資料,而 GLM可以是類別資料。多元迴歸的應變項必須為單一個,而 GLM可以是兩個以上。

亦即, 一般線性模型包含多元迴歸模型。

理論概念模型

分析方法與其說明

一般線性模型

 

包括:

多元迴歸模型

調節模型

共變模型

中介模型

因徑分析/結構方程模型

其他多應變項模型

目的

整合各種資料型態、各種建構變項(如交互作用項)、各種理論類型檢定的基礎線性模型。

SPSS 工具

不分資料型態

一般線性模型 General Linear Model

人為轉換資料的型態

譬如連續資料可以轉換為「高、中、低」的類別資料。而二元類別資料(如性別),也可以轉換為「1、2」具有方向性的連續「虛擬資料(dummy data)」。

一般線性模型發展

一般線性模型的發展歷程,文獻上有2種論述:

一、由多元迴歸分析發展

經由對多元迴歸的研究,發展出對自變項為類別資料的分析方法,但沒有明確命名者的記載

二、因資訊系統的協助而發展

在資訊系統問世之前,古典高等統計有三大領域:迴歸分析、變異數分析、和共變數分析,且各有各的運算程序。

在統計軟體誕生之初,也是分別開發以上3種分析工具。但就「數學運算」而言,這三者並無基礎上的不同,所以統計資訊系統開發者,在1960年代就推出了整合分析的工具,並命名為: GLM

當前一般線性模型定義

The general linear model can be expressed as

YM = Xb + e

Here Y, X, b, and e are as described for the multivariate regression model and M is an m x s matrix of coefficients defining s linear transformation of the dependent variables. The normal equations are

X'Xb = X'YM

and a solution for the normal equations is given by

b = (X'X)-X'YM Here the inverse of X'X is a generalized inverse if X'X contains redundant columns.

Add a provision for analyzing linear combinations of multiple dependent variables, add a method for dealing with redundant predictor variables and recoded categorical predictor variables, and the major limitations of multiple regression are overcome by the general linear model.

這個定義對統計沒有高度興趣的人,大概是天書。

其簡單的意義,就是以矩陣為係數的聯立線性方程式,也就是自變項、應變項都可以為多變項的線性模型。


迴歸與變異數分析的整合

迴歸與變異數分析的整合連續資料與類別資料的通用處理 

文獻上都提到GLM可以整合迴歸與變異數分析,但大多沒有說明原因,因為傳統的數學證明太複雜了。

統雄老師則提供以下簡潔的解說:

先看迴歸與相關分析之定義公式:

預測效標(Y)變異

再比較統雄老師的變異數分析概念解說

統雄老師的變異數分析概念表現式

 

相關分析右邊第一項(樣本-估計)的誤差變異數,就是變異數分析右邊第一項(樣本-組內平均數)的組內變異數。

相關分析右邊第二項(估計-總平均) 的迴歸變異數,就是變異數分析右邊第二項(組內平均數-總平均數)的組間變異數。

相關分析的目的,就是求迴歸與變異數分析的整合,使Y與迴歸與變異數分析的整合的距離為最小。

而在變異數分析中,組內各X,與固定點距離為最小的那一點,就是迴歸與變異數分析的整合

所以,迴歸分析和變異數分析在數學運算方法上,求迴歸與變異數分析的整合和求迴歸與變異數分析的整合其實相同。

從幾何學上看,迴歸與變異數分析的整合就是不連續的點狀線迴歸與變異數分析的整合。 

以上特性,使得連續資料與類別資料,可以同以GLM工具,作通用處理分析。 

統雄神掌系列的目的是:快懂、易學、打通思想脈絡,不是抄寫教科書,很多地方和教科書不一樣。不一樣是為了簡化、概念化的教學目的,而非否定教科書。統雄神掌系列的目的是:快懂、易學、打通思想脈絡,不是抄寫教科書,很多地方和教科書不一樣。
不一樣是為了簡化、概念化的教學目的,而非否定教科書。對外的一般考試、作標準運算,還是要遵循一般規則,統雄老師的變異數分析概念表現式也是如此。
統雄老師的變異數分析概念表現式統雄老師的變異數分析概念表現式這項概念表現式,可協助學生更容易瞭解:為何GLM可以整合變異數分析與相關分析、合併處理類別資料與連續資料。

單因子變異數分析之視覺輔助圖

單因子變異數分析時,如把自變項作X軸,自變項的水準數,就是X軸上的點數,每個水準的組內平均數迴歸與變異數分析的整合,就是Y軸上的估計值Y hat(Y hat),各Y hat 點形成不連續的線性圖形。如下圖:

SPSS-ANCOVA

多因子變異數分析法之視覺輔助圖

多因子變異數分析時,則是以1個因子為X軸,而其他因子為「水準數」的不連續線性圖形。如以下圖形為:1個有4水準的因子為X軸,而另1個因子有2「水準」,所以有2條不連續線性圖形。

剖面圖:交互作用之視覺輔助

迴歸與共變數分析的整合

GLM 之迴歸分析與變異數分析,基礎相同,多因子變異數分析法之視覺輔助圖,強調各平均數(圓點)的呈現,而迴歸分析方法之視覺輔助圖,強調連續線的呈現。

混合模型的繪圖迴歸分析法之視覺輔助圖

本例亦稱混合模型(Mixed Models),即包括類別資料與連續資料。

各群組迴歸線與總迴歸線(黑色線),呈現如下。

Chart Editor


廣義線性模型 Generalized Linear Model, GLM/GLZ

(multivariate linear regression/ general linear model, GLM)另外還有廣義線性模式 (generalized linear model),縮寫早期同樣是GLM,這個術語,是統計史上最容易混淆的案例之一,所以,近來已有將縮寫改為GLZ的趨勢。


管理研究統計課程-問卷 管理研究統計課程-問卷


回頁首 Up to page head 至頁尾 Down to page bottom
上一頁 Back to previous page 回頁首 Up to page head 下一頁 Go to nex page  

統雄數學神掌系列目錄
分享意見反映
統計教學的內涵與取向
高考統計考題的解析
微積分精華篇
微積分思想篇
微積分進階精華篇
統計/數學符號與其英語讀法
資料型態與視覺呈現
敘述統計
機率論與機率分配
推論統計學精華篇
t分配與 t檢定
推論統計‧理論建構
資料分析程序與SPSS基礎
SPSS 資料清理
SPSS 轉換:Recode 重新編碼
SPSS 轉換:Compute 建構新變項
SPSS 選擇觀察值_SPSS 資料庫管理
樣本代表性檢定
單變項:類別_二元資料/詮釋
單變項:類別_二元資料/應用
單變項分析:連續資料
單變項連續資料視覺檢視與清理
卡方分析(雙向)
多向卡方分析
單向卡方分析
變異數分析(單因子):詮釋
變異數分析(單因子):應用
簡單迴歸/相關分析:詮釋
簡單迴歸/相關分析:應用
對數/邏輯相關分析
測量工具信度/效度分析
量表信度 檢定
量表效標關聯效度 檢定
探索式因素分析 (EFA):詮釋與實作
探索式因素分析 (EFA):應用進階
因素效度分析_CFA:詮釋
因素效度分析_CFA:應用
多變項分析精華篇
多元迴歸分析:詮釋
多元迴歸分析:應用
一般線性模型精華篇
廣義線性模型
雙因子/多因子變異數分析
調節模型與交互作用詮釋
調節模型分析與建構
SPSS 統計圖應用:調節模型檢定
共變數分析/詮釋
共變模型建構/應用
因果模型與因果邏輯
中介模型分析
因徑/SEM:模型詮釋與因果邏輯
因徑/SEM:探索式因徑模型建構
因徑/SEM:驗證式結構方程解析
多變項分析實例SEM
多變項分析實例SEM+調節篇
因徑/結構方程SEM:反省
無母數統計
統計研討篇
專題-卜豐投針實驗
專題-機率與統計悖論
1類知識計量工具
2類知識計量工具
3類知識計量工具
非等機率知識體系建構
TX空時座標建構
一般取用測量
信仰取用測量
研究方法/民調市調系列
請點這裡看所有留言分類 Please click here to view categories of comments
同類別內相關主題