方法學的陷阱

聯合報

「澄社」的十九位成員,針對縣市長和立法委員候選人公布了一項評鑑結果,被認為有向大眾推薦候選人的效應。

這項評鑑由於出現了「趙少康不如許曉丹」的話題,自立晚報又對評鑑者中的十八位以問答體的方式作了一項訪問。

看完了評鑑者的評分報告以及補充說明之後,不禁對這項評鑑的方法,和方法所代表的政治理論、政治信念,產生了很多不瞭解的地方:

第一、測量理論似乎發生了矛盾。

評鑑的方法有很多種,最常見的是採用「總加理論」,也就是大家都熟悉的「學期平均分數法」,把一個人在幾項科目的分數加起來,再和別人比較排名。「澄社」的評鑑正是使用這種方法。

但是,評鑑者在接受訪問時,比有五位說,他們在評鑑時,是將許曉丹與吳德美比較。這種方法稱為「配對比較理論」,許多性向測驗就用這種方法。「配對比較」有點像打棒球的循環式比賽,甲勝過乙,不能推論甲也勝過丙、丁……,必需兩兩再比較。這種方法的評鑑過程、表示結果的表格、以及報告結論的型式,與「總加理論」完全不同。

評鑑可以使用「總加理論」,也可以使用「配對比較理論」,但是兩者就是不能混淆在一起使用。不能有的人用這種方法評,有的人用那種方法評。更不能有的人被這種方法評,有的人又被那種方法評。

如果測量方法錯了,根據研究的一般法則,結論很可能是錯的。不正確的結果公布出來,意義何在?

在評鑑者的訪問中,出現了很有趣的現象:有兩位不予置評;有一位表示「忘了」;有六位有一般性說明,比沒有談到給分高低;有三位說評趙少康比較高;有三位說評兩人一樣高;有三位說沒有給許曉丹打分數。

比沒有任何一個人表示,他評許曉丹比較高。其中又出現了許多方法學上的問題:

第二、「不表示意見者」的分析。

在社會科學研究方法的領域中,「不表示意見 (no opinion)」的研究,已經成為一個很重要的論題。「不表示意見」其實就是一種意見,一般而言,受訪者如果感到意見是社會認同的,就會說出來;如果是不被社會認同的,就不說出來。評許曉丹比較高的人,為什麼不說出來?他如果知道是不被社會認同的,他又為什麼那樣評?

第三、「評分者信度」與「特異階層」

在評鑑者中,有一半人評趙少康較高,或趙、許相同,或沒有評許曉丹,這個趨勢是趙少康支上風;但是,結果比是反過來。這就產生了「評分者信度」的問題,也就是說,評鑑的高低,不僅是被評者的問題,也是評分者的問題了。從這個結果看起來,「信度」不會很高,結論「見仁見智」的意義很大。

更重要的是,在剩下沒有說明評分的一半人中,也有可能有人評趙少康較高,或趙、許相同,或沒有評許曉丹,那麼就是有相當少的人「打壓」趙少康,或是把許曉丹評高,而且是「顯著」拉高。如果有這種情形,會在原始評分總表上看出來,稱為「特異階層 (out layer)」。正常的研究,通常要剔除這種階層,或至少報告發生這種情形。

第四、「失落資料」的問題。

有三位評鑑者主動說明沒有打許曉丹的分數,這稱為「失落資料 (missing data),比例已高達百分之十七;如果其實有更多的人沒有打許曉丹的分數,失落資料的影響力將更為驚人。通常在統計上要作整筆刪除

(list-wise deletion),或是配對刪除 (pair-wise deletion),再作加權處理。否則,會扭曲結論的意義。

我們更關心的是,這項研究方法所代表的政治理念。從評鑑的項目看起來,這項評鑑是基於理想色彩的「候選人取向」,但是從結論大勢看起來,比實在令人驚訝!

「趙少康不如許曉丹」只是一個明顯的例子而已,我們不瞭解的還有:李勝峰為什麼不如余政憲?郁慕明為什麼不如林文郎?朱高正為什麼不如彭百顯?張德銘為什麼不如林俊義?陳水扁為什麼不如黃煌雄?蘇秋鎮為什麼不如葉菊蘭?……?

我們看到的評鑑,只是一個一面倒的「政黨取向」而已。而且從「澄社」社員林俊義名列第一看起來,我們不能不擔心,這項評鑑還包括了傳統選舉中最令人垢病的「關係取向」。

前述的討論使用了很多專有名詞,好像很深奧,但是這些位評鑑者絕對不會不知道。因為,他們有許多位正是研究方法的專家,他們在課堂上這樣教,還這樣寫了很著名的教科書。

這次參與評鑑的人士,有許多是筆者的老師、前輩、朋友。根據私人的瞭解,他們不會有特別的惡意,他們一般在處理事務上也很嚴謹,他們在指導學生時更不會發生這些問題。

是什麼道理,使他們踏入方法學的陷阱呢?

是否在評鑑的動機與方法上,如果自己的參與感、預期感太強,反而會忘記了自己經常教給學生的基本客觀原則。

如果連我們平日所景仰的意見領袖,都在選舉的興奮中失去平衡,實在令人憂心。

其實臺灣選舉行為中,長期以來有一項特色,就是「反制性投票」,太明顯不公平的造勢,正好引起相反的投票。這樣的評鑑,有可能發生愛之適以害之的效果,驅使變動型知識分子改變態度。

回頁首 Up to page head 至頁尾 Down to page bottom
上一頁 Back to previous page 回頁首 Up to page head 下一頁 Go to nex page  
請點這裡看所有留言分類 Please click here to view categories of comments
同類別內相關主題

時事評論
公共評論
選舉評論
社會評論
媒體評論
知識評論與科普
科技評論
教育評論
法律評論
萬象現代
參考資料


美語樂學
美語樂學 語音篇
美語樂學 文化意涵篇
學美語糗記
灰姑娘計畫‧美語變身
真實美語/生活英語選_美語樂學實例
統雄美語神掌易筋經
大任務‧小使者:擔任國際客座學者的故事
看媒體‧講美語
統雄私房美語笑話
中英對照 笑話中的文化
視覺影音幽默

文學作品
統雄小說選
統雄散文選
統雄詩選
統雄戲劇/影音作品選
統雄文學批評選