
民調的誤解 選舉的誤導
台灣政黨都將民調列入選舉提名依據,但歷次選舉民調報告和結果常有一段距離。錯誤的民調造成錯誤的提名,已經影響了人民的選擇。民調機構誤解基礎知識、產生方法誤差、將持續發生對國家發展的誤導。
以2012總統大選為例,民進黨提名民調,5家民調機構預測非常一致:蔡英文相對勝馬英九9.68%,結果卻是馬英九勝蔡英文6.57%,結果相反,且誤差達到近17%。反映一般民調可能都有17%以上的誤差。
但「管理行為跨領域研究團隊」的吳統雄(世新大學資管系)、游張松(台灣大學工管系)、桑慧敏(清華大學工工與工管系)、王銘宗(台灣大學工工所)等教授,則正確預測馬英九勝蔡英文,誤差僅為0.4%。
該團隊已經持續預測臺灣選舉30年,包括總統、立委、縣市長等,任何一次誤差尚未超過2%。
調查預測產生誤差,有主觀和客觀的原因。以總統提名調查的重要性,不會有主觀故意的因素,而是客觀理論建構與研究方法的問題。
本次記者會就是要提醒那些因素會造成民調的錯誤。
沒有實體清冊 必須建立虛擬清冊
民意調查包括4階段作業:抽樣、測量、訪問、分析,前三階段最少有204項檢核點,每一點都有發生誤差的可能。
抽樣作業最容易出錯的是:隨機性、樣本數、抽樣方法。
抽樣如果不符隨機性,只能代表所訪問的人數,而不能推論為全體的現象。
隨機性學理上意義是:每個樣本都具備相同被抽中的機會。
實務上的意義是:1.必須掌握完整母群清冊。2.每個被抽出的樣本不得替代。
所以,民調報導上常有「以台北市住宅電話為抽樣母體編冊隨機抽樣」這句話,該民調就可能有很大誤差。因為臺北市住宅電話不登記者的比例過高,清冊不完整而損傷隨機性。
當前要調查大區域的公眾,已經沒有實體清冊,吳統雄團隊建立的是數位虛擬清冊。
加抽樣本 只是增加誤差
30年前,打一輪電話可以找到80%以上的樣本,現在社會變遷,可能找不到20%。而調查機構通常作業只有一天,都是馬上替代樣本,而且連續替代好幾輪,造成最後的誤差樣本,遠多於可推論樣本。
如果委託人付了1000樣本的費用,若只拿到400個樣本資料,絕對不會接受。所以民調機構就不斷加抽樣本。而每一次加抽,就是破壞一次隨機性,愈加抽樣本愈不準。
不處理家庭分裂投票 容易發生偏誤
樣本數的決定基於4個標準:抽樣出入、抽樣把握、調查事件異質性、資料型態。
以選舉事件言,如果樣本設計少於1500,就有可能產生大誤差。
抽樣方法牽涉極廣,舉一最簡單的例子。一個電話號碼代表的是一個家庭,但現在一般民調一個號碼只訪問一個人,等於認定一家會投同一候選人的假設。
吳統雄團隊發現,家庭分裂投票已超過3成,民調如果沒有處理「家庭異質性」的問題,顯然會發生大誤差。
53237選民結構 可預測投票模式
「測量」階段一般常被簡化誤認為「問卷設計」,測量不是設計問答題,而是要能夠測量出受訪者的心理與隱藏態度。
一般調查報告中都有高比例「未決定者」,但真正要投票的人,早已決定,只是不願直接告訴他人而已。
選舉行為中,也沒有真正「中間選民」,其票投給誰的比例也可以從分析選民結構類型得知。如何預測各種受訪者的選擇趨勢,吳統雄團隊已發展出了「57237選民結構」的科學預測模式。
函訪、網訪 可推論價值低
「訪問」階段當前的途徑有4+1種:電訪、造訪、函訪、網訪,後者又包括電子郵件訪問和網站訪問。
除了電訪、造訪可能具備推論性外,其他方法全部沒有推論價值。
1067樣版敘述 反映基礎統計知識薄弱
「分析」階段所牽連事項更廣,舉2個常見例子。
許多民調報告有「本調查訪問 1067 個樣本數,正負誤差約為百分之3」 的「樣版敘述」。
在學理上,這是二項分配的一個特殊情形。
在實務上的意義是:在滿足隨機性條件前提下、只有2位候選人、每一位受訪者都回答、且「樣本獲票」兩候選人剛好各為50%時,則有95%的把握,可推論「全體獲票」2位候選人的勝負差距在6%之內。再說白一點,就是不知道誰勝。
凡是不符合以上條件,而出現「樣版敘述」的民調,其基礎統計知識可能是很薄弱的。
有效樣本愈高 可懷疑性愈高
許多民調也出現「有效樣本」這個詞。統計定義的「有效」是針對個別問題而言,如果沒有回答、或回答不合理,就是「無效」。
如果問卷很長,內含敏感性題目很多,還有很高的「有效樣本」比例,不但不是代表性高,反而是統計知識不足,甚至有作假的可能。
真正完整的分析,不僅是統計每個問題的數據,更要能有預測模式、與策略制訂的分析。
人類抉擇長期可潛移默化 短期不會乒碰叫
人類的抉擇行為會因長期的潛移默化而漸變,但短期不易因任何事件突變。過去30年的選舉,除了唯一319事件的例外,造成近2.4%原不投票者前往投票外,其他選舉在選前8周結果已底定。民調曲線,如果每日上下「乒碰叫」,多是理論與方法誤差所造成。
民調商業化 資訊系統綁死化
造成以上現象的基礎原因是:民調商業化、分析制式化。
民調已成為一種商品,有市場價格、也有惡性競爭,而任何經營機構的削價,基於生存的必需,只能削減品質,不能削減利潤。
同時,委託人需要民調的目的不一定是「求真」,可能是儀式、作秀、宣傳、自我安慰、甚至是要戰術性「求假」。
為何許多民調機構都「錯得一樣」?
因為現在調查都已資訊系統化,而市場的相對狹小,所有民調機構幾乎使用同一家的系統,而以上所討論的所有錯誤,都已經「綁死」在系統之中,大家一起錯得一樣,這就叫做「工具的高信度、低效度。」
主管摘要: http://tx.liberal.ntu.edu.tw/~PurpleWoo/Methodology/Survey_Executive_Summary.htm
研究方法資料:http://tx.liberal.ntu.edu.tw/~PurpleWoo/Methodology/Method_!.htm
資料分析資料:http://tx.liberal.ntu.edu.tw/~PurpleWoo/Methodology/Analy-HappyLearn.htm




