美国大选民调是如何统计的
纽约代伟-102179 01/11 7458一般我们看到的民调,是由专门的民调机构,比如耳熟能佯的 Gallup,还有各大媒体,主要报纸,以及各地的大学研究机构组织的。像美国大选的全国民调,主要是由大的民调机构和大媒体独立或共同完成的。
民调的主要方法很简单,用得是最基本的统计采样的理论,就是在全部选民中随机挑选一批选民,了解他们的投票倾向,综合起来,就得到全国选民的意向了。假如是 一场胶着的大选,随便找一个人来问问,你只能得出一边倒的结论,但当你找了上万人的时候,平均起来的结果就相当准了。比如要是从一万人里得出 Obama 的支持率在 51%,那他真正的支持率,应该有 95% 的机率在 50% - 52% 之间,这个叫置信区间。一般来说,民调很少会用到这么多的样本,采到一千以上,就可以让刚提到的 95% 的置信区间控制在正负 3% 以内。而一般的全国民调,都至少要这个数或更高,乃至上万。相比之下,州内的民调,因为组织者的资源限制,往往会是几百人。
但是,理论归理论,要实践起来,总有这样那样的问题,所以,民调方法本身虽是坚实,但实践却需要相当程度的艺术发挥。这也是让民调的可信度打上问号的重要原因。
在实践中,民调可以分成三个阶段:随机采样,调查问卷,整理数据。这每一步,因为具体实践的不可控性,其实都玄机多多。
所谓随机采样,是要求采样者对所有的目标人群进行同一的随机筛选。在大选民调里,目标样本是所有将来要投票的人。但是,没有人能确定的知道谁会去投票。比 如,从选民登记中,可以知道哪些人已经注册,可以投票。但是,选民记录一没有告诉你这些登记的人谁会去投票,二没有告诉你该怎么找到这些选民。再比如,我 们能够访问到的选民是受到技术和资源限制的,不是每个被抽中的选民都能被找到,也不是每个被找到的人都愿意参加民调。
这就让进行民调的机构,只能把潜在的样本限制在一个力所能及的范围内,而希望这些人可以代表整个选民群体。如果这个特定人群不能代表所有选民,那出来的结果就会有偏差,而且可能会错得离谱。
比如,在 1936 年的一次经典民调中,Literary Digest 杂志向上千万拥有电话的人寄出了明信片,向他们调查自己在大选中会支持现任总统 Roosevelt 还是挑战者 Alf Landon。结果有 230 万人电话回应。Literary Digest 杂志由此判断,Landon 会赢得大选。但最后当然是 Roosevelt 以绝对优势成功连任。表面上看,Literary Digest 的民调有如此巨大的样本数,准确度应该不容置疑。但是,它的采样方式犯了一个基本错误,就是它并非随机采样,而是由拥有电话并主动回答调查的人组成的。而 这些愿意主动回答问题的人,是相对有钱并支持共和党的人。反过来,Roosevelt 的主要支持者,大量低收入的工人,则连这问卷都可能见不到,见到者也大多不会主动去回答这种问题。错误的采样方式,导致了错误的民调结果。而在同一 年,George Gallup 也主持了一个民调,采样了 5 万人。他的结论和 Literary Digest 杂志恰恰相反。Gallup 也因为这次成功的民调,奠定了在美国民调行业的位置。
时隔半个多世纪了,由于采样的复杂度,类似的情况现在依然有可能发生。
比如,在刚刚结束的第一轮总统辩论中,Romney 以巨大优势胜出。之后的大量民调表明,Obama 的领先优势化为乌有,Romney 反转 4 到 5 个百分点。但是,以 YouGov 为首的部分民调则显示实际的选情变化没有这么大。YouGov 的负责人解释说,他们的民调数据也表明,Romney 的支持率有 4 个百分点的提升,但是,他们采样的选民里,有 7 成是在辩论前和辩论后都参加了采样的,在对比这些选民时,他们没有发现 Romney 的支持率有实质性变化。这说明,Romney 的支持率提高,是来自于新增加到采样中的选民。他们的解释是,Romney 在辩论中胜出后,共和党选民的信心大幅度提升了,于是,他们参与民调的兴趣也高了。一般的民调中,被随机采样到的选民,只有十分之一会接受民调。采样的假 设是,不管支持哪个候选人,两派选民接受民调的机率是相同的。可是如果因为辩论结果让共和党的支持者对民调的兴趣突然变化,只要有稍微的增加,就可能对样 本中两党支持者的比例产生巨大影响。于是,在对样本变化进行调整后,YouGov 就有了不同的民调结果。倒底是谁的采样模型是更准确的,现在还很难说。
再比如,传统民调一般是通过座机电话进行。但是随着手机的普及,越来越多的人选择了放弃座机而只保留手机。这就让针对座机的采样有了偏差,因为只用手机的选 民多为年轻人,支持民主党的比例更高。据估计,如果只统计座机用户,共和党的支持率会提高 1 到 2 个百分点。这就对所谓的自动电话民调构成了挑战。用自动电话不需要民调员,通过录音完成提问,而接受民调的选民通过按电话上的拨号回答。这种方式省去了民 调员的人力资源限制,可以低成本的对大量选民进行快速采样。但是,美国相关法律规定,自动电话不能播打手机,这样就让这种民调方式需要考虑如何弥补没有手 机用户的偏差。而就算考虑了手机用户的传统电话民调,如何平衡两者比例,也是没有定论的。
因为这些原因,现在的民调,要仔细控制采样的过程,尽可能的收集选民信息,以帮助探查可能的问题以期在数据整理时能及时修正,避免错过重要的选民群体,造成系统偏差。
为了提高成功率,电话民调工作一般会在工作日的晚上进行,因为这时候大部人会在家里。如果电话没人接,很多民调员会隔天再打一次,把采样误差减少最小。如果针对的选民不是以英语为主要语言的,还要配上会说双语的民调员,这样就能避免因为语言问题而错过这些潜在选民。
电话采样在选择对像上的方式也很多。如果是全国采样这样范围广的,往往会在有效电话号码中进行随机播打。但是,因为电话号码在私人和商业号码的分配上不是随 机的,所以,为了提高效率,采样者往往在找到一个私人号码后,围绕这个号码播打周围的号码。这样采下来,随机性就会打折扣,需要在后来处理时注意。
如果采样的范围很小,比如在特定选区内进行民调,那就不能乱打电话了。因为号码可不是按选区分配的。而且,大部分人对自己所在选区的区号也说不上来。这种情况下,就需要从注册选民信息出发,结合第三方信息来锁定一批选民的电话号码,再从这些号码里去随机采样。
除了电话,只要能够有全面的覆盖,其它索定选民的方式也可以使用。比如网络采样随着大部分选民都可以上网而变得常见了,甚至还有通过 x-box 的游戏网络来采样的(当然这样的采样非常没有普遍性,但是由于玩家是固定的,就能对相同的选民群体进行长时间的跟踪采样)。这也引发了采样的另一个问题, 就是采样的时间跨度。由于人力有限,有的采样的时间跨度很大,今天发表的民调,可能包括了一个月前的采样调查细果,如果不注意相关信息,就容易乎略时间上 的影响。反过来,有些民调,则是要故意跟踪特定人群,通常是几天时间,来看同一组选民在这期间的态度变化。
在通过随机采样找到接受采访的选民后,就由负责采样的民调员向选民提问。
提问听上去很简单,但也有其复杂的一面。比如,若是选民对支持谁迟疑不决,不愿表态,那民调员是否应该努力追问,让选民尽可能的表态呢?事实是,这是没有明 确答案的,要看民调员的经验和理念。最著名的例子就是所谓的“Bradley effect”。Tom Bradley 是 洛杉矶的黑人市长。他在 1982 年竞选加州州长。Bradley 在民调中一直领先,但最后却在大选中输掉了。这是因为很多人在电话中回答民调问题时,不愿显得自己不支持黑人候选人,让 Bradley 的呼声被夸大了。在 2008 年的大选中,Obama 在民调中一路领先,也有很多人认为可能有 Bradley effect。好在最后的大选结果和民调结果吻合的很好,说明了民调水平在提高。有 Bradley effect 这些情况的存在,就要求民调员要在提问时注意这些潜在的问题,调整提问方式,避免参加民调的选民受到这些因素的影响。
大部分时候,除了问 选民支持哪位候选人,民调还要尽可能多的了解关于这个选民的其它信息,比如年龄,性别,收入,教育程度,党派倾向等等。所以我们也常在民调结果里看到,民 调的支持率可以细分到许多具体的人群:年轻人,女性,大学学历者等等。而这些问题问的方法如何,得到的答案也不尽相同。最重要的是党派倾向,和投票意愿。 一个人可以平日里支持民主党,但是在特定选举中支持共和党,这时候,他的党派倾向就是变化的,看你的问题是问他以前投票时支持哪个党,还是当下支持哪个 党。而投票意愿,就是这次大选中会不会去投票,也是一个非常随心情变化的答案:我们很多时候,也不知道自己下决心要去完成的事,到时间会不会真去完成。由 于这没有标准答案,各家民调机构就有自己的模型,来判断选民会不会去投票。
更重要的是,这些辅垫问题,有时会影响到关键问题“你在大选中 支持谁”的回答。因为在民调里,为了让调查的回报最大,还可能会问一些相关的时政问题,比如对当下的经济情况的看法,某个具体政策的看法。而这些具体的问 题,可能会直接影响到选民在回答支持谁时的感觉。所以,好的民调,都会把所有这些问题和民调结果一同列出,让时政分析者可以进行深入研究。
但反过来,这些普通民调想努力避免的问题,却会成为其他民调员的重要工具。
是的,民调不是只是由这些第三方组织来进行的。事实上, 在民调上投入最大的,往往是竞选双方。因为,竞选团队需要民调的结果来帮助他们了解选民,确定大选 的主要战场,主攻的选民群体,关键的竞选议题。这里的战场可以不是摇摆州,甚至不是摇摆县,而是细到具体的街区,地方组织,和这些当地人所最关心的议题。 所以,民调员在竞选中已经成为竞选团队中的时局分析员和战略战术策划者,民调员的一个新发现,可以直接决定候选人的行动计划该如何快速调整。也正因如此, 竞选团队所进行的民调,远比一般的民调要细,要全面,投入要大。一次竞选,民调员的支出要占要媒体经费的 2%,而媒体经费通常占掉全部经费的大头。也就是说,在今年大选中,如果说 Obama 和 Romney 一共花了 20 亿美元的话,其中会有 3000 万上下是花在民调上的。当然,我们普通人是看不到这些民调的,甚至不知道这些民调的存在。因为这些民调为了防止自己的党派背景影响到接受民调的选民的心 态,会刻意不透露自己的背景,有些民调机构甚至不会告诉执行电话民调的员工这些相关信息。竞选团队只会有选择的放出对他们有利的内部民调结果。这些能看到 的结果是不全面的,但是,并不代表它们不是高质量的。
有的时候,选民却可以从民调问题中感知这是由某一党派组织的。这是因为除了像普通民 调那样调查当下选民的意向,候选者组织的民调还被用来检查和试验他们的竞选信息。他们会在民调问题中放出一些议论性的观点,听取选民意见,比如这样的问 题:“Barack Obama 和民主党主张可以出于社会公平原因而增税,你同意么?” 通过这种问题的答案,可以帮助找到最佳的攻击点,对自己的宣传口号进行有效的微调,来获得最大的宣传效果。在另一些情况下,竞选团队甚至会利用普通人喜欢 表达自己意见的特点,大量发放这种所谓的调查问卷,伪装在“你对如下观点/事件/行为有什么看法?”的问题下,用这些有强列诱导性的问题向特定选民传达竞 选宣传信息,这就是所谓的推送民调(push poll)。这道理,就和很多网站会跳出个弹窗,让你填调查问卷一样,都是要通过征询意见加强你的归属感。所以这种伪民调大多针对自己党派的支持者,要调 动他们的积极性。这时候,民调者不仅不会隐藏自己的党派属性,还会迫不急待的公开自己身份,唯恐你不知道这是谁在向你征询看法。
在对足够多的选民进行了采样后,就到了最后的数据整理的阶段。
表面上,数据分析就是把上面得到结果分门别类的整出来就完了。但由于上面提到的种种潜在问题,数据整理也变得不那么简单。一般来说,为了进一步消除可能的随 机非正常波动,大部分民调都会对采样选民的基本信息进行检查,比如性别,种族,年龄,地区,教育程度等等。这些数据都有详尽准确的普查和民调数据,也不会 在短期内发生快速变化。如果有哪些人群在采样中偏离了已知的比例,就要进行调整,用适当的加权来让民调结果更反映正常的选民比例结构。
很多民调的调整到此为止了。但也有不少民调会考虑其它因素。比如,党派倾向性。像 YouGov 和 Rasmussen 民调就认为,选民的党派倾向性不会在短期内发生变化,所以他们会根据参加民调者当下和过去的党派倾向进行调整。但是,也有很多民调机构认为,党派倾向是比起其它常见因素来变化过快,不适合这样调整。
随着民调技术的越来越成熟,到大选临近时,民调结果会越来越多,不仅有大量全国民调,还有地方民调,让人应接不暇。经过不同的执行方式,我们看到的各家民调 数据也就千差万别,存在很多特有的系统偏差。比如 Rasmussen 是一个相当大的民调机构,几乎是天天都有新民调结果出炉。但是,它的所有结果,几乎都无疑例外让共和党比别的民调要好上一些。它的系统偏差是如此之明显, 以至于热爱共和党的 Fox News 电视台也终于决定在今年不用 Rasmussen 的民调结果:毕竟新闻的口碑是靠准确独立的报告积累起来的。
就是同一家民调自己,民调结果也常会上窜下跳。比如历史最悠久影响力也最大的 Gallup 民调,在 96 年曾经在 4 天内令 Clinton 的支持率领先数从 9 个百分点暴涨到 25。而同样是 Gallup,在 2000 年,在 8 月份 Bush 还领先 16 点,到 9 月下旬,就变成 Gore 领先 10 点,最后在大选前半个月,Gallup 又让 Bush 的领先数在几天内狂升 14 点获得绝对领先优势,结果却是 Gore 在总票数上略多。
雪上加霜的是,对于媒体来说,它们更喜欢与众不同的,有争议的民调结果。因为 这会让大选新闻保持戏剧性,提高关注度。比如十月中旬的 Gallup 民调里,给了 Romney 巨大的领先优势,比 Rasmussen 的结果优势还大。结果在接下来的一周里,媒体引用 Gallup 这次民调结果的次数,比同期所有其它主要民调的总和还要高得多。
所以对 于一个普通人来说,其实更值得信赖的,是综合考虑大量相对平稳的全国民调,和各种地方民调。因为在关键摇摆州上,全国民调人数虽多,摊到地方,也就是两三百人,比起地方民调接近千人的结果,还是不够准确。而且因为这种需要,催生了一个新的民调话题,就是综合各家民调结果的选情预测。如果你去各大网站,几乎 都会看到它们提供的独家大选预测,有从简单的把各种民调结果平均,到对各种民调研究后进行复杂加权,各出奇招。
不管怎样,随着民调的发展,民调的整体准确率在上升。通过综合各家民调的结果,对大选的预测在二十一世纪后,已经变得相当靠谱了。
最后,要说明的是,民调虽然搞得红火,对于专业民调公司来说,民调其实是亏钱的买卖,因为这些结果都是免费发布的。民调公司的赚钱办法,是他们通过民调,辛苦收集的大众数据。这些数据以后可以卖给将来的政治家,成为他们索定潜在选民的依据,也可以卖给商家,成为他们高效有针对性投放广告的地图。而整个民调 业,也可以说是商业宣传市场调查的一个重要分支。
PS:如果你对民调还有额外的兴趣的话,推荐两个我常去的网站。这两个网站的综合预测都在 2012 年大选中获得了近乎完美的成功,有力的回击了很多对他们不屑的资身政治家,竞选工作者:
以擅长综合分析著称的 Nate Silver 在纽约时报的 538 博客:http://fivethirtyeight.blogs.nytimes.com/
The Huffington Post 的民调员网站:http://www.huffingtonpost.com/news/pollster/