量化与质性:两种传统怎么配合
一九三六年,美国一本发行量很大的杂志寄出上千万份调查表,收回两百多万份,据此预测兰登会赢得大选。同一年,一家刚成立的调查机构只问了几万人,预测罗斯福会赢。结果出来,杂志错了。样本大,不等于样本有代表性。
同一年代,另有一些人不发问卷。他们搬进街区住下,记下谁在街角站着、谁替谁办事、一件事是怎么被商量出来的。两种做法问的是不同的问题,两边也都容易把自己的问题当成唯一的问题。
问题是什么
量化与质性的分别,常常被讲成两种口味之争,其实它首先是两类问题之别。一类问多少、平均差多少、趋势往哪边走;另一类问这是怎么发生的、当事人怎么理解自己的处境、一个决定如何被做成。第一类问题需要可以比较的数字,第二类问题需要能进入过程的材料。
争论的实质在于两处:哪种证据算证据,以及结论可以走到多远。这两处都是规范问题,不能靠多收集一点数据解决。
量化研究能做什么,不能做什么
量化研究能回答分布、趋势、平均效应与相关结构,前提是有概率抽样和可比的测量。一道题变成变量,要经过操作化(operationalization):概念变成维度,维度变成指标,指标变成题项,题项变成编码值。问卷里的"满意度 4.2 分"是一次编码结果,不是某种可以触摸的实体。信度(reliability)指重复测量是否给出同一个数,效度(validity)指它是否测了要说的那个东西;两者不是一回事,一个每天都在稳定地测错东西的量表,信度可以很高。
抽样误差与系统偏差也要分开。抽样误差可以计算,前提是概率抽样,它的口径就是置信区间。系统偏差通常无法从数据内部算出来:覆盖偏差(抽样框漏掉了谁)、无应答偏差(谁不愿意回答)、社会期望偏差(受访者按体面的方式回答)、回忆偏差(记不清的事被补成了合理的样子)。一九三六年的那次预测失败主要属于第一类与第二类:能寄回问卷的人本来就更富裕,而他们的偏好与全国并不同。
缺失数据也不是中性的。谁不回答,本身常与要研究的东西相关,例如收入高的人更不愿意报收入。把缺失值简单删掉或补上平均数,都会把这种相关性塞进结论里。
质性研究能做什么,不能做什么
访谈、观察、档案、口述与过程追踪能回答"怎么发生"。一份文件为什么这样写,一个组织里的决定如何被做成,当事人如何理解自己的处境,这些在变量表上看不见。质性材料还能提供一件量化很难提供的东西:顺序,以及那些被省略、被打断、说到一半又改口的地方。
代表性的处理方式不同。个案不做统计概括,而是做分析性概括(analytic generalization):用案例检验或发展理论。选案例有它的逻辑——典型案例、极端案例、最大差异案例、关键案例,各有各的用途,但选法必须交代。用方便的案例代替有理由的案例,是这一路最常见的失误。
研究者位置的影响是实在的。观察者的身份、进入现场的方式、与受访者的关系,会影响他听到什么、被允许看到什么、记下什么。反身性(reflexivity)不是一段自我表白,而是说明这些影响可能朝哪个方向扭曲材料。此外,访谈里说的话不等于行为,受访者会按自己希望被看待的方式回答,态度与行为不一致是常态。
证据类型的局限也要说清。档案记录的是当时有权力、有条件留下记录的人;口述史受记忆与事后叙述影响;参与观察的在场效应无法完全消除。这些局限不会让质性材料失去价值,但它们决定了结论能说多硬。
混合方法的四种实际做法
第一种是先后互补。先用访谈与观察找出可能的机制与分类,再设计量表或在大样本里检验;或者反过来,先在数据里发现异常,再到现场理解它。前一种次序常叫探索性设计,后一种常叫解释性设计。
第二种是三角验证(triangulation)。同一个结论用不同来源、不同方法各验一次,看它们是否收敛。收敛不证明结论为真,但它提高了可信度;分歧本身是有用的信号,通常指向测量或概念上的问题。
第三种是过程追踪(process tracing)。在少数案例里把因果链条一节一节对出来,检查每一节是否留下可观察的痕迹,再看它与总体趋势是否一致。它和统计推断是互补的:一个给出平均效应,一个检查效应经过了哪些环节。
第四种是预注册与开放材料。把假设、编码本、抽样方案提前固定,减少"看到结果再编故事"的空间;开放数据、代码、访谈提纲与引文来源,让别人能够复核。质性材料的开放有伦理边界:受访者同意的是被研究,不一定是被公开。
一条朴素的准则
任何一项研究,都应该能让别人从材料走到结论:数据在哪里、怎么编码、访谈如何抽样、案例为何选中、反例怎么处理。做不到这一点,方法标签——量化或者质性——都帮不上忙。
具体可以问五件事:这份材料是谁留下的、为什么留下;编码规则能不能复现;有没有主动找过反例;结论的表述有没有超出材料允许的范围;换一个人拿到同样的材料,会不会走到同一个结论。
常见误读
第一,以为数字天然客观。数字是被造出来的:分类口径、指标替换、缺失值处理、加权方式,每一步都是选择,也都可以被选择得偏向某个结论。
第二,以为质性就是讲故事、不可检验。好的质性研究有取样逻辑、比较策略和反例检验,只是它的检验方式不是统计显著,而是看材料能否支撑那条解释、以及别的解释能否被排除。
第三,以为混合方法就是把两种方法放进同一篇论文。真正的混合要求两类材料在同一个论证里各承担一块,并且说明接合点在哪里。
第四,以为统计显著就等于重要、等于因果。显著说的是与一个零假设不太相容,既不说效应有多大,也不说效应从哪里来。
第五,以为个案不能产生一般知识。案例能做理论检验与机制识别,能推翻"某事不可能"这类判断,只是它的一般化方式不同,不能按样本比例去推论总体。
第六,以为方法只是工具,选择与立场无关。问题类型、可得材料、经费与伦理约束都在限制选择;很多时候是材料决定方法,而不是相反。
学术争论
一层是范式之争,一九八〇年代到九〇年代常被称为范式战争。一派认为量化与质性建立在不同的认识论之上,一边是实证主义,一边是建构主义,因此不可通约;另一派认为它们只是不同的工具,可以在同一研究里并用。分歧在规范层面:什么样的证据算证据,以及研究该不该宣称自己站在某个认识论立场上。
第二层是机制与效应的关系。偏向实验与统计的一派认为机制说明只是补充,识别靠设计与数据;偏向过程追踪的一派认为只报告平均效应无法区分不同的因果结构,机制是因果主张的一部分。分歧在概念层面:"因果解释"这个词包含什么。
第三层是量化阵营内部的改革之争。二〇一九年前后,一批研究者联署评论文章,主张停止把"统计显著"当作结论的二分线,改用效应量与置信区间,并明确承认不确定性;反对者认为在决策场合仍然需要一条门槛,否则无法判断。这是规范层面的分歧,两边都不否认数据本身。
第四层是质性编码的争议。一派主张系统编码,把材料切成单元、建立类目、检验一致性;另一派认为切碎材料会丢掉叙述的整体性与语境,编码应当与整体阅读并置。这一层混合了方法与概念两方面的理由。
还有一层是材料开放与知情同意的张力。开放数据能提高可信度,但受访者同意的是参与研究,不是让自己的话被放到网上。
怎么用、怎么读