非抽样误差中的调查员误差研究

[摘 要]本文研究了非抽样误差中的调查员误差的存在性、来源及其测定方法,从而为更好地从调查员角度降低非抽样误差提供思路。

[关键词] 调查员方差 偏移 响应误差

一、引言

非抽样误差是指统计调查中,除抽样误差以外,由于各种原因而引起的误差。它不仅存在于概率抽样,也存在于其他非概率抽样与非全面调查以至全面调查,对调查结果的影响非常大。国外众多实证研究都表明,非抽样误差在统计调查总误差中所占比重远远超过抽样误差所占比重,因而受到统计调查理论研究者和实际工作者的高度重视。由调查员引起的调查误差是国外在非抽样误差研究中一个长盛不衰的主题。外文中一般将此误差称为调查员方差(Interviewer Variance,以下简称IRV),它是指一个调查变量的总方差中可以归因于调查员的部分。

国外对调查员的研究已是汗牛充栋,但在国内还没有专门研究调查员的文献。笔者认为,造成这种尴尬局面的原因有两点:一是我国基层调查经费不足,还不具备公开选拔和全面培训调查员的物质条件。尽管在我国现行的一些调查中,尤其是不少专项调查中,也非常注重调查员的选取和培训。但在很多常规调查中,调查员的选取则很不科学。调查员往往由居委会、街道办的工作人员、退休教师、下岗工人等担任。二是我们对统计调查的重视程度还不高。无论是统计实务部门,还是研究机构,还没有充分认识到深入研究调查员行为对提高调查质量的重要性。理论研究也没有提出相应的支持依据。因而,全面深入研究调查员方差的产生根源与测定方法,才能更好地从调查员的角度降低非抽样误差。

二、调查员方差的存在性

首先,我们要简单界定一下“偏倚”的含义。Hansen等(1951)认为,影响相应误差的因素可以分为两类:一类是本质的、必然的因素。如,调查员的素质,调查员的选取方法、报酬及培训,调查项目受资助情况等;另一类是随机因素。如调查员提问问题的方式,调查对象接受调查时的心情,调查对象对调查问题的理解程度等。相应地,响应误差也包括两个部分,一个是必然产生的,另一类是随机产生的。响应误差的期望值,以及围绕此期望值波动的随机成份 都可以看做是由影响响应误差的本质因素决定的。这样,响应误差就会或多或少地表现出一些系统性的特征,这就产生了“响应偏移”。目前,关于“响应偏移”至少有两种理解。一是指由于某个调查员引起的非随机的响应误差;二是指所有响应误差对样本均值的累积影响。一般我们将“响应偏移”理解为第二种意思。即,调查中的响应误差使样本均值和总体均值产生差异,“响应偏移”表示了这种差异的程度。

目前的文献中,有少部分是从理论角度探讨调查员方差存在性的。当存在多个调查员时,为什么某个调查员的子样本均值会与多个调查员的所有子样本的样本均值存在差异呢?Hansen等(1951)利用模型证明,除非随机地分配给每个调查员一个调查个体,否则,调查员对不同调查对象的影响是相关的。由于在实际调查中,一个调查员往往要对一定数量的调查对象进行调查并记录调查结果,因而由某一个调查员引起的不同调查对象之间的调查误差是正相关的。这就说明,当存在多个调查员时,调查员方差是存在的。Freeman等(1976)从调查员所调查子样本均值围绕样本均值波动的程度讨论了调查员方差的存在性。一种情况是响应误差在每个调查员所调查子样本中随机出现,那么子样本均值将在一定程度上围绕样本均值波动且服从正态分布;另一种情况是响应误差在每个子样本中的出现是非随机的,但样本均值无偏,此时子样本均值围绕样本均值的波动将比第一种情况更加剧烈。两种情况的直观表现就是子样本均值的波动。如果每个调查员的调查子样本是可比的,如每个调查员调查的子样本是随机分配的,那么,利用方差分析就可以证明诸子样本均值之间的差异是否显著。如果诸子样本均值波动剧烈,在统计上是显著的而非偶然的,那就可以说明是响应误差引起了这种差异。如果承认调查员对响应误差存在影响,也就说明了调查员方差的存在性。

另外,更多的文献是从实证角度探讨调查员方差的存在性。Hanson和Marks(1958)、美国人口普查局(1960)利用普查数据进行了验证。Mahalanobis(1946)、Stock等(1951)、Feldman等(1951)、Gray(1956)、Franzen等(1956)、Gales等(1957)、Kish(1962)等,都用不同方法利用抽样调查数据对此问题进行了研究。实证结果表明,无论是普查,还是抽样调查,调查员方差都是存在的。相对来讲,研究抽样调查中调查员方差的文献要多一些。

三、调查员方差的来源

几十年来,国外学者,尤其是英国、美国和印度的学者都对调查员何以会影响调查结果,调查员方差产生的原因及降低措施等进行了广泛的理论和试验研究。限于篇幅,本文仅综述其中研究比较集中的一些因素。

1.调查员的人际交往能力。这是调查文献中研究比较集中的一个问题。我们可能会猜想,调查员人际交往能力越强,其调查结果的误差就会越小。但Richardson等(1965)的研究表明,调查员的人际关系技巧和分析技巧与调查误差不相关。调查员的人际关系技巧可以帮助调查员获取调查对象的信任从而接受调查,但不会对调查结果产生影响。对此,Williams(1968)有更精确的讨论。而Cahalan(1968)的研究也表明调查员的人际交往能力和调查误差之间关系很弱,人际关系可能增加也可能降低调查误差。例如,一个具有较好的社交技巧的调查员有可能更好地获得调查对象的信任和配合,但同时也可能对调查结果产生更大的影响。

2.调查员的解释能力。没有文献专门研究调查员的解释对调查结果的影响,但它确是调查员方差产生的重要原因。在很多调查中调查员也是信息解释员。当问题比较模糊,或者要获取的信息是调查对象很少想到的,这时就需要调查员的解释。类似地,调查员经常需要解释调查记录以方便对调查结果的归类。当数据需要编码录入时,也需要解释调查结果。如果一个调查是有组织的,对调查结果的解释会出现两次:在调查过程中当调查员决定如何提问和决定记录什么内容时,以及在编码员要将记录的调查结果转化成机读形式时。当解释发生时,就很有可能引起误差。就是说,调查员可能在其误差的方向和强度方面存在差异。如果调查员对某一问题有特别的倾向,那么调查员本身的差异就会增加其对调查结果的影响,其后果就是调查员方差的增加。

3.调查内容。Kish(1962),Hanson和Marks(1958)研究了调查内容引起调查员方差的可能性。他们的结果表明当利用无效回答和其它回答作比较时;或者当调查员反对一些调查项目,因为它们模糊不清、或者主观性太强,或者太复杂,或者过多的解释就可能替代调查对象的回答时,调查员方差就会增加。

4.社会地位差距。将调查员和调查对象结合在一起考虑是否会产生更多的调查员方差呢?目前,没有文献利用调查员和调查对象变量来解释调查员方差。但有关于调查员和调查对象结合的更一般的研究。有些方法论者争论说很少限制调查员和调查对象的交流,而后者大都认为所有的调查对象都差不多。这种观点,引出了Hyman等(1954)早期的研究。随后,Benney等(1956)又提出了关于回答误差和可观测的社会差距之间关系的争论。Dohrenwend等(1968)的研究认为,社会差距与调查误差的关系是曲线的:当社会差距很小时,调查员就很容易被调查对象接受从而有利于获得误差较小的调查结果;相反,当社会差距很大时,调查对象就会有潜在的较高的抵制反应。Weiss(1968)的研究表明了不同的观点:调查对象和调查员之间社会差距的大小并不是产生调查误差的本质原因,Dohrenwend等(1969)的评论文章也支持这一点。跟这个主题相关的很多文献都强调调查员的提示信号或者调查员与社会地位相关的一些反应都会影响调查结果。这是Williams(1964)倡导的核心,同时Williams的一些对Dohrenwend和Weiss文章的评论文章也说明了这一点。

5.意识形态。Cahalan等(1947)、Ferber等(1952)、Feldman等(1951)的研究都表明意识形态是决定调查误差的重要因素。调查员独特的意见、信仰、信心等都会对调查结果产生影响,更不用说调查员长期形成的意识形态对调查结果的持续影响。

此外,还有不少研究调查员方差来源的文献。如研究调查员的性别、年龄、性格、能力、社会地位、阅历、形象、态度、人际关系、提问的方式,甚至语调、种族等等对调查结果的影响。这些研究相对要分散一些,在此不再一一列举。

四、调查员方差的测定方法

J. Stevens Stock等(1951)根据一次具体调查实验发展了测定调查员的变化性对总的调查误差的影响的方法,他还深入讨论了抽样设计、问题类型等对调查员方差的影响; Morris H. Hansen等(1951)深入研究了调查员误差的测量方法,证明了调查员误差是调查误差的一个重要方面; Barbara Bailar等(1977)通过一个有控制的实验说明了调查员偏倚和方差的计算方法,同时,他还通过另外一个实验说明成功的调查和调查员特征与态度之间的关系;文章在国家犯罪调查和家庭收入调查中具体应用了Morris H. Hansen等(1951)的方法。王克林和刘建平(2009)分析了调查员误差的产生机理并据此建立了计量模型,然后结合运用整群抽样原理,提出了一种容易操作的测定调查员误差的方法。

五、结论

深入研究调查员方差是设计出有针对性的措施去降低调查员方差的前提。如,从调查员的选择上、培训上、评价上及报酬的支付等方面选择较好的方法去降低调查员方差,这是我们调查员方差研究的最终目的。一般研究调查员方差的文献都会在最后给出选取和培训调查员时应该注意的问题,也有文献专门研究如何降低调查员方差。如Albert B. Blankenship(1949)详细研究了调查员在实际调查工作中的实际操作技巧以及应该注意的问题; Schyberger(1967)通过一次具体调查研究了经验丰富和经验不足的调查员之间的差别,他发现按照调查项目支付工资的调查员比支付计时工资的调查员受到更大的激励;有训练的调查对象和仅仅是接到通知便接受调查的调查对象的调查结果差距巨大;Stock等(1951)建议通过培训和控制调查员、更认真细致的问卷设计、选用更大数量的调查员等方法来降低调查员方差; Happer W. Boyd(1970)的研究表明,调查员误差是市场调查研究中误差的主要来源,他给出了选拔、培训和控制调查员以降低调查误差的方法。

笔者认为,随着我国社会经济发展水平越来越高,人们对统计数据质量的要求越来越高,我国对调查员的关注和研究也一定会逐步向研究先进的国家靠近,我国提高统计数据质量的途径也会越来越多。

参考文献:

[1]John Freeman and Edgar W. Butler.Some Sources of Interviewer Variance in Surveys .The Public Opinion Quarterly, Vol. 40, No. 1 (Spring, 1976), pp. 79-91

[2]Morris H. Hansen. William N.Hurwitz, Eli S.Marks,and W.Parker Mauldin. Response Errors in Surveys. Journal of The American Statistical Association. 1951

[3]J. Stevens Stock and Joseph R. Hochstim. A Method of Measuring Interviewer Variability. The Public Opinion Quarterly, Vol. 15, No. 2 (Summer, 1951), pp. 322-334

[4]Barbara Bailar, Leroy Bailey, Joyce Stevens.Measures of Interviewer Bias and Variance .Journal of Marketing Research, Vol. 14, No. 3, Special Issue: Recent Developments in Survey Research (Aug., 1977), pp. 337-343

[5]王克林 刘建平:调查员误差的计量模型与测度方法[J].统计与决策.2009(10).11-12

[6]Albert B. Blankenship, Archibald Crossley, Myron S. Heidingsfield, Herta Herzog, Arthur Kornhauser. Questionnaire Preparation and Interviewer Technique. The Journal of Marketing, Vol. 14, No. 3 (Oct., 1949), pp. 399-433

[7]Schyberger.A Study of Interviewer Behavior.Journal of Marketing Research, Vol. 4, No. 1 (Feb., 1967), pp. 32-35

[8]Harper W. Boyd, Jr. and Ralph Westfall. Interviewer Bias Once More Revisited. Journal of Marketing Research, Vol. 7, No. 2 (May, 1970), pp. 249-253