调查研究法的运用问题评析

时间:2022-04-13 06:42:24

调查研究法的运用问题评析

摘要:首先在考察样本代表性与调查质量之间关系的基础上建立一个理论评价框架,然后运用该框架对我国1988~2007年会计研究中调查研究法的运用情况进行实证分析。结果发现,调查法在我国的运用与西方研究和有关的理论的要求相比,在抽样方式的选择、样本规模、无回应分析等方面均还存在着较大的差距。

关键词:调查研究法;会计研究;评析

中图分类号:F230.9 文献标识码:A 文章编号:1003-7217(2009)06-0068-06

调查研究法是我国会计研究中最早使用的实证研究(positive research)方法。虽然后来随着我国资本市场的逐渐壮大,经验研究(empirical research)后来居上,蓬勃发展,占据了我国会计实证研究的绝对主流地位。但由于调查研究便于大范围地了解有关社会公众或组织管理者的观点和态度,获取组织内部会计决策和运行控制等方面的重要信息,而这些都是资本市场数据库所无法提供的,因而调查研究法在我国会计研究的某些领域(比如管理会计、会计准则制定、会计教育和会计人才市场需求等)中一直发挥着不可替代的作用。

但是,任何调查都包括了一些重要步骤,需要认真考虑并按特定的顺序予以执行。如果不知道这些步骤则容易得出一些低质量的调查结果。早期有关调查研究法在会计中运用的研究亦发现,调查研究法的核心缺陷是许多研究都未能遵循调查设计和管理的基本原则。如果调查研究能够得到正确的设计和管理,那么它可以是一种大规模、高质量数据的来源。因此,调查研究法的关键问题不是研究方法本身,而在于如何运用方面。

以下从调查研究法的调研数据质量入手,将把西方的惯用调查研究法的常规研究步骤与我国1988~2007年会计研究中调查研究法的运用情况比较,侧重在总体与覆盖误差、抽样与抽样误差、回应率和无回应偏差、调查法研究范式趋势等方面进行分析,以期为提高我国会计调查研究法的应用水平提出一些建议。

一、评析框架

调查研究需从总体中抽取样本。收集定性或定量的有关数据,因而,一个代表性样本应该是总体的一个缩影。如果样本缺乏代表性,即使花费再多的人力、物力、时间,调查数以万计的对象个体,进行高深莫测的数学统计和模型建构,结果也是徒劳无功。因而可以说,样本的代表性是抽样调查的“生命线”。于是提出基于样本代表性的理论评析框架,见图1。

显然,调研数据的获取是一个由目标总体到调查总体,再从调查总体抽取调查样本,最后从有效样本获得有关数据的过程。因而,有效样本的代表性直接决定了调研数据的质量,进而决定了调查研究的质量。当样本缺乏代表性,调查结果(样本数据)与事实(总体数据)出现差异,便产生了调查误差,主要包括抽样误差和非抽样误差。其中非抽样误差又包括三种类型:抽样框误差、无回应误差和计量误差0。调查质量便与调查误差存在以下反比关系:

调查质量=1/调查误差=1/(抽样误差+非抽样误差)=1/(抽样误差+覆盖误差+无回应误差+计量误差)

可见,抽样误差和非抽样误差只要有一方或者双方同时增大,就会使得调查质量下降。因而减少抽样误差和各类非抽样误差成为提高调查质量的关键所在。

图1中,目标总体是研究者意欲研究的全体回应者(respondents)的集合。调查总体则是研究者所能获得的用于实际抽样的全体回应者集合。如果二者的覆盖范围不一致,则会产生所谓的覆盖误差,包括覆盖不足误差和覆盖过度误差两种类型。其中覆盖不足误差是指调查总体小于目标总体所产生了偏差,这种误差是覆盖误差中最严重的问题,因为无法从样本或调查总体中发现丢失单元所造成的误差。与此相反,调查总体包含非目标总体单元则称为覆盖过度,这种偏差的影响很大,但潜在威胁通常会小一些,因为可以在调查中辨认出非目标单元并把它们剔除。显然,为了减少覆盖误差,研究者应保证调查总体与目标总体之间的一致性。

样本是总体的一个子集,如果样本是总体的一个代表,则对样本为真的命题在可计算的误差边际内对总体也为真。从调查总体中抽取调查样本可能会存在两类误差(图1):一是抽样误差,是由随机抽样所引起,因而是一种随机误差。只要总体中个体差异存在,抽样误差不可避免,但是可以事先计算并加以控制。二是抽样系统误差,主要源于有偏误的抽样方法,比如采用方便抽样(convenience sample)和自愿回应样本(volunteer sample)等。由于主观因素破坏了随机原则,导致样本系统性偏离总体,因而这种误差是一种系统性误差,纠正的方法是采用随机抽样。

如上所述,研究者虽然可以通过科学的抽样设计,从总体中抽取具有代表性的调查样本,然而,调查样本的代表性还并不能最终反映调查结果的代表性。因为调查样本对总体的代表性仅是一种调查开始之前的衡量指标。在进行调查的过程中,会有许多因素导致抽样样本中部分个体缺失或失效(无回应),使得最终有效样本只是调查样本一部分(图1)。且“无回应者通常与回应者有着相当的差别”,由此所产生的有效样本与调查样本之间的误差则为无回应误差(non-response error),所以,当元回应误差较大时,调查数据的质量和调查结果对总体代表性就会受到明显的影响和破坏。因而调查回应率(response rate)的高低成为影响调查结果代表性程度另一关键指标,高回应率能在一定程度上消除无回应误差的负面影响,因此,调查的回应率越高越好。

古扎拉蒂(2004)曾指出“研究结果不能比数据的质量更好”。综上所述,为了提高所获取的调研数据质量,进而提高研究质量,研究者应在保证调查总体对目标总体完全覆盖,减少或消除覆盖误差的基础上,选择适当的抽样方法和样本规模以减少抽样误差及与抽样相关的抽样系统误差,并提高回应率以减少无回应误差。

二、调查研究法的几个问题分析

基于图1的调查研究数据收集的基本步骤,对总体与覆盖误差、抽样与抽样误差、回应率和无回应偏差、调查法研究范式比较分析。出于专业性以及影响力等方面的考虑,本文从《会计研究》和《审计研究》中选取1988~2007年刊发的采用调查研究法的所有学术论文为研究样本,共得样本文章73篇,其中《会计研究》56篇,《审计研究》17篇。

(一)总体与覆盖误差

总体是调查研究者希望推广其研究结论于其中的全体要素的集合。根据其在调查研究中的地位和作用不同,可从两个层次上对总体做进一步的考察:一个层次是目标总体,这一层次的总体只是概念上的定义,比如家族企业的财务总监;另一层次为调查总体,这个层次的总体是一份具有可操作性的名单,包括目标总体中合格的(eligible)、可确认的(identifiable)并能联系上的个体,如各省家族企业

财务总监的名单。

所谓覆盖过度是指调查总体大于目标总体,如包括了国有企业的财务总监;覆盖不足则指调查总体小于目标总体,如仅包括浙江省家族企业财务总监,则研究结论难免产生偏差。为了减少这类误差,应保证目标总体与调查总体之间的一致性。

所选取的73篇样本文章中,只有1篇明确地报告了目标总体,因此,按前述理论框架及美国法律框(Diamond,2000)的要求,对于没有报告目标总体的研究,其目标总体只能是抽样所采用的调查总体。5篇(6.9%)文章报告或部分报告了调查总体,绝大部分研究均没有报告调查总体,因而此时的调查总体也就是调查样本。在这种目标总体缩小为调查总体,调查总体再一步缩小为调查样本的情况下,这类调查只能是一种探索性研究,其调查结果严重缺乏可推广性。

(二)抽样与抽样误差

1 抽样方式。抽样方式包括概率抽样和非概率抽样两大类。非概率抽样操作简便,省钱省力,统计上也更简单,但样本代表性较差。概率抽样不仅样本具有更强的代表性,而且还能依据概率理论估计样本的精确度和代表性。所以,Diamond(2000)TM和Morgan(1990)均强调非概率抽样得出的定量推论只能是一种探索性的而不能视为解释性的。

在我国会计调查研究中,调查采取的抽样方式非常模糊。在近20年所有的调查研究中,明确指出采用概率抽样方法的文章仅为6篇(8.7%),采用非概率抽样方法的比例为30.5%,概率与非概率抽样相结合的比例为4.3%,而对抽样方式未予说明的达56.5%,信息缺失很大,使我们无法判定这些研究究竟采用何种方法。缺乏明确的抽样程序说明使得很难对样本的代表性和研究发现的可推广性做出合理判断,研究的理论价值和实用价值自然也大打折扣。

2 样本规模。抽样理论告诉我们,在统计检验所需样本规模得到充分满足的前提下,仍然扩大样本规模是一件得不偿失的事情。以简单随机重复抽样为例,欲使抽样平均误差减少一半,样本规模需增大到原来的4倍。然而,对于提高调查研究的质量而言,样本规模本身并不像通常所想象的那样重要。已有研究一致表明非抽样误差才是调查误差的主体。因而,与其把大量的资金与人力花费在扩大样本规模上,更明智的选择应该是做好其他方面的工作,比如提高样本的回应率等(后文将详细探讨),以减少各类非抽样误差。基于这些方面的考量,美国的法律框架要求无需对样本规模进行技术上的测算,但样本规模必须“直观上合理”(intuitively justifiable),强调最少包括200~300个回应者的样本就可以获得法庭认可的表面效度(face validity)。

当然,美国法律框架有关样本量的规定是一个相对较高的标准,却更多地体现出一种严谨性和权威性――研究结果能够得到法庭的认可和接受。因而已被美国学者所接受,并用于评价调查研究的样本充足性。表1列示了我国会计调查研究中的样本规模及回应率有关统计数据,除去16篇没有报告样本规模的文章,有效样本规模均值为220,超过了200――司法表面效度的最低要求,但标准差却高达271,中位数仅为107。进一步考察,仅有25%的研究有效样本规模都超过了200(没在表中报告)。极差(range)为1149,最大样本规模为1166,最小仅为17。由此可见,我国已有的调查研究从样本规模方面来看尚缺乏应有的表面效度。

(三)回应率和无回应偏差

1 回应率。回应率高低是衡量样本代表性高低以及一项调查研究结果能否得以推广的主要标准之一。可接受的回应率随调查所采用的方式不同而有所变化,西方学者总结了不同调查方式下的可接受回应率,见表2。

显然,欲对我国会计调查研究的回应率水平进行考察,必须先要明确调查所采用的方式,表3统计了我国会计调查研究所采用的方式和不同方式的平均回应率水平。

由表3可知,我国68.5%的调查研究采用了邮寄调查的方式,其平均回应率为52.3%,略高于邮寄调查的可接受水平50%。但进一步分析发现(没在表中列示):最高回应率为100%,最低为5%,中位数为52.7%,将近一半(47.6%)的回应率水平低于50%。采用课堂问卷方式获取调查数据的文章2篇,平均回应率为89.5%,远高于最低可接受水平50%。采用电子邮件方式的调查研究2篇,平均回应率为61%,达到该方式下的“很好”水平(60%)。多种方式结合的调查研究16篇,主要是邮寄问卷与其他方式结合,其平均回应率为60.1%,达到了邮寄调查中“好”的水平(60%)。综合考虑各种方式之后,总体平均回应率为55.5%,故从总体上来看,我国会计调查研究的回应率处于一种尚可接受的水平。由于作为主要调查方式的邮寄调查回应率较低,所以,在回应率的提高方面尚有很大的潜力可以挖掘。

2 如何提高回应率。预先通知能提高被调查者的参与程度,使其对调查产生一种承诺义务,能够极大地提高回应率。在我们所选的73篇样本文章中,有2篇文章报告有通过电话沟通的方式与调查对象进行了预先联系,其中1篇没有报告回应率(也没有报告样本规模,因而无法推算),另1篇回应率为46.5%(低于平均值),因为这类文章数量太少,故而难以由此得出有意义的结论。

跟踪提醒,无论是明信片还是信函,都能使被调查者感到该调查的重要性。因而如果问卷寄送后第一轮回应率不高,则应采用跟踪提醒,寄送感谢/提醒明信片/信函,研究表明,跟踪提醒能有效地提高回应率,把比较有抵触情绪的回应者也囊括到调查研究中来,一般能使回应率提高10%~25%。在我们选取的73篇文章中,仅有1篇文章报告采用了跟踪提醒程序,但该文章没有报告所获得的回应率情况。

此外,问卷调查方式可以通过采用混合方式为潜在参与人提供多种可供选择的回复方式以获得更高的回应率。早期的混合方式通常使用电话调查作为邮寄调查的一种可替换方式。随着网络技术的进步,混合方式中使用在线调查已日渐流行。我国会计调查研究中使用最多的混合方式是邮寄与访谈或座谈方式结合(9篇),占所有采用混合方式文章(16篇)的56.3%,其次是采用邮寄加电子邮件方式(2篇)。由表3可知,混合方式下的平均回应率为60.1%,高于邮寄方式及总体平均回应率52.3%和55.5%。

另一种有效的提高回应率的办法是寻求“权威支持(endorsement)”,比如公司领导、行业协会,以及一些其他的权威机构或个人。研究表明,当告知被调查者该项调查为义务时,无论是企业还是个人回应率水平都将提高。73篇文章中有18篇寻求了权威机构的支持,这些机构主要包括中国会计学会、中国或地方总会计师协会、地方财政厅/局、地方税务局等。这18篇文章中有5篇文章没有报告且无法推算回应率,其余12篇文章的平均回应率为

61.5%,高于总体平均水平(55.5%)。

3 无回应偏差。虽然高回应率无可否认反映出研究的严密性,但回应率只是揭示了回应者的相对比例,却忽略了回应者和整个样本之间的不同,因而研究结果的可推广性不仅取决于回应率高低,而且(也更主要)取决于是否存在无回应偏差。明显不存在回应偏差比有偏差的高回应率更为重要。

由于低回应率(比如低于20%)的样本更有可能存在回应者的自选择问题,因而低回应率往往与无回应偏差相伴相依。为此,Diamond指出75%~90%之间的回应率通常可以得出可靠的结论,但研究者应对样本的代表性进行检查。Van der Stede等人啪则提出了更高的要求,认为当回应率低于80%的时候,期望避免所有潜在来源的无回应偏差是不切实际的,因而对无回应偏差的分析能够提高会计调查研究的质量。

目前国内的会计调查研究中,对无回应偏差的重视不够。在73篇样本文章中,82.6%的文章回应率低于80%――Van der Stede等人提出的可以避免无回应偏差的最低标准,仅有2篇文章进行了无回应分析。

(四)调查研究法的范式趋势

为了评价调查方法在近20年的运用是否随着时间的推移更加规范,我们划分并比较了调查法在三个时期的运用情况,结果如表4和表5所示。

由表4的统计可发现,在近20年中,概率抽样方法的运用比例逐期递减,从1988~1997年期间的22.2%下降到1998~2002年期间的15.9%,再到最近5年的2.5%。与此同时,抽样方法不详的文献比例仍高达63.5%,这在很大程度上说明在调查实践中,抽样方式的选择问题并未得到研究者们的足够重视。

但有一个值得注意的现象是,近十年中一些研究者开始尝试使用概率与非概率相结合的抽样方法。尽管随机抽样较好地排除了调查者的主观影响,但在实际调查研究时,研究者常常很难有幸获得一份调查所需的抽样框以制定概率抽样计划。因而并不可能做到严格地抽样调查或只能做到部分随机抽样,因此,这种似乎是“折衷”的抽样方法也就应运而生了。

由表5可见,有效样本规模有逐期增大的趋势,显然,样本规模过小的问题已经引起了研究者们的重视,但在平均样本规模最大的期间(2003~2007年),仍有约一半的调查样本规模小于200,因而样本规模仍是一个不容乐观的问题。同时,从表5可看出,由于预先联系、跟踪提醒及权威支持等手段的采用,使得有效回应率较前期得到较大水平的提高。但同时除了权威支持之外,采用预先联系、跟踪提醒及无回应分析的文章比例仍相当低,在同期文章中所占的比例均低于5%。

三、结论与建议

由以上分析可知,调查研究法在我国会计研究中的运用与有关理论的要求相比,在目标总体的确定、抽样框的选取、抽样方式的选择、样本规模和回应率的报告,以及无回应分析的展开等方面均还存在着较大的差距和不足。当然,也许我国会计调查研究的实际情况要好于文中的统计,我们的比较主要是以国际一流刊物发表的文章单列一个部分报告研究方法的标准范式进行,我国部分研究者把调查研究的结果视为了一种标准的研究范式。显然,这反映出的不仅仅是我国研究与国际一流水平之间的研究差异,更可能是我们的研究设计和研究过程的规范缺失。

Diamond(2000)指出“调查报告的完整性是调查值得信赖的一个标志”。一项调查研究应详细描述调查目的、分析层次、目标总体的定义和样本、抽样设计、回应者的类型、回应率、问卷所使用的准确措辞,以及测量的信度和效度。同时,我国社会学方面的专家对调查研究的报告与披露(reporting and disclosure)问题也予以了高度强调。因此,“不管我们的实际调查做得是好是差,严格或不严格,科学或不科学,质量高或不高,研究者都应如实地、清楚地、详尽地在报告中告诉读者自己是如何做的。这是科学共同体中的一条基本原则”。

上一篇:机构投资者与会计信息质量之关系的实证研究 下一篇:金融功能研究的回顾与总结