共同方法变异的影响及其统计控制途径的模型分析

时间:2022-02-07 05:22:21

共同方法变异的影响及其统计控制途径的模型分析

摘要 共同方法变异(common method variance,CMV)指两个变量之間变异的重叠是因为使用同类测量工具而导致,而不是代表潜在构念之間的真实关系。虽然以往研究显示CMV不一定导致研究结果的偏差,在实际研究中应当加以考量。特别是在使用测量方法的研究中,如果数据来源越单一,测量方法越类似,CMV效应使研究结果产生偏差的可能性越大。CMV效应的控制方法包括过程控制法和统计控制法。在统计控制法的选择和使用上,需要重点考虑该方法是否分离了三大变异(特质变异、方法变异和误差变异),CMV效应是在测量构念层面还是题目层面,CMV效应是加法效应还是乘法效应。控制潜在方法因子途径是统计控制方法中最重要的一类方法,理解其模型是正确使用这类方法的前提。未来研究应当关注多个研究的CMV效应和侧重评估某个理论研究中CMV所引起的潜在的效度威胁。

关键 词共同方法变异;共同方法偏差;共同方法变异统计控制途径;验证性因素分析

分类号 B841

1 引言

国外对方法变异的关注自1959年Campbell和Fiske用多特质多方法模型计算聚合效度和区分效度之后就开始。方法变异是由测量方法导致的系统误差变异;共同方法变异指两个变量之間变异的重叠是因为使用同类测量工具而导致,而不是代表潜在构念之間的真实关系(Teo,2011)。例如,研究自我提升与自尊的关系时,如果都是用相同方法如自陈问卷法收集数据,那么二者之間的相关很可能有一部分是因为这种测量方法引起,而不是自我提升与自尊的真实相关。使用相同方法测量每个变量很可能产生变量間的虚假相关。在调查研究中常见。如果研究数据收自单一来源(评分者或被试),自陈又是唯一的作答方式,那么这种收集资料的方法更容易受到CMV的影响(Lindell&Whitney,2001)。

CMV和共同方法偏差(common method bias,CMB)都是与方法变异(method variance,MV)相关的名词,但含义有一定的差异。CMV侧重于指因采用了相同的方法而导致的与所研究的构念无关的变异;CMB是指当两个变量使用相同的受测者测量时,导致两个变量之間的关系偏离“真分数相关”而引起虚假相关的程度(spector,1987)。CMB讲的是CMV导致的偏差性结果。显然,CMV概念使用的灵活性比CMB要大得多。

CMV是用相同方法(或相同评价者)测量的变量之間共有的系统误差变异(Richardson,Simmering,&Sturman,2009)。相对于研究者在实施调查研究时遇到的其它问题(如无作答偏向、信度或者内外部效度的问题),CMV可能更麻烦,因为它能导致相当一部分变异,并且是调查研究中的系统误差的主要影响因素。

Podsakoff,MacKenzie,Lee和Podsakoff(2003)对共同方法偏差及控制方法作了较好的综述。国内学者周浩和龙立荣(2004)对把共同方法偏差的统计控制方法作了较好的介绍。此后,随着学者对共同方法变异的研究深入,出现了一些关于共同方法变异的新的观点和方法。新的观点如CMV的影响不仅限于同一研究中的不同构念,CMV控制需要具体化等。新的方法如方法一方法配对技术、基于认知取向心理测量理论的过程控制法等。同时,研究者使用CMV统计控制诸法时,也遇到了一些新的问题,如使用不同统计控制方法得到的结果不同,有的研究者在选择方法时往往忽视某种方法选择的基本前提而导致误用等实际操作问题。这些问题的关键在于有的研究者可能对各种控制方法的基本原理与模型认识不够充分。此文将在以往文献的基础上,重点介绍有关CMV影响的新观点,并且进一步分析一些易误用的CMV统计控制方法的模型,以帮助研究者更好地理解CMV和选用合适的统计控制方法。

2 共同方法变异的影响

CMV效应是测验中的一个主要的潜在效度威胁,因为它为观测到的变量之間的关系提供了另外一种解释。从理论上讲,CMV会膨胀(inflate)也会紧缩(deflate)观测到的关系。Siemsen,Roth和Oliveira(2010)研究发现CMV是膨胀还是紧缩观测相关,取决于CMV对观测变量影响的对称度。

需要注意的是,CMV并不一定意味着会使变量之間的相关上偏。因为如果测量值相关的膨胀幅度很小的话,方法效应即使显著也不是一个很大的问题。因此,重要的研究问题不是CMV效应是不是显著,而是CMB是不是很大(Meade,Watson,&Kroustalis,2007)。

方法变异产生的原因是多方面的。Podsakoff等(2003)据此总结了四种方法变异效应:相同评分者效应(也叫同源效应)、题目特点效应、题目背景效应和测验背景效应。由此可以看出,方法变异不仅影响到同一个研究多个构念之間的关系(四种效应都可能存在),也影响到单个构念自身的测量(题目特点效应和题目背景效应),还能影响到同一理论构建的不同研究之間的关系(主要是题目特点效应和题目背景效应)。

在考查预测变量和效标变量关系,特别是它们用了共同的测量方法时,应当要考虑如何减小CMV的影响。同时,在研究系列预测变量内部之間关系和一系列效标变量内部之間关系时,也要考虑CMV的影响。尤其是当研究存在高阶潜构念时,需要区分低层的维度相关是真实的维度重叠还是因为共同方法造成的重叠(Johnson,Rosen,&Djurdjevic,2011)。例如,核心自信和积极心理资本在管理学研究中作为一个高阶构念,包含了自我效能、乐观、希望和心理弹性等低层维度。大多数低层的维度之間是相关的,非常有必要分离这些维度之間的真实相关的变异和CMV。为了保证高阶因子测量的内部效度,做这样的分离是十分必要的。

除了关注问卷研究中CMV对构念間关系造成解释的偏差之外,很多研究者忽视了单个测验自身存在的方法变异效应(如题目特点效应和题目背景效应,当问卷题目用共同的作答形式时,方法变异效应是最明显的)。单个测验自身的方法变异会膨胀alpha系数及与此相关的效度,还会影响测量的标准误和有效上限。在经典测验理论中,观测分数变异是真分数变异和随机误差分数变异之和。方法变异是测验题目間的共同变异,不能归于要测量的构念,但在经典测验理论中方法变异被作为真分数变异一部分,于是用这个真分数变异来代表构念引起的变异,可能导致信度系数的膨胀。

CMV还能影响到某一研究领域的不同研究之間观测到的关系(Sharma,Yetton,&Crawford。2009)。如果同一理论领域的不同实证研究用了相同的方法,如问卷法,方法效应也会在研究間存在。3统计控制途径的模型

共同方法变异的控制包括过程控制和统计控制的方法。过程控制就是在研究设计上,针对各种可能的方法变异来源,加以事先的控制。而统计控制是通过统计手段,减少方法变异对测验内或测验間研究结果的影响。按方法变异的影响范围,统计控制方法可以分为三个方面:对单个测验内的方法变异影响的控制,对同一研究中不同构念間的CMV影响的控制和不同研究間的CMV的控制。目前讨论得最多且控制方法最为丰富的就是同一研究中不同构念测量間的CMV影响的统计控制。

Sharma等(2009)按研究中使用的测量方法的多少将统计控制方法分为两大类:一类为单一研究方法设计中的CMV统计控制法,如偏相关途径和单一方法潜因子方途径;另一类多方法研究设计中的CMV统计控制法。这类方法需要研究者用多个特质把每个变量操作化(operationalize)并用多种方法来测量每个特质(campbell&Fiske1959),即多特质一多方法(mulfitrait-multimethod,MTMM)法。具体的方法有:相关的特质一相关的方法模型(correlated trait-correlated method model,CTCM)法、相关的独特变异量模型(correlatedtrait-correlated uniqueness model,CTCU或cu)法、直积模型(direct product model,DP)法和二阶因素分析模型法(second-order confirmatory factoranalysis)等。针对不同研究中的CMV的统计控制,Sharma等(2009)提出了方法一方法配对技术(method-method paired technology)。

Harman的单一因子检验法(Harman''sSingle-Factor Test)只是一种粗略的检测法,不能对CMV进行控制。有多篇文献(Podsakoff et a1,,2003;周浩,龙立荣,2004;彭台光,高月慈,林钲棽,2006)比较清楚地介绍了,不详述。鉴于方法一方法配对技术主要用于多个研究之間的CMV控制,不作介绍。

同一研究中CMV的统计控制,有两个重要的问题需要考虑:第一,CMV的影响是加法效应还是乘法效应?当方法效应存在依赖于测量的特质之間的相关大小时,特质与方法的乘法形式的交互作用存在了。例如,当特质与特质相关越高,方法效应就越大,那么方法与特质之間的交互作用就存在了(campbell&O''Connell,1967)。CTCM模型法和CU模型法的前提就是假设方法效应为加法效应,也就是说,方法效应的大小与特质和特质之間的相互相关没有关系(Becker&Cote,1994)。在以下提到的几种统计控制方法中,DP模型法和二阶因素分析模型法考虑了乘法效应。第二,CMV的影响是在测验题目层面还是构念层面?题目层面的影响是指CMV只会在题目层面产生与研究构念无关变异。构念层面的影响是指方法因素直接影响构念,使得测验测量的构念偏离了原本想测的构念的性质。偏相关的三种方法都不能区分方法变异到底产生哪种影响。

3.1偏相关途径(Partial Correlation Approaches)

偏相关途径的基本思想是把方法变异作为控制变量,通过偏相关控制方法变异的影响。有三种偏相关途径:控制已测方法变量的偏相关法、控制标记变量的偏相关法和控制第一方法因子变量的偏相关法。区别此三者的关键在于方法变异的产生方式或替代不同。这类方法的一个共同优点是简单易行。共同的不足是在测量研究变量和方法变量时均无法考虑测量误差,难以区分构念层面和题目层面的CMV影响,而且所选择的方法变异代替变量往往不能代表大多数方法变异。

有多篇文献;周浩,龙立荣,2004;彭台光等,2006)比较清楚地介绍了偏相关途径及其具体操作,在此不详述。只对其中一个重要问题进行补充。控制综合方法因子变量的偏相关途径的综合因子的测量指标怎么求?彭台光等(2006)在文章中介绍,把在综合因子上负荷高的题目删除后,剩余题目再求构念观测值及其相关。这其实不是偏相关法:控制变量没有了。也会产生严重的问题,删除一部分题目后,很可能破坏了原假设的构念的结构,使用剩下来的题目算出的构念观测量与原假设构念在性质上有所不同,所以这种方法不可取。

3.2单一方法潜因子途径(Single Method-Factor Approaches)

单一方法潜因子途径主要用于研究的构念用了同一种方法进行测量时的CMV控制,通过结构方程模型来实现。在结构方程中,所有测量构念的题目除了负荷在所属的构念因子上,还负荷在单一的方法潜因子上。有两种方法,其主要区别在于方法因子的产生方式不同。而控制未测方法潜因子法没有单独的测量方法因子,方法因子负荷只来自所有测量构念的题目。

3.2.1控制已测单一方法潜因子法

已测方法潜因子法测量了预先设想影响很大的方法变异,如社会赞许性、积极情绪或消极情绪等,并设计了一定的题目对其进行测量。此方法的因素分析模型中,所有测量构念的题目除了负荷在所属的构念因子上,还负荷在同一个方法潜因子上。而且方法潜因子的负荷一方面有来自所有测量构念的题目,另一方面还有来自对社会赞许等方法变异测量的题目。这模型通过明确纳入方法潜因子在每个观测指标上的效应来控制CMV(Meade et al.,2007)。比较有无方法潜因子的结构参数差异,看CMV影响的大小。同时可根据研究需要算出控制方法潜因子之后,构念之間的相关或路径系数。其变异分析思想是,测量构念的题目的分数变异可以分为:对应的特质变异、方法变异和测量误差;方法因子测量题目分数变异可分为:方法变异和测量误差变异。

此模型的变量与因子从属关系见图1。

此方法有假设前提上的不足,如假设研究能确定所有的CMV来源并能有效测量之且假设方法的效应为加法效应。

此方法具体操作可采用以下几个步骤:

第一步,研究变量的选定与测量。例如要研究自我提升(预测变量,表示为T1)与自尊(效标变量,表示为T2)的关系,根据相关理论,社会赞许性(方法变量,表示为M)对T1和T2的测量均会产生影响,是一个主要的方法变异引起因素,现分别用相应的量表对T1、T2和M进行测量。

第二步,建构有方法潜因子的模型(Model)。Model的变量与因子从属关系类似于图1所示,通过结构方程模型可以得到相关的模型参数。

第三步,建构无方法潜因子的竟比模型(Model'')。Model''中,测量T1、T2的题目对应负荷的潜因子T1、T2上。不考虑方法因子。

第四步,比较两个模型的拟合指标差异,看CMV影响的大小。同时可根据研究需要算出控制方法潜因子之后,构念之間的相关或路径系数。

第五步,结果选择。如果CMV影响存在,则应当选择控制方法潜因子之后,构念之間的相关或路径系数。

3.2.2控制未测单一方法潜因子法

此方法的因素分析模型中,所有测量构念的题目除了负荷在所属的构念因子上,还负荷在同一个方法潜因子上。可根据研究需要算出控制方法潜因子之后,构念之間的相关或路径系数。其变异分析思想是,测量构念的题目的分数变异可以分为:对应的特质变异、方法变异和测量误差。

此模型的变量与因子从属关系见图2。

此方法的优点在于不需要事先测量方法因子,不足在于无法确定CMV的具体原因。

以上两种单一方法潜因子途径的优点有:第一,方法因子构建在测量题目层面;第二,构念分数是排除方法和误差变异后的分数,能较好地代表构念;第三,考虑了测量误差。不足在于CMV的加法效应假设可能难以满足。

此方法具体操作可采用以下几个步骤:

第一步,研究变量的选定与测量。例如要研究自我提升(预测变量,表示为T1)与自尊(效标变量,表示为T2)的关系并分别用相应的量表对T1和T2进行测量。

第二步,建构有方法潜因子的模型(Model)。Model的变量与因子从属关系类似于图2所示,通过结构方程模型可以得到相关的模型参数。

第三步,建构无方法潜因子的竞比模型(Model'')。Model''中,测量T1、T2的题目对应负荷的潜因子T1、T2上。不考虑方法因子。

第四步,比较两个模型的拟合指标差异,看CMV影响的大小。同时可根据研究需要算出控制方法潜因子之后,构念之間的相关或路径系数。

第五步,结果选择。如果CMV影响存在,则应当选择控制方法潜因子之后,构念之間的相关或路径系数。

3.3多方法潜因子途径(Multiple Method-Factor Approaches)

多方法潜因子途径主要用于研究的两个或以上构念用了两种或以上方法进行测量时的CMV控制。前提条件是对多个构念必须事先进行多种方法测量。例如有构念T1、T2和T3,每个构念都分别用了方法M1、M2和M3来进行测量。其数据都可用MTMM来展现。验证性因素分析(confirmatory factor analysis,CFA)为分析MTMM数据提供了最为一般和灵活的量化方法。但是CFA是否为MTMM数据提供了最好的描述,还存在许多争论(conway,Lievens,Scullen,&Lance,2004)。MTMM数据分析的CFA法主要有四种形式:相关特质一相关方法模型、相关的独特变异量模型、直积模型和二阶因素分析模型。

3.3.1相关的特质一相关的方(CTCM)模型法

全称为多特质一多方法数据的相关的特质一相关的方法(correlated trait-correlated method,CTCM)模型验证性因素分析法。此模型中,有多个方法因子和多个特质因子。各构念测量的题目同时负荷在相应的构念因子和相应的测量方法因子上。例如题目1是用M1方法测量构念T1的,此题就同时负荷在T1因子和方法M1因子上。所谓相关的特质一相关的方法是指,在潜因子之間求相关时,限定为特质与特质相关,方法与方法相关。可通过比较有方法潜因子与无方法潜因子的模型拟合指标,评估CMV的存在。也可以通过比较CTCM模型与只有特质因子的模型的差异来估计CMB((Meade et al.,2007)。

此模型的变量与因子从属关系见图3。

方程(2)和(3)使CTCM模型的这种表述使得其加法模型的特性显露无遗:变量之間的观测相关在数学上可定义为潜在特质因子和潜在方法因子的之和的函数。根据此模型,观测值的变异可归为三个部分的变异:特质变异、方法变异和随机误差变异(Becker&Cote,1994)。

其明显的优点是:第一,构念分数是排除方法和误差变异后的分数,能很好的代表构念;第二,方法因子构建在测量题目层面;第三,能分离出多个方法因子。其不足是存在模型不可识别的问题和方法的加法效应假设有时不能满足的问题。此模型的典型问题有:在没有约束的情况下参数落到其允许值之外(即落在可接受的参数空間之外,如标准化因素负荷和因子相关的绝对值大于1),过高的标准误,甚至收敛于任何解(Scullen,1999)。

此方法具体操作可采用以下几个步骤:

第一步,研究变量的选定与测量。以王姝琼等(2011)研究的变量为例,假定要研究儿童中期三种攻击行为(身体攻击T1,言语攻击T2和关系攻击T3)关系(注:原文并非研究这三者之間的关系,此处仅为举例方便而做的假定)。用三种方法(同伴评定M1、同伴提名M2和教师评定M3)对以上三个变量的每个变量进行测量,可得到MTMM数据。

第二步,建构有方法潜因子的模型(Model)。Model的变量与因子从属关系类似于图3所示,通过结构方程模型可以得到相关的模型参数。

第三步,建构无方法潜因子的竞比模型(Model'')。Model''中,测量T1、T2和T3的题目对应负荷的潜因子T1、T2和T3上。不考虑方法因子。

第四步,比较两个模型的拟合指标差异,看CMV影响的大小。同时可根据研究需要算出控制方法潜因子之后,构念之間的相关或路径系数。

第五步,结果选择。如果CMV影响存在,则应当选择控制方法潜因子之后,构念之間的相关或路径系数。

3.3.2相关的独特变异量模型法(the correlated uniqueness model,CU)

全称为多特质-多方法数据的相关的特质-相关的独特变异量模型(me correlated trait-correlateduniqueness model,CTCU或CU)验证性因素分析法(C0nway,Lievens,Scullen,&Lance,2004)。为了解决CTCM模型经常存在的识别问题,Marsh及其同事(Marsh,1989;Marsh&Bailey,1991)提出了相关的独特变异量模型。这个模型并不建模方法潜因子,各构念测量的题目只负荷在相应的构念因子上并允许自由估计。不过此模型中,每个题目还对应一个独特的误差项(error item,误差项包含方法变异、随机误差变异和其它系统变异),并允许通过同一方法测量的题目独特的误差项之間相关。也就是说,不像CTCM模型那样用明显的方法因子来代表方法效应,CU模型把方法效应表示为相关的独特变异量(Becker&Cote,1994)。这足以说明,研究者可以通过相关的独特变异量的平均来估计方法变异的平均比例。这个方法用更简洁和无偏的方式估计了每个测量方法的方法变异的平均比例(Scullen,1999)。

Ar是潜特质的因素负荷矩阵;r特质因子之間的相关矩阵;δ包含独特变异量的协方差矩阵。从方程(3)明显可以看到,观测值的变异可归为两个方面的变异:特质变异和独特(uniqueness,如误差项)变异。独特变异又源于三个方面:特殊变异、非系统误差变异和方法变异。

此模型的变量与因子从属关系见图4。

其优点是比CTCM模型约束更少,模型更收敛,有更合适的解(Becker&Cote,1994)。也存在不足。因为这个模型假设方法之間不相关,观测变量之間的相关倾向于通过特质相关来反映,并且因素负荷会比CTCM模型大,因而特质变异会被偏估(高估)。因此研究者在用CU模型估计特质参数时要谨慎(Meade et al.,2007)。另外,由于它混合了方法变异和误差变异,使得模型参数估计的标准误有偏下降,因而不能用于统计检验,也不能估计方法主效应。

假设方法之間不相关是CU模型最大的理论缺陷。因此Conway,Lievens,Scullen和Lance(2004)建议,在使用CU模型之前,研究者最好是使用一定的策略提高CTCM模型和或其它理论上更合适的模型成功的可能性,不得已才用CU模型法。

此方法具体操作可采用以下几个步骤:

第一步,研究变量的选定与测量。用多方法对多个特质进行测量,得到MTMM数据。

第二步,建构有方法潜因子的模型(Model)。Model的变量与因子从属关系类似于图4所示,通过结构方程模型可以得到相关的模型参数。

第三步,建构无方法潜因子的竞比模型(Model'')。Model''中,测量T1、T2和T3的题目对应负荷的潜因子T1、T2和T3上。不考虑方法因子。

第四步,比较两个模型的拟合指标差异,看CMV影响的大小。同时可根据研究需要算出控制方法潜因子之后,构念之間的相关或路径系数。

第五步,结果选择。如果CMV影响存在,则应当选择控制方法潜因子之后,构念之間的相关或路径系数。

3.3.3直积模型法(direct product model,DP)

全称为多特质一多方法数据的直积模型验证性因素分析法(Cudeck,1988)。Swain提出这个模型,并用于估计MTMM数据质与方法交互作用。基于Swain的模型,Browne(1984)在直积模型中正式表示了特质与方法的交互作用。这个模型假设在测量变量中存在特质与方法交互作用。也就是说变量之間的相关与方法效应相关联。修订后的模型中,观测变量之間的协方差(或相关)矩阵可以表示为特质的协方差矩阵和方法的协方差矩阵的直积,并且允许观测变量中有测量误差和允许测量有不同的量尺(Becker&Cote,1994)。

Browne完善后的DP模型的数学方程为:

∑为观测变量的协方差矩阵;z为公因子的非负定对角矩阵;PM和pT分别为非负定方法相关矩阵和特质相关矩阵;为右直积;EM和ET分别为方法和特质的误差项非负定对角矩阵(Bagozzi&Yi,1992)。这个模型要研究的矩阵有:z,公因子矩阵,即描述通过这个模型,测量的变量所能解释的变异量;PM,方法間的相关矩阵;Pr,特质问的相关矩阵(详见Bagozzi&Yi,1990;Browne,1984;Wothke&Browne,1990)。由方程(4)可知,观测变量之間的相关在数学上界定为潜特质和潜方法的乘积的函数,因此公因子相关是一个直积结构(a direct-product structure)。此模型的测验分数变异可以分解为公因子分数变异和误差分数变异。此模型的变量与因子从属关系见图5。

其优点是可以算出特质与方法的交互作用。但缺点也不少:第一,特质与方法的交互作用这个概念的本质不清,很难预测它什么时候会出现:第二,因为没有特质因子和方法因子,所以没有办法估计方法变异和特质变异的量,而且在估计特质与方法的交互作用时,无法控制方法和特质的主效应;第三,不能确定CMV来源:第四,在结构方程程序使用时,需要做详细复杂的系列约束。

此方法具体操作可采用以下几个步骤:

第一步,研究变量的选定与测量。用多方法对多个特质进行测量,得到MTMM数据

第二步,建构直积模型。Model的变量与因子从属关系类似于图5所示,通过结构方程模型可以得到共同因子Mlfrl、M1/T2、M1/T3、M2/T1、M2/T2、M2/T3、M3/T1、M3/T2和M3/T3的相关矩阵,并可以求出方法与特质的交互作用。可判断方法与特质的交互作用是否显著。

很显然,这种操作方法不能估计方法变异和特质变异,因此也就不能在真正意义上控制方法变异的问题。当观测变量较多的情况下,模型的约束相关复杂,这也限制了DP模型法在LISREL,EQS上的具体操作。

DP模型法也可以通过MUTMUM程序来很好的实现,并真正做到对方法变异的控制。

MUTMUM是Browne设计用于处理直积模型的专门程序。相比于其它方法(如LISREL,EQS)其优点是可以同时估计方法相关矩阵和特质相关矩阵,以及二者的标准误。另外此程序还可以进行假设检验。Browne已把此程序放在网上,供研究者随时下载。

3.3.4二阶验证性因素分析模型法

全称为多特质一多方法数据的二阶验证性因素分析模型法。其特点是,所有观测变量分别负荷在相应的初阶因子(first-order factot)上。同时还有一个二阶因子(second-order factor)反映多个初阶因子的相关。应用到MTMM数据矩阵时,初阶因子表示相应方法测量(如用方法1测量)的相应特质(如特质1)的方法与特质结合因子(如M1T1,),二阶因子则表示方法因子(如M1)或特质因子(T1)。

其协方差成分模型为:

∑=AгФгΛ+

(5)

人为因子负荷对角矩阵;r为固定的测量对比(measurement contrasts)矩阵;为方差一协方差成分矩阵;误差方差成分的对角矩阵(Wothke&Browne 1990)。

此模型的变量与因子从属关系见图6。

DP模型重新参数化为二阶验证性因素分析后,可以用使用更为广泛的线性潜变量模型软件(LISREL和LISCOMP)来作点估计和区間估计。这样做比DP模型更简单易行(Wothke&Browne,1990)。同时,还可以直接检验整个模式和特定模式方法和特质因子。

此方法具体操作可采用以下几个步骤:

第一步,研究变量的选定与测量。用多方法对多个特质进行测量,得到MTMM数据。

第二步,建构有方法潜因子的模型(Model)。Model的变量与因子从属关系类似于图6所示,通过结构方程模型可以得到相关的模型参数。

第三步,建构无方法潜因子的竞比模型(Model'')。Model''中,测量T1、T2和T3的题目对应负荷的潜因子T1、T2和T3上。不考虑方法因子。

第四步,比较两个模型的拟合指标差异,看CMV影响的大小。同时可根据研究需要算出控制方法潜因子之后,构念之間的相关或路径系数。

第五步,结果选择。如果CMV影响存在,则应当选择控制方法潜因子之后,构念之間的相关或路径系数。

4 统计控制方法的比较与选择

如果是单一方法测量研究设计,可采用单一方法潜因子途径和偏相关途径来控制cMv效应。如果研究的构念都用多个方法来测量,可以用多方法潜因子途径。在单一方法因子途径选择时,如果已测了方法变异的主要来源,可选择使用已测方法变量的偏相关法或控制已测单一方法潜因子方法,否则可使用控制综合方法变量的偏相关法和控制未测方法潜因子法。在偏相关途径和单一方法潜因子途径的选择问题上,如果数据样本很小,达不到结构方程的最低样本要求,那么可使用偏相关途径。如果样本达到要求,选择后者显然更优。在多方法潜因子途径选择时,如果能确信方法与特质的交互作用很大,应当使用直积模型法或二阶验证性因素分析法,否则可以使用CTCM模型法和CU模型法。在加法效应前提可以满足,CTCM模型和CU模型均可识别的前提下,CTCM模型法比CU模型法更好,因为它可以估计方法变异和误差。

一种统计控制方法是否分离了特质变异(能得到排除了测量误差变异和方法因子变异的特质变异),能否区分CMV是对构念层次的影响还是对测验题目层面的影响是两个非常关键的问题。如果能,这种方法算是比较可靠的。否则不是很可靠,所有的偏相关途径即是如此。

偏相关途径不是很理想的一类方法:不能区分问卷研究中的三大主要变异(构念变异、方法变异和误差变异),难以区分CMV影响的层面,难以考虑特质与方法的交互作用。因而有人认为,它并不能真正控制CMV的影响。但在潜因子模型的条件难以满足的情况下,退而求其次也是可行的。

单一方法潜因子途径方法明显优于偏相关途径。它既能分离问卷研究中的三大主要变异,又能较好地区分CMV的影响层面。在单一方法研究设计中这两种方法算是比较好的选择。Richardson等(2009)用模拟数据评估了偏相关途径和未测单一方法潜因子法,二者都产生的令人失望的结果。事实上,当方法变异存在和真实相关大于零时,它们的对相关的估计准确程度并不比没有校正时高。因此Conway和Lance(2010)建议研究者尽量不使用以上两类方法。控制已测单一方法潜因子法相对较好,但其不足在于假定研究者知道方法变异的来源。

多方法潜因子途径是所有方法中最好的一类:能分离问卷研究中的三大主要变异,能较好地区分CMV的影响层面,有的方法(DP模型法和二阶验证性因素分析法)还能区分特质与方法的交互作用。但它们的缺陷也很明显:操作复杂,前提条件多,在实际操作中收集MTMM数据并不容易(conway&Lance,2010)。如果从模型的可接受性(admissibility)来看,CU模型似乎比CTCM模型和DP模型有更少的参数估计问题。如果抛开估计问题,CTCM模型比DP模型和CU模型更能拟合MTMM数据。DP模型是四个模型中最弱的一个(Becket&Cote,1994)。建议研究者应当先使用CTCM模型,再用二阶验证因素分析法和DP模型。前者更能拟合MTMM数据,而且更能解释和说明。如果CTCM模型不能产生适合的结果,可以使用二阶验证因素分析法和DP模型(先于CU模型)。不推荐使用CU模型的原因在于CU模型的方法間不相关假设常常被违反,而且CU模型的数据可能是这些多方法模型中最难解释的。如果使用CU模型,研究者在讨论中必须考虑方法之間相关的问题(Becker&Cote,1994)。

5 小结

综上述可见,再精巧的统计控制方法都是有缺陷的。事后的CMV统计控制法目前还处于实践状态:一些著名的易操作的方法似乎是无效的,而使用MTMM系列方法又费时费力(conway&Lance,2010)。即使是多方法潜因子途径,也并非如人意。例如DP模型法虽然考虑了特质方法交互作用的问题,但DP模型法的问题是对实证结果的解释比辩论还难,因此,这个“治疗”方法的过于复杂性可能会CMV这个“病”还要糟糕。对各统计控制法,Spector(2006)有更精辟的论述:“如果CMV不是一个传说,每个方法都产生一定量的方法变异,那么用统计方法来估计和控制之相对容易。不幸的是,已有估计和控制CMV的方法都有不足,并且在许多情形下控制了根本不存在的东西。例如,比较方法的研究者经常假设同一方法相关高于不同方法相关,这应当归于CMV。然而,这并不总是一个安全的假设。”因此,Spector(2006)建议,在关注构念与测量构念的方法之間交互作用有关的测量偏差时,CMV这个词及其衍生词应当“退休”。取而代之的是对具体偏差的思考和对观测到的现象的更为合理的解释,无论数据用自陈方法还是用其它方法取得。通过使用多种方法的系统测试排除这些替代性解释因素,有助于从单方法研究中得到有效的结论。

在没有深入研究各种具体偏差之前,目前研究得出的对CMV控制的各种方法还是可用的。在控制CMV时,最好是先采用过程控制的方法,做好事先预防。避免或减少CMV影响的最好的方式就是从不同来源收集不同构念的测量数据(Chang,vail Witteloostuijn,&Eden,2010)。在研究设计控制之后,再选择合适的统计补救法。过程控制与统计控制相结合是一个相对较好的选择。

方法变异影响可能存在,但目前各种控制方法都存在一定的不足,这需要研究者不断努力,以研究出新的CMV控制方法。Spector(2006)认为提出有关方法变异的更好的想法比条件反射式地抱怨CMV更好。Sharma等(2009)对处理CMV的方法作了展望。他们认为研究重点可以作两个转变:第一,把关注点从将单个研究中的方法变异影响最小化转向评估多个研究的CMV效应:第二,侧重评估个别理论研究的CMV引起的潜在效度威胁,而不是在一般意义上评估整个社会科学研究领域的的CMV引起的潜在效度威胁。

上一篇:道德伪善的心理学研究述评 下一篇:陇地四章 第11期