调查问卷的信效度检验及结构调整的定量分析

［摘要］信度检验和效度检验是检验问卷调查效果好坏的两种统计方法，信度系数和效度系数是衡量调查问卷可靠性与有效性的两项重要技术指标，如果指标达不到一定的标准，通常要对问卷进行修订。但如何修订，目前文献中只有定性的分析，缺乏定量的修订指导。文章利用信度分析和因子分析，定量地描述了引起问卷信效度偏低的题项和原因，为提高问卷修订的效率和准确性提供参考。

［关键词］抽样调查信度检验效度检验因子分析方差

［中图分类号］O212.2 ［文献标识码］A［文章编号］2095-3437（2014）06-0155-04

一、前言

检验抽样调查效果的好坏，可以用问卷的可靠性和有效性来衡量，可靠性和有效性分别用信度检验和效度检验进行测量。

可靠性是指调查问卷的可信程度，反映调查结果的一贯性、一致性、再现性和稳定性。可靠性在统计分析中也称信度，可用信度系数去衡量，调查的信度系数越高越理想（取值范围在0-1之间）。按通常的社会科学统计对最小信度系数的要求是不低于0.7，但其实在理论界还没有真正达成一致，在被调查对象是跨文化跨地域差异比较明显时，信度系数不低于0.5，其统计分析结果还是可信的。

有效性是指调查问卷能够准确测出所需调查的问题的程度。有效性通常可用效度系数来表达，调查结果与要调查的问题的内容越吻合，则效度系数越高；反之，则效度系数越低。在具体操作中，可用因子分析来检验，因子分析的主要功能是从量表全部变量（题项）中提取一些公因子，各公因子分别与某一群特定变量高度关联，这些公因子即代表了量表的基本结构。通过因子分析可以考察问卷是否能够测量出研究者设计问卷时假设的某种结构。在因子分析的结果中，用于评价结构效度的主要指标有累积方差贡献率、共同度和因子负荷。累积方差贡献率反映公因子对量表或问卷的累积有效程度，共同度反映由公因子解释原变量的有效程度，因子负荷反映原变量与某个公因子的相关程度。因子分析结果中的公因子的累积方差贡献率越高，说明问卷的题项越能反映所要调查的问题，即问卷的效度越高。

目前，这两种检验大多数用于问卷调查的事后检验，以说明某次调查问卷的可靠性和有效性。吴琼（2011）等人利用因子分析来修改效度系数不是很理想的调查问卷，其采用的方法是通过主成分分析抽取公因子，逐步删除因子负荷小于0.4的题项。这种方法的缺点是：初试时要设计大量题项，逐步删除导致的效率降低，而且初试也投入一定的人力物力，采集回来的数据还不一定有效，引起资源浪费。李靖（2010）等人利用独立样本t检验的方法，找出每个题项得分均值间无显著差异的题项进行剔除，然后再进行信度检验，其实他们也遇到吴琼等人的缺陷问题，况且还不一定能提高问卷的信度系数。更重要的是信度系数提高了，却不一定能提高问卷的效度系数。因为效度高信度肯定高，但信度高效度未必也高。在题项数目不变的情况下，题项得分的方差越大则信度系数越低，而题项得分的方差越大往往对因子分析中的公因子方差贡献率也越高。本文试图通过因子分析和信度检验来定量地查找引起问卷信效度偏低的题项，并且根据所要调查的问题明确该题项要修改的方向，以提高问卷的信效度系数。

二、实证研究

（一）数据采集

本次研究使用的调查问卷是一份社会公众安全感测评的问卷，包括四大类25个题项：第一类为被测评人情况共5个题项，以整数（1、2、3、4、5）作为分类数值；第二类为被测评人公众安全感测评共9个题项，按满意程度从不安全、不太安全、基本安全、比较安全、安全分别以0、0.25、0.5、0.75、1记分，分数越高表明测评人对公众安全感的认同越高；第三类是被测评人对公安部门工作满意的测评，共9个题项，记分方法同上，分数越高表明测评人对公安部门工作的支持度越高；第四类为影响社会公众安全感的因素测试题共2个题项，该类题项是被测评人选择了“不太安全”或“不安全”选项时才需要回答的题项，共14个因素（可多选）。研究中以被测评人的情况（性别、年龄、文化结构、职业结构和居住结构）为控制变量。现收回有效调查问卷10133份，并利用这些数据进行问卷的信效度检验和分析。

对第二类为被测评人公众安全感测题和第三类是被测评人对公安部门工作满意的测评题进行KMO检验和球形Bartlett检验，结果见表1。

表1KMOandBartlett’sTest

■

其中KMO值=0.838，说明题项变量数据有较高的信息重复性，即题项变量存在显著性相关。球形Bartlett检验的P值=0.000

（二）效度检验时的变量分析

对第二类被测评人公众安全感测评题的2-9题共8个题项进行因子分析（题项1是安全感的直接测评，用于作因变量）。其公因子方差中，题项7的共性方差最小（见表4-1），说明题项7对公因子的方差贡献率最小，该题项需要修改纠正。

表4-1Communalities

■

表4-2总方差分解

■

本次调查中，对被测评人公众安全感测评共8个题项进行因子分析，发现提取的三个公因子可以解释总信息的56.5%，其余6个因子占43.5%，结果见表4-2。其中，第一公因子反映因素是：交通、打架斗殴和抢包等治安问题（题项9、8和6），第二公因子反映因素是：财产安全的问题（题项4、5），第三公因子反映因素是：外出心态的问题（题项2、3），结果见表4-3。

说明8项公众安全感测评题的有效性良好，用于测评，其数据是有效的。但题项7对测评效果贡献最低。

表4-3因子载荷阵

■

题项7是“年内本人及家庭成员有无受到盗抢骗和人身伤害等不法侵犯”的选择题，由表4-3可以看出题项7与各公因子之间的相关程度最低，与第一公因子稍高，而第一公因子反映的是治安问题，可依据治安问题的调查目标予以修改。

（三）信度检验时的变量分析

表4-4是信度检验的结果，信度系数α=0.556，说明题项2-9的调查数据是可信的。

表4-4Reliability Statistics

■

表4-5Item Statistics

■

表4-5是项目统计表，显示题项7的标准差最小，根据信度系数的定义，标准差越小，信度系数就越高，说明题项7是提高问卷信度系数最重要的题项变量。但由表4-6显示的各题项间的相关系数，可以看出题项7与题项2、3、4、5这4个题项的相关系数是最低的，与题项6、8、9的相关系数稍高但不显著。按目前文献的做法应该删除该题项，但删除它势必造成信度系数的降低。因此，删除题项的方法不是最佳选择，修改该题才能保证问卷的信度和效度达到理想的分值。

表4-6Inter-Item Correlation Matrix

■

综合2.2和2.3的讨论，发现：题项7与题项6、8、9重复度较高且相关性稍强，应该朝着体现第一公因子的含义进行修改，如修改为询问除交通、打架斗殴和抢包之外的其他治安问题，或者修改为公因子中未能较好体现我们所要调查研究的问题，如政府部门相关政策与社会安全感的关系等问题，以提高问卷的有效性和可靠性。

用上述方法可对其他题项进行同样的分析，以便修改。

三、结论

在设计和编制调查问卷时，通过统计分析方法删除某些题项，以达到提高问卷的信度和效度系数，是目前的通用做法。但这种做法往往需要设计更多的题项，以供选择。在初试时，会因为题项过多导致调查数据的不准确性，况且进行初试也需要投入人力和物力，会造成资源浪费，这不是修订问卷的最佳方法。通过因子分析和信度检验可以定量地描述：哪些题项的信效度系数偏低？偏低的基本原因是什么？如何修订可以体现问卷所要回答的问题？然后进行修订，能提高调查问卷的修订质量，提高效率，减少资源浪费。

［参考文献］

［1］吴琼，张秀红.学术期刊编辑心理健康问卷的编制和信效度检验［J］.大连大学学报，2011，32（3）.

［2］漆文烨，葛明贵.戒毒人员药物渴求度调查问卷的修订［J］.中国药物滥用防治杂志，2012，（3）.

［3］李靖等.大学生信息素养调查问卷的编制和信效度检验［J］.中国医学教育技术，2010，（3）.