认知访谈是检验和提高问卷质量的好方法

时间:2022-09-30 02:41:55

认知访谈是检验和提高问卷质量的好方法

认知访谈是一种验证问卷质量的方法。通过认知访谈,可以发现被试在回答问题的过程中遇到的问题,从而发现导致这些问题的问卷设计缺陷。通过它还可以了解被试理解、思考和回答问题的方式,以及在这个过程中有可能遇到的困难。通过比较被试处理问题的方式和研究人员预想的处理方式的差别,可以优化各种使用提问方式收集数据的研究方法中的问题结构和语词使用,从而提高问卷的信度和效度。

一、认知访谈的概念

(一)认知访谈的目标。认知访谈是一种测试前工具,用于发现在题目中存在的可能在问题回答流程中造成错误的缺陷。主要的目的是通过改写、删除、更换问题或只是改变问题的顺序来提升问卷质量。

(二)认知访谈的主要方法。认知访谈的方法主要有两种,它们都有各自的优缺点。值得注意的是,这两种方法不是互斥的,它们在测试汇总时经常被同时使用。

出声思维。使用出声思维方法时,要求被试在回答问题的过程中将想法用语言表述出来。访谈人员给被试读出问题然后用笔记或录音将被试回答问题的过程记录下来。访问人员的主要工作是让被试在整个访谈过程中进行有声思维。出声思维可以在被试回答所有问题之后进行,也可以在被试回答问题时同时进行。

口头调查。与出声思维方法相比,口头调查要求访谈人员更加主动。近年来,口头调查得到越来越多的关注,很多认知研究人员认为他比出声思维方法更好。在口头调查中,访谈人员向被试读出题目或要求被试自己读出题目。被试回答问题之后,访谈人员接着问一些更详细的问题(探针问题)来获得更多的信息。这个方法同样可以与回答问题同时进行或回答所有问题之后进行。

二、面向设计的用户研究认知访谈技术的运用

(一)研究方法。研究人员招募了15个网络购物用户,有两名访谈人员参与了测试。

在给出测试的相关信息之后,研究人员要求被试回忆最近一次网络购物的经历,并根据这次经历回答问卷中的问题。为了使这个过程更容易,研究人员会向被试提出一些问题,例如“是在哪个网站?”“买了哪些商品?”“花费了多少钱?”等等。接着,研究人员将给出需要测试的问卷,并要求被试在填写问卷的时候进行出声思维。被试在填写问卷时产生的每一个想法都要大声说出来。在被试回答每个问题之后,访谈者都要对被试进行提问,这包括事先设计好的标准问题,也包括非标准的口头调查问题。在填完整个问卷之后,访谈人员将向被试提出一些回顾式和总结式的问题,要求被试对一些特定的词汇进行比较。口头调查的问题则主要针对在回答问题流程中的问题的理解(第一阶段)和判断(第三阶段)。研究人员用音频记录下访谈的过程并在访谈后转译成笔录。每个访谈将持续20分钟左右。

访谈分三轮进行,每一轮有5个访谈。在每轮过后,访谈者和专家对这一轮的访谈进行分析。在第一轮和第二轮之后,访谈人员都会根据访谈结果讨论如何在未来的访谈里提高访谈技术和获得更多信息,同时对问题进行添加或修改。在第三轮结束之后,研究人员将录音文本根据问题分段。

(二)实验结果和结论。虽然被试认为“愿意一直使用”和“打算以后继续使用”是有相似含义的,但他们觉得“愿意一直使用”表达了一种更强烈的意愿。更重要的是,一些被试提出了时间的观点:“愿意一直使用”是持续性的,表示在未来的很长一段时间持续使用;而“打算以后继续使用”是间断性的,表示在以后的某个时间点可能会使用。访谈还发现,被试对问题“在网上购物之前我会收集好商品的信息。然后明确购物行为”的理解的侧重点不同,一些被试回答的是“我会收集商品的信息”,另一些回答的是“我会明确购物行为”。一个被试提到:“我会在购物之前收集商品信息,但是在购物过程中还是会被广告或推荐所吸引而转向其他商品”。

最后,我们根据实验结果对问卷进行了修改。其中,问题“在网上购物之前我会收集好商品的信息,然后明确购物行为”被简化为“我会在网络购物之前明确购物行为”因为购物行为才是这个问题在设计时想要表达的重点。而两个信度检验问题“我愿意一直使用网络购物”和“我打算继续使用网络购物网站”,只当第一个问题的答案为正向,第二个问题为负向时,才认为两个问题的答题结果冲突。

认知访谈是一种可以用来评价和优化问卷的定性的方法。本文中的实例证明这种方法可以发现并消除问卷中潜在的漏洞。问卷的缺陷通常来自于被试处理问题的方法与问卷设计者的假设不一致。研究问题回答流程可以提升这种一致性,并因此提高测试的信度和效度。认知访谈方法应该成为问卷开发流程中不可缺少的一部分。它是对定量研究方法的一种重要的补充。认知访谈可以使用在问卷创建的初期。在本文所举实例中,认识访谈是在定量研究之后用于验证假设的。接下来的工作应该是验证是否认知访谈之后的修改起到了预期的作用。

上一篇:农村初中语文小班化教学的几点尝试 下一篇:朱军岷的铜话世界