从统计数据质量角度谈调查问卷的设计质量

 一、引言

　　从保证统计数据质量的统计工作过程看，统计数据质量可以被划分为统计设计质量、统计调查质量、统计整理质量、统计分析质量以及数据发布传输质量等。统计设计质量是保证统计数据质量的首要环节，在统计数据质量保证体系中起着关键性作用。统计设计质量一般包括调查问卷设计质量与调查方案设计质量，其中调查问卷设计质量指的是：通过问卷测量得到的，反映调查对象客观现象的统计数据的准确性和有效性，即调查问卷设计质量的好坏，需要通过问卷测量能力的高低来检验。

　　在市场调查中，为了深入地研究一些本质的或理论性的现象，问卷调查法被广泛运用，除了调查时采用的抽样方法以及所抽取的调查对象是否具有代表性之外，调查者最关心的就是调查问卷的测量能力。问卷测量能力包含了两个方面的内容，即问卷测量结果的准确性和有效性。准确性和有效性是统计数据质量蕴涵的最主要的两个特性，一个好的调查问卷设计不仅可以保证在多次重复使用下得到可靠的数据结果，即准确性；也可以保证所得测量结果能够反映它所应该反映的客观现实，即有效性。

　　所以我们可以通过对问卷测量能力的分析来检验问卷的设计质量，对问卷设计进行质量控制，进而发现问卷设计中应注意的问题。在此基础上，通过不断改进问卷设计，提高其测量能力，最终将有助于我们得到高质量的调查数据。

　　二、调查问卷的设计质量检验

　　信度和效度的概念来源于心理测试中关于测验的可靠性和有效性研究，当建构和评估测量时，通常使用信度和效度这两个技术性指标。因此我们采用问卷的信度和效度分析来评估其测量能力，进而实现对问卷设计质量的检验。

　　1．问卷设计质量的信度检验

　　所谓问卷设计质量的信度检验，指的是对问卷测量结果准确性的分析，即对设计的问卷在多次重复使用下得到的数据结果的可靠性的检验。在实际应用中，信度检验多以相关系数表示，常用的方法有：重测信度，复本信度，折半信度，克朗巴哈 信度，评分者信度等。国内外已经有很多关于这些信度分析方法介绍的文献，在这里，笔者不再一一详述，仅列出相关公式作为参考。

　　（1）重测信度，也叫稳定系数，对同一组调查对象采用同一调查问卷进行先后两次调查，采用检验公式 ，其中 为两次调查结果的协方差，为第一次调查结果的协方差， 为第二次调查结果的协方差。系数值越大说明信度越高。

　　（2）复本信度，也叫等值系数，对同一组调查对象进行两种相等或相近的调查，要求两份问卷的题数、形式、内容及难度和鉴别度等方面都要尽可能的一致。检验公式同稳定系数公式，系数越大，说明两份问卷的信度越高，具体调查时使用哪一份都可以。

　　（3）折半信度，也叫内在一致性系数，将调查的项目按前后分成两等份或按奇偶题号分成两部分，通过计算这两部分调查结果的相关系数来衡量信度。当假定两部分调查结果得分的方差相等时，检验用Spearman-Brown公式来表示： ， 其中 表示折半信度系数；当假定方差不相等时，采用Flanagan 公式： ，其中、 分别表示两部分调查结果的方差， 表示整个问卷调查结果的方差。如果折半信度很高，则说明这份问卷的各项题之间难度相当，调查结果信度高。

　　（4）克朗巴哈 信度，是对折半信度的改进，检验公式是： ，其中K表示问卷中的题目数， 为第i题的调查结果方差， 为全部调查结果的方差。 信度系数是目前最常用的信度分析法。

　　（5）评分者信度，包括 信度和 信度，将问卷中的每道题看作是一个变量，然后通过调查的结果得分对所有问题做因子分析。得到 ， ，其中 是最大特征值，N是问题数, 是因子分析法的第i个问题的共同度。

　　2．问卷设计质量的效度检验

　　所谓问卷设计质量的效度检验，指的是问卷测量结果有效性的分析，即对设计问卷的测量结果反映它所应该反映的客观现实的程度的检验。具体来说，效度检验必须针对其特定的目的功能及适用范围，从不同的角度收集各方面的资料分别进行。常用的效度检验有内容效度、结构效度、难易效度、准则效度等。有关效度分析方法的详细内容，笔者也不在一一赘述。

　　（1）内容效度，也叫单项和总和的相关效度分析，指的是调查问卷所采用的题项能否代表所反映的内容或主题。通常是用单个问题的得分与总得分的相关系数来反映，如果相关系数不显著，表示该题的鉴别力低，就不应该再将该题纳入调查问卷。

　　（2）难易效度，在调查反映观念、态度的问题中采用检验公式：难易效度= ，其中 、 分别代表高分组和低分组样本数， 、 分别代表高分组和低分组通过该题的样本数。计算结果越大，表示该题越容易，反之该题难度较大。

　　（3）鉴别效度，在对观念、态度问卷单个题的评价中采用公式：鉴别效度=，符号含义同难易效度公式。一般我们总是希望调查问卷的每道题的鉴别效度高一些，这样可以很好的反映被调查者对问题看法的差异性。

　　（4）准则效度，又叫独立标准效度分析。采用的是先根据已经掌握的理论，选择一个与调查问卷直接相关的独立标准，把它当作自变量。然后再分析调查结果的特性与该自变量的关系，如果对于自变量的不同取值，调查结果的特性表现出显著差异与我们掌握的理论有很强的相关性，则说明调查问卷是有效的。

　　（5）结构效度，该检验主要就是将问卷中的每道题看作是一个变量，然后通过调查的结果得分对所有问题做因子分析，提取一些较为显著的因子，通过各个问题在每个因子上的载荷将问题分类。其目的就是为了检验问卷中的属于相同理论概念的不同问题是否能落在同一因子上，如果能够做到符合理论，即属于相同概念的题都归为同一因子，则说明问卷有着很好的结构效度。

　　三、问卷设计质量信度、效度检验间的关系

　　如果以X表示测量值，T表示真实值，E表示随机误差，则他们之间的关系为X=T+E，测量值总方差 可分解为 ,信度可用真实值的方差占测量值的总方差来表示，即信度= 。如果将T进一步分解为想要测量的目标真值 ，与测量目标无关的系统偏差 ，效度可用想要测量目标真值的方差占测量值总方

差的比重来表示，即效度= 。很明显，  大并不一定保证也大，也就是说信度高时效度不一定高。反过来，在 一定时，大则保证 也一定大，也即效度高时信度一定高。所以信度检验是效度检验的必要条件，但不是充分条件。效度检验结果的好坏直接决定了整个调查研究的价值，如果设计的问卷不能充分表示所要研究的对象，那么整个研究也就失去了意义。高效度一定隐含着高信度，如果问卷设计是有效的，那么一定是可信的。如果调查问卷有信度而没有效度，其测量结果则可能并不是理论上想要研究的结论。

　　四、如何提高调查问卷设计质量

　　1．问卷设计信度、效度检验中的启示

　　（1）信度检验的启示

　　调查对象的范围与信度的关系。由于信度检验采用的是相关系数的形式，因此受调查对象范围的影响。如果调查对象的特征分布范围较大，则变异性越大，信度系数就会越小；相反调查对象的特征分布较集中，则变异性较小，信度系数就会越大。

　　调查问卷设计长度与信度的关系。通常来说，采用折半信度分析方法时，由于同一份问卷不太容易分为等同的两部分，所以折半信度分析的效果不如采用整体分析的效果，这可以通过Spearman-Brown公式观察出，整体的信度系数是折半信度系数的两倍还多。因此如果对于同一目的和同一调查对象所设计的两份调查问卷，其中一份是在另一份问题的基础上增加若干道同类型的问题，那么问题多的问卷的信度一定会较高。同时，问卷的信度会随着问卷同质问题的增多而增大。

　　调查问卷的设计与信度的关系。由于信度检验是在对调查问题答案编码打分的基础上进行的，如果调查问卷设计过程中存在偏差，例如正向问题偏多或逆向问题偏多、备选答案易让被调查者打高分或低分的问题偏多等都有可能造成认为信度分析的偏差。所以问卷的设计是保证信度的一个前提条件。

　　影响信度检验的其他因素：调查对象的持久性、合作态度等影响；调查实施者是否按规定实施调查；调查环境与条件是否适当；调查内容是否恰当、问题数目是否适中等这些也都是影响调查问卷设计信度检验的主要因素。

　　（2）效度检验的启示

　　调查问卷的问题设计与效度的关系。问题是构成调查的要素，调查问题的性能就成为影响调查问卷效度的因素之一。从前面的效度检验可以看出问题的取材、长度、鉴别力、难度及编排方式都和效度有关。如果调查的问题设计合理，即如果问题的取材合理、长度适中、有相当的鉴别力且难度分布适当、编排也较合理，那么调查结果的检验就会有很高的效度。

　　调查的实施和效度的关系。问卷调查的效度检验要得到保证，调查督导员应该适当控制调查情况，而调查员应当严格按照访问手册的规定实施调查。在调查过程中，如果场地的选择、调查材料的准备、调查方式的说明、调查时间限制等，如不按照调查手册程序进行，则必然降低问卷调查测量的效度。

　　被调查者的态度和效度的关系。被调查者的兴趣、动机、情绪、及是否合作以及合作程度等都影响到问卷结果的可靠性和正确性。无论是什么调查内容，只有借助调查对象的真实反映，才能了解到真正的调查情况。

　　关联效度准则的选取与效度的关系。适当地选择关联准则是关联效度分析的先决条件，如果选择的准则不当，就会导致效度分析的错误，问卷调查的真实效度就有可能被掩盖。一个问卷准则效度分析时，选择的准则不同，其效度分析的结果会相差很大。从统计分析的观点来看，一个准则关联效度受以下三个因素的影响作用最大：问卷的信度、准则变量的信度、准则变量和调查变量之间真正的相关程度。

　　调查对象的选取和效度的关系。在调查中，最注重的是选取样本的代表性。好的样本代表性能够提高问卷调查的效度。一个调查应用与不同的调查对象，由于对象在性别、年龄、教育程度、背景上的差异，效度也随之变异。

　　3．改善问卷设计质量，提高调查数据的质量

　　通过以上得到的信度和效度检验的启示，可以很明确的是，一个问卷调查测量能力的好坏，最关键的还在于整个调查问卷的设计阶段。通过分析具体调查指标的特性，正确设计有针对性的调查问题；问题的措辞恰当、长度安排合理；问题对于所要了解的调查内容有相当的鉴别力和适当的难度；并分别给予每一个问题适当的答案选项；问题的前后顺序编排合理等这些设计要求的满足，有助于明显提高问卷的信度和效度，使得我们能够用一份完善的调查问卷去收集所要调查的数据内容，从而为得到高质量数据创造了前提条件。

　　在实施调查过程中，严格的按照调查方案选择调查对象，确定合理的调查时间、地点、环境；以及在调查过程中积极争取调查对象的合作；访问过程中严格按照计划实施等是我们对收集高质量调查数据的保证。

　　通过以上的分析和论述，可以看到能否通过问卷调查收集到准确的、有效的高质量数据，完善的问卷设计是前提，而周密的按照调查方案实施数据收集是保证。此外，对调查结果的正确汇总、整理、分析，以及选用适当的信度和效度检验方法也是我们提高问卷调查数据质量不可或缺的条件。