问卷设计不简单,是一个耗时耗力的活,而且往往会出现各种失败,所以不要迷信各种问卷调查结果,其中至少有90%是不合规范的。问卷的终极目标是验证或提供某个问题的因果解释,即解决问题,其次才是描述情况。问卷设计是一个项目,不是一张纸上写几道问题。这其中包含许多程序。目前实际情况是,问卷设计实际操作门槛实在太低,找个人来编几个问题就可以称之为问卷,人为不可控影响太大;二是低门槛导致粗制滥造大行于世,反过来又导致很多企业管理层并不信任。
转自|质化研究
问卷设计流程
首先,历数一下问卷调查中的几个问题
最直观的:其一,乱答问卷,或置之不理;其二,问卷题目过于泛泛,不切中要理,最明显的表征就是,问卷作出来的结果拿到上司面前,上司看完就回一句:“哦”;其三,问卷题目设计有基本技术错误,如偏向性、选项不完备等等。
不直观的:其一,问卷不能反映实际人群,不具有代表性,问卷没有价值;其二,问卷设计的题目和选项有误,没有统计价值;其三,问卷没有逻辑,只局限于描述情况,不能解决问题,问卷价值不大。这些问题的出现都与对问卷理解偏差,设计问卷没有走规范流程,没学过统计有关。
其次,介绍问卷设计流程问卷设计的前期工作
1.主持问卷设计者,必是深入了解情况者
要做问卷,自然要圈定一个问题范围,即想了解哪些方面?要解决什么问题?
这是问卷大方向,如果这里出现偏差,那此后的工作基本就是无用功。
比如,现在我们要做“金坷垃”牌口香糖,那问卷设计的主持者自己首先得非常了解口香糖这个产品的市场情况。
2.文献铺垫
可阅读相关的行业研究报告或类似靠谱的问卷研究,这有助于避免走错方向,也能提供新思路。如有条件,可以找到相关的数据,先刨一下数据,做些数据分析,这非常有利于问卷将来设计和发放。既然我们做金坷垃口香糖,属于快销领域,那就先拿尼尔森的数据刨一刨。
3.了解被访者
你得去和被访者聊天,专业点叫“访谈”。在这个阶段最重要的是:去了解他们对于你想了解的领域和想解决的问题,怎么想?怎么看?哪些才是你要发问卷的对象,如何发问卷,才不会出现高概率拒绝——严格地说,如果一个问卷出现高概率拒绝,那么这个问卷设计是失败的且没有意义的。
其次才是问卷语言怎么设计,才会比较贴近被访者的情况。
访谈最好分为两个阶段:
第一阶段,小组访谈(Focus Group)
找十个左右各有特点的被访者坐在一起,围绕着你想理解的主题,大家进行闲聊。这种方式有助于快速全面的了解信息,但信息真假和权重是不明确的;
第二阶段,深度访谈
找有典型意义的被访者深度聊天,你可以把之前的了解的信息与这位被访者共享,看他的态度和想法,一般做3-5个足矣。
以上只是建议,如果精力和财力不足,做一次小组访谈。但是访谈必须是要做的。
4.形成前期(定性)研究报告:提出假设
你需要根据你目前了解的定性材料(报告和访谈),做一个全面的剖析,提出假设,举个开玩笑的假设,“因为情侣要经常打KISS,所以女性消费者最关心口香糖能否清除口气”。你提出的假设是至关重要的,你的将来问卷设计将是围绕这一假设而来。
5.将你的假设,转变成一个公式,形成一个逻辑
还是以“金坷垃”牌口香糖市场调查为例,口香糖的销量=性别+年龄+销售场所+口味,翻译成大白话就是,口香糖受性别,顾客年龄,销售场所以及口味的影响。而你的假设内涵,举个例子,则是:年轻女性对口香糖销量贡献较多,她们喜好在街边购买,对口味也有自己的特殊要求。
6.围绕假设,设置题目
有了前面的铺垫,这个阶段的题目设置倒不费心思。
至于如何撰写题目和选项。这里就不详细展开。另外注明敏感隐私问题是可行的。只要你前期的工作考虑足够周到。
根据上面的讨论,我们的问卷自然而然会偏重去了解性别、年龄、销售场所、口味选择、销售频次和数量。我个人经验,在这个环节,除以上领域外,最好能够多设置一些问题,以了解其他方面,毕竟谁也不能保证我们提的假设就一定是准确无误的,如果出了问题,还可以在一定程度上补救。
设计重复性的题目,能极大帮助你分辨哪些是胡乱填的,哪些不是。
这算是我自己的经验总结,主要借鉴了一些心理学量表的做法。还是以口香糖为例:1.你喜欢什么口味的口香糖,选项A、B、C;2.以下哪种味道的口香糖你最愿意购买,选项A、B、C,注意两道题之间的选项内容要打乱,比如上一题的A是下一题的C。
7.确定问卷发放方式和发放量
“一门百发百中的大炮胜过一百门百发一中的大炮”,同理,一百份精确的具有代表性的问卷远胜过随意填答的上千份问卷。
在问卷领域,最关注的是“代表性”,而非数量。
国内很多媒体经常会用样本数量来证明为自己调查结果是真实的。比如多少网友表示。这其实是错误,你的样本再大,调查人数再多,如果是有偏颇的,那也是没有意义的。比如一个村庄有老人和小孩。调查一万个老人也绝没有调查一百个老人和小孩来的更有意义,更反映现实。有兴趣的可以看一下盖洛普靠总统选举预测发家的故事。
很遗憾,由于条件所限,一般商业问卷常常是街边发放或者网上问卷,在统计学上都属于非概率抽样,其统计价值相对不高;如有可能最好采用概率抽样,那样你的结果将具有很大的实际价值。如何概率抽样,很复杂,这里处于行文长度考虑,暂且不表。
就企业和工作实际情况而言,如果是做问卷,尽量别搞路遇抽样——随意发放,起码做整群抽样,按被访者类别发放问卷。一份包含15个问题的问卷,有效问卷,即没有随意填答且所有问题都回答的问卷,数量至少达到200份以上。
问卷设计的中期工作
1.试发放和修改阶段
尝试性的发放一些问卷,推荐是在100-200份左右。通过回收,分析答案填答情况,可以及时修正问卷的错误。如有效问卷回收过低,部分答案总是不填,剔除部分效力不高的题目等等。
2.发放和回收阶段
这里面又牵扯到网络回收、防止调研员胡乱填答等等问题,这不属于问卷设计,我就不细讲。
问卷回收分析
1.数据分析
通过一些数据分析软件,如SPSS、STATA等,分析数据。实在不行,用Excel也可以实现,只是复杂点,需要些写一些公式。
首先,可能是我个人阅历较少,做的问卷案例不够多。实在没有碰到过问卷设计,特别是封闭性问题设计,导致用统计软件刨起来麻烦无比。我个人是SPSS、STATA两个串联着用。在做学生的阶段,因为经常要刨美帝的人口数据,这些数据又是如此精确完善以至于可以用各种复杂的数据分析方法,所以用STATA会很多。恰恰是做商业课题,个人比较Low,一般只用SPSS,如果条件不具备,也用Excel刨数据。一方面是对方要求没有那么高深,SPSS最近几个版本功能也强大很多(帝都大学社会学专业高级统计已经不再教授STATA);另一方面,就那点数据的质量(样本来源和数量、定量化程度)实在不堪复杂的统计,刨当然也能刨,也能出一个漂亮结果来,但确实没有什么意义——因为并不符合这些统计方法的数据要求,越是复杂的统计方法对数据的要求是越高的。
其次,统计软件是工具,是服务于问卷设计的,而不是问卷设计服务于工具,这是本与器的问题。如果实在嫌某个软件易用,那就换一个吧。
2.形成研究报告
此时,展现在你上司面前,将不只是几个饼图,条形图,而是包含一套关于问题的详细描述的解决方案,而且是用数据详细论证的方案。
题外话
说到这里,相信很多人能理解,问卷设计还是一项需要一定脑力的工作,对人员专业素养也有一定的要求。。我在这里只是展现了其中一小部分,这个过程中出错的几率很大,能完成目标的问卷并不多,说句没有数据验证的话,市面上90%的调查问卷结果都是不合规范,只能当作一种意见或者声音,而不能当作事实。
但很多企业,包括咨询公司们,却不这么认为。已经见识了太多拿几张纸,找几个新兵,甚至是实习生(临时工)拍着脑袋想问题,然后问卷随意一发,最后算个众数、平均数就了事的问卷调查了。许多问卷调查,与其说是去调查,不如说是制造数字来验证自己大脑中已有的判断。
原因有四:一是问卷设计实际操作门槛实在太低,找个人来编几个问题就可以称之为问卷,人为不可控影响太大;二是低门槛导致粗制滥造大行于世,反过来又导致很多企业管理层并不信任,拿我个人求职的惨痛经历而言,每次我对着应聘的公司,有神有色地叙述在商业领域,问卷调查如何如何的不一般,应当如何如何做,换来的总是茫然,然后回一句你这个专业(本人社会学)和商业没有关系吧,so你还是不适合做市场研究的岗位;三是按流程走问卷设计,实在过于费时费力,这又是那些靠做项目的咨询同志们所不愿意做的;四是真正了解并熟练操作问卷设计流程的人才并不多。以社会学,这门以问卷设计为核心的专业为例,如果一个本科生、硕士生乃至部分博士生不是一心向学,或者因领域偏好需要一心要做定性的话,说实在毕业的时候也不是十分的明白,我就见过部分教授们坦言不会刨数据,更有部分学人以此自豪。而且很痛心的是即使在学术领域,同仁们都在用国内调查数据库,质量也是层次不齐,充满着云泥之别,起步晚缺乏历时性数据,而往往是学术研究,对数据的质量要求又是最高的。当年学术小青年的我深感这里水太深,到时数据有问题,论文结果做出来被呵呵了怎么办……所以,最后有时自己做点科研想自娱自乐,还只好刨美帝的调查数据,做美帝的研究问题,现在想起来还满眼都是泪。
当然,数据也会说谎,统计也能非常安全地制造假象,但是这些问题和数据分析的真假以及有效性至少是可观测的,在这一点是要比不可观测的很大程度依靠“理解”的定性研究要优越。最后说明一下,个人既不是定量党,也不是定性党,是彻底实用主义,按研究内容来选方法才是准确之道吧。