问卷调查在用户研究中的使用
传统企业的市场调研部门,互联网公司的用户研究部门,政府的统计局统计队,高校等研究机构,咨询公司……处处可见问卷的身影。投放的问卷的方式有很多:邮寄,随机街访,入户调查,走进特定群体中邀请填写, 电子邮件发放,社交网络传播,熟人滚雪球推荐,站内信投放(适合有账号体系的产品,对产品使用群体做调研)……在移动互联网时代,还会常用到APP的消息系统推送问卷。
1、明确目标和目的
实际上,明确一份问卷的调研目标和目的,并不是调研的第一步。我们的第一步起始于初次和需求发起方的沟通。 这个过程中,甚至可以对需求发起方做一次访谈,主要目的是要了解如下内容:
多和需求发起方沟通,可以帮助研究者解决几个问题:
首先,确定该项目确实适合采用问卷的方式搜集数据。有时产品设计者希望得到大样本的数据,于是会提出,我们来做个问卷吧。比如:在没有已成型的想法之前, 我们需要寻找新的需求点,从用户的日常中发掘需求,就并不适合采用问卷的方式,因为我们并不明确要从用户那里知道什么。又比如,我们希望了解大学生的手机 使用习惯,这时问卷就是一个比较合适的方式,使用习惯、经历都是客观存在的东西,回忆所带来的误差在大样本的情况下可以通过一定的统计手段减小。
其次,需要反复沟通确认产品设计者的真实意图和对产品的想法。例如,有时产品设计者会希望了解“又多又全”的信息,这会造成问卷的内容过于庞杂(填答率过 低),问题逻辑不流畅(填答过程中不顺畅),焦点不集中(问题广泛而浅显,分析结果时得不到有效的信息)等问题。研究者通常会秉持“一个项目解决一个主要 问题”的观点。比如我们要调查“对xx桌面产品的满意度”,一般就不会再涉及“大学生交友态度的调查”的问题。
最后,研究者将把与产品设计者的讨论出的想法和意图条理化、具体化、可操作化,这就是接下来要说的问卷本体的制作过程。
需要注意的是,虽然有时调研项目由研究者自主发起,但扪心自问,梳理思路和逻辑的过程仍然是必不可少的。
2、逻辑通顺,结构清晰
明确了目的以后,研究者会列出与研究主题有关的大纲,例如:“大学生短视频app使用行为的调查”的问卷整体循着这样的脉络:
除导语外,第一部分通常设置一些较为浅显的基本资料,比如性别,年级,工作与否等等。或者是用于筛选填答对象的问题,比如我们需要调查短视频App的使用 者,但仅仅通过人人网用户数据是无法筛选出哪些人有过使用短视频App的经历,因此问卷的开头会通过一个或几个简单的问题,筛选出我们需要的人群,不符合 条件的人群会提前结束问卷。
有了基本的逻辑脉络,再将每一部分细化:
(问卷流程图局部,因篇幅问题以及后半部分涉及到产品设计者的构思,故省略)
如上图所示的流程图,每一条语句代表了至少一个问题。接下来就是将这些语句转化为,用户可接受的文字表达方式:
3、从框架到细节
搞定逻辑和大纲以后,就需要打磨问卷的细节之处,这些细节之处包括:指导语的表达,如何提问,选项的设计,填答者体验,信效度等。此外,还需要参考一些周边情况,来设计问卷:如何便于数据分析,如何更适应在线问卷系统的录入等等。
指导语
简单清晰的表达出调查的发起方的身份,调查的内容和目的,以及填答规则,奖项设置,对填答者表示感谢即可。(但实际上大部分填答者不会仔细阅读这个部分,因 此对填写问卷影响特别大的规则尽量在题干附近做出描述。比如题目中1-5题为单选,6-10题为多选,这样的规则更适合在每道题题干后做出提示。)
题型的选择
单选和多选题是最常见的题型,此外还有填空题,开放式问答题,矩阵题,排序题,打分题,判断题等等。
单选题:适用于询问大部分客观状态和主观体验。如频次,喜好程度,年龄段,学历,收入段,感受,态度等等。比如“你现在几年级?”“你的收入在哪个区间?”“你使用微博的频次?”“你对个人主页的感受?(非常喜欢/比较喜欢/中立/比较不喜欢/非常不喜欢)”等等。
多选题:适用于提问经历,如“使用过哪些短视频App?”“你卸载客户端的理由有?”“你听说过以下哪些品牌?”。有需要的时候,多选题往往也可以转化为单选题,如“使用最多的短视频App是?”“卸载客户端最主要的理由是App”“你印象最深刻的品牌是?”。
填空题: 填空题往往能够让我们获得更精确的答案(数据越精确,越能使用更多的统计方法去分析)比如年龄,收入,所在地区,就读大学等等,使用填空题能提供更精确的 填答,但也会给后期统计分析问卷带来更大的工作量。比如我希望知道“不同学校的大学生在起薪上有什么差异“,精确的做法是让填答者填写所就读的大学,这样 我会收到五花八门的答案,以清华大学为例,我会收到”清华“”清华大学“”THU“”五道口职业技术学院“甚至还有”清華大學“ ,让我不得不怀疑这个case是不是台湾清华的同学。于是,我们需要花费大量的时间和精力统一各种表达方式,再做进一步统计,这样我们后期可以分析不同学 校的情况,不同地区的情况,不同类型学校的情况。
在边际效应不明显的情况下,我们可以采用省事一点的方法,将填空题转化为单选题——”你就读于哪一类大学?(985高校/211高校/其它普通高校)“,但这样则只保留了不同类型学校的状况,损失了数据信息。因此,是否使用填空题需要综合考虑项目的情况。
打分题:常用于对主观感受的评判,如喜好程度、赞同程度、满意度等等。比如:
矩阵题:一系列主题统一的问题,需要询问填答者的主观态度/感受/经历时,可采用矩阵的方式提问,减少篇幅和题量,提高填答效率。
排序题:通常用来考察用户对某些产品或事物的重要性态度。
开放式问答:开放式问答通常较少使用,虽然通过开放式的问题能够获取用户更加深入的心理活动描述,但存在几个问题:1、填答成本过高,容易造成填答者弃答,影响回收率;2、即使填答也并不一定能反应填答者的心理活动;3、后期问卷分析成本增大。
题干中尽量不要出现多重提问
多重提问的意思是,一道题目中其实询问了填答者一个以上的问题。
有时我们为了减少题量,让问卷看起来短一点,某些问题中包含有两个提问,则可以通过对选项的细化解决。比如:“你是否了解并使用过短视频App?”问题中 包含了“了解”和“使用”两种情况,简单的“是/否”选项无法描述填答者的状况,我们又想尽量减少题量,则可以把选项细化——从未听说过短视频App/听 说过但从未使用过/知道几个短视频App但自己没用过/尝试使用过,但最近没有用了/经常使用……以获取我们想要了解的信息。
题目或选项的描述中,尽量不要使用专业词汇
问卷中尽量不要出现有行业壁垒的词汇,如web,WAP,push等等。甚至有些我们以为众人皆知的信息,其实不少填答者并不清楚。比如手机操作 系统的概念,当询问“您的手机是什么操作系统(安卓/IOS/黑莓/winphone/其它)“时,很多填答者会选择其它,然后注明自己的手机操作系统是 “小米“”魅族“”酷派“……
如非必要,尽量不让填答者填写姓名、电话、住址等隐私信息
姓名、电话和住址对个人来说是隐私信息,在面对不直接接触的对象时,这些信息的隐私程度甚至高过“你一个月赚多少钱”,毕竟在不露面的匿名状态下,告诉茫 茫人海中陌生的一员我一个月赚多少钱,对我的生活来说几乎没有任何影响和隐患。但有时候我们需要填答者的身份,我们可能会需要抽奖以回馈填答者,可能会需 要通过填答情况约填答者进行下一步研究等等。这时我们可以把姓名转化为称呼,把电话转化为QQ、人人、微博、电子邮箱等一系列可以联系上填答者的联络方 式。
选项的设计要尽量包含全部可能的情况
选项设计时,尽量考虑到更多的情况,遇到无法穷举的时候,可增设“其它“选项,必要时让填答者注明其它具体指什么。问卷回收时,选择”其它“的比例不能超 过5%,最好控制在2%以下,这样在问卷统计分析时,极少量的其它不计入统计分析对总体状况基本无影响。若选择”其它“选项的比例过高,则该题的选项设计 不合理,严格的情况下应将该题填答作废。若填答”其它“的用户详细注明了具体情况,我们会根据每一个case填写的具体情况,转化为已有的对应的选项,再 考察转化后填写”其它“的比例,以决定该题是否作废。
选项之间既要互斥,也不能存在未覆盖的区间
尤其是单选题,描述客观情况的选项。
多选题选项需要限制最多选择个数
为避免“天花板效应”(填答多选题时,每一个选项都选上),让回收的数据看不出用户的选择差异,通常我们会限制用户在填答时的选择个数,那要求用户最多选 择几项比较合适呢?一般来说,最多选择个数≤除“其它”以外的选项数/2。比如:一道题目,除了“其它”这个选项外,还有6个选项,那用户在填答时,可被 限制为“最多选择2项/3项”。
询问主观感受的单选题,正负性选项要对称
上题是一个5级李克特量表的模式(同理还可以询问态度赞同与否:非常赞同/比较赞同/中立/比较不赞同/非常不赞同)。正性的态度有2项,负性的态度有2 项,中立1项,态度分布平衡。有时也会采用7级李克特量表,正性态度3项,负性态度3项,中立1项。反例则是我们经常可以在银行窗口看到的满意度调查器:
结合后期问卷统计分析设计问题和选项
在问卷设计的过程中,研究者最好能够结合后期统计分析的需要,完善问卷设计的细节。比如:我们希望能够分析大学生预期薪酬和实际薪酬是否有差异,那么我们 会在“就业预期”的部分,提问“你预期第一份工作的薪酬是多少?”,在“实际就业情况”的部分,提问“你现在找到的这份工作薪酬是多少?”,两道题目的选 项保持一致,便于统计分析时做比较。
4、正确认识问卷调查:方法有优劣,工具依赖人
问卷既是一门学问,也是一门艺术,它和写作一样,有高分甚至满分的作文,却没有标准的答案。和写作一样,好的问卷是改出来的,每一份问卷背后都有无数次的字斟句酌。此外,具体问题具体分析,不断积累经验,在各方条件下寻求平衡也是很关键的。
虽然问卷调查的使用如此广泛,但我们仍需要明确的是,问卷调查它只是一种方法,一种优劣势都很明显的搜集数据的方法和工具而已。优点在于可以大范围搜集结 构化的数据,适合于统计分析,以窥整体状况。劣势在于无法深入了解个体的心理活动,态度,价值等。 此外,通过问卷反应的态度在多大程度上反应了填答者的心理活动,又在多大程度上能够预测填答者的行为也是有很大争议的。(参见Sony做的Boom Box实验和LaPiere的态度行为实验)。 另一方面,正如黑匣子理论所说的那样,就目前的手段来说,人类的心理活动是黑箱,我们只能通过外显的东西来窥探,无法直达内心。我们所做的一切努力都是为 了像指数函数那样,虽然无法完全到达,但仍在努力趋近于x轴。问卷调查就是我们所做的努力之一。