数据也要315 ，鉴别真伪有门路；关注数据质量，提升分析品质

谈论大数据，勿忘真数据   

大数据是当下最热门的话题了，各种媒体报道，新闻发布，观点文章，只要提及数据，不带个“大”似乎就跟不上时代了。到底什么是“大”数据，各家有各家的言论，如何获得“大”数据，非专业的人士也搞不懂。但是媒体对大数据的热炒，确实对于提高公众对数据的认识，增加公众对数据的利用有重要帮助。随之而来的问题是：这些所谓的大数据，真的是大数据吗？是真的大数据吗？

数据质量，一直是以调研为主要方式的小数据最大的痛点。以往日发布调研报告，不论是谁做的研究，如何调查，问卷怎么设计，只要发布的结果和公众心理感受不同，各种质疑边接踵而至。“抽样有问题吧”“数据是被改过的吧”“统计怎么算的？”……总之小数据们局限于样本量，抽样，各种原因，总是百口莫辩。

然而，一个大字改变了这一切。特别是冠以：BAT等大牌互联网企业名义发布的东西，不管是真的由这些巨头发布还是挂羊头卖狗肉，都能在网上掀起一阵波澜。渐渐的大家发现大数据可以作为一个巨大遮羞布，于是各种平台都打出了大数据的招牌，M老师见过的最夸张的，连一个200份问卷的调研都敢冠以XX大数据的名义发布。

好吧，反正公众会对“90%居民生活满意”的调查质疑练练，却很少质疑XX大数据。确实让大家觉得大数据是个筐，啥都能往里装。究其原因，主要亮点，一来公众对这些所谓来自XX的大数据抱有好奇的心态，正如同小数据时代的“XX集团内部数据揭秘”一样，大家看到这种数据时偷窥的好奇感是压倒了对真实性的怀疑的；二来公众并不知道大数据是怎么来的，不想基于纸，笔，问卷的调查，陌生感使人想质疑却无处张口。

然而数据真实性仍然是头号问题，如何鉴别这些问题数据，更好地利用数据呢？

鉴假攻略：如何正确认识“大”数据

大数据也是数据技术，相比之小数据时代只有问卷，POS数据，申请单这些形式数据，大数据时代多了以下获取数据的方式：

     网络爬虫抓取数据，如抓取评论，产品信息等等。爬虫本质上是把传统市场调查扫街扫点的方式，用代码在网上实现。可以简单理解成一个机器人拿着代码去网店做访问，记录店铺情况。所以它和传统调研一样，一样有爬取时间段，爬取样本范围，爬取样本量等等问题。因此不要一看到爬取50万，100万条数据就以为真的数据量很大，很全面了，如果爬取的平台一天1000万条评论，爬50万算个啥子事，内部互动数据捕捉与全量数据的计算。传统的企业内部数据只有交易行为（POS机数据），随着网络交易的增加，网站埋点的增多，企业有能力抓取到用户互动行为，使得分析的维度更多，更丰富。传统的企业内部数据运算能力差，完成基础统计已经很困难的，专题分析很难每次都把全量数据跑完。而随着分布式计算的普及，运算速度越来越快，现在企业基于全量用户计算交易，互动数据不是难事，使得越来越多的报告可以摆脱抽样的困扰。

然而，内部数据有三个问题始终是大数据技术无法解决的：

1、平台本身的用户是有偏的。虽然现在互联网平台动辄宣称自己几千万上亿用户，先不论这些是活跃用户还是沉睡用户，每个平台吸引的粉丝是有固定群体的。而中老年群体可能所有互联网平台都覆盖较少了。

2、平台注册信息也很少经过严格审核，除了阿里，腾讯因为业务要求有一些审核外，大量互联网平台对数据管理宽松。因此单纯的依靠注册信息进行的分析，即使数据再大也可能存在问题。

3、平台的统计是否是全量统计，是否剔除了虚假ID，刷单，薅羊毛等等问题。毕竟在追求快速积累用户上市的互联网企业看来，多一些空ID，刷一些单也无妨，财报好看就行。然而这些数据鱼龙混杂，最终会使结果偏失

网络调查，就是传统调研的变种，只是通过网络形式实现。并没有克服传统调研的问题。

从数据来源可以看出，即使所谓大数据也有很多局限。因此真正踏实靠谱的数据人，会清晰的标明身份。会注明报告的数据来源与方式。如果是采用调研方式得来，会很传统的，规规矩矩的标明调研来源，样本量，是否做加权；如果是平台统计，会注明平台数据来源，取数群体；不同来源数据混用时，会注明每一个数据的出处。

相比之下，那些来路不明，大旗飘飘的“大数据”们就很可疑了。没有出处，没有来源，以偏概全，打个大数据就不解释群体和数量，这种报告大家看看就呵呵一下吧。 

合理分配方法是品质提升关键

从本质上看，大小数据结合，是更好的提升数据品质的办法。术业有专攻，发挥各自的长处可以更好地达成深入了解目标用户的作用，大数据技术可以在特定场景下，更全面更准确展示用户群体的特点。比如关注媒体热点可以关注新浪微舆情，百度指数；关注社交行为可关注腾讯发布的报告；电商数据可关注阿里发布的数据。大数据技术可以更好的追踪内部数据变化，因此连续性追踪用户购物，互动行为可以更多依赖内部数据挖掘。

传统小数据，更适合用在解读互联网平台无法记录的数据上，以下五个场景最适合用小数据深入洞察：

一：潜在市场，潜在用户的开发。

1、潜力市场没有现成的数据记录，可以用调研的方式获取数据。

2、潜在用户群体存在多种分支，转化可能存在多种路径，单纯的按转化渠道看很容易错失机会，失去转化更多用户的可能。

3、新概念的研发与潜在用户的转化，都离不开测试，调研更适合进行用户测试，通过深度观察了解用户态度。

二：用户主观态度，意愿，满意度洞察。

1、通过内部数据监测到用户行为以后，更进一步的了解用户行为背后的原因，可以制定更有针对性的策略。

2、网络文本分析可以提取热词，然而热词背后的含义，还需要接触用户进一步解读，比如屌丝一次，月薪500到月薪50000都会自称屌丝，不做洞察望文生义的话，还真的会被带到沟里。

三：沉默用户，流失用户回访。已经失去的用户

1、调研最大的优势就是让死人说话，已经流失的用户，公司已经与他们失联，只有主动开展调研才能把用户抓回来。

2、同时，依靠第三方的名义，流失用户更容易发表真实意见，更容易找到流失的真实原因。

四：了解互联网基础较差的市场。

1、比如门店经营情况，没有好的软件可以记录，还得依靠传统调研去走访。

2、比如互联网基础较差的县乡市场，比如互联网使用较少的中老年群体。

五：竞品使用情况，竞品用户情况。

1、竞品的宏观数据可以通过一些第三方平台获得，但是竞品用户具体使用行为，背后动机还是需要做深入洞察。

 2、特别在产品同质化程度高，需要包装，宣传，进行微创新的时候。细节决定成败，只有细致的贴近消费者进行洞察，才能把握机会点。

（现代国际市场研究，如需要转载请标明出处）