互联网+时代如何直接，实时洞察消费者打造客户体验为核心推动力的管理流程与 创新机制？ 优捷信达 陈里波

 

    徐小良：
    接下来演讲的是北京优捷信达信息科技有限公司的创始人陈里波博士，他在清华大学获得管理信息系统工程学的学士，他在德国研发出多项专利技术，拥有超过15年的自然语言处理，文本挖掘、信息搜索分析领域的学术研究和商业运营的经验，他跟我们分享的是互联网+时代，实时洞察消费者打造客户体验为核心推动力的管理流程与创新机制，有请陈博士。
    
    陈里波：
    因为我们是市场调研的年会，我个人是科学研究出身，做了很长时间的工程技术，之后又转到商业运营。所以我的经验和知识方面，的知识架构比较交错。
    今天我演讲的重点是，刚才讲了很长时间的大数据，大数据的落地应用，大家都在考量。那几个环节我都走过了，我感觉产学研的鸿沟还是存在的，科学研究跟工程技术和商业应用，他们之间客观的鸿沟，它的存在会妨碍什么呢？它最后会妨碍一些在理论上大家的设想，以及非常好的想法，最后能够真落地在商业上，为客户真正产生价值。
    我们是怎么突破这个事情的呢？我们是怎么解决这个问题的，这跟我今天演讲的题目有关，首先是大数据，我们把大数据的方法应用于市场研究，我们具体有落地的办法，在工程上已经大规模的实现了，大数据的工程化处理已经实现了，并且商业上有一定的突破。在客户那里有一定的效果。
    大家从题目上看，我这个是电商评论，大家都谈大数据，大数据的基础在于数据，数据从哪里来，这是本质问题。它的来源要持续、大量、可靠，而且还要便于处理，之后还要有商业价值。整体来看，我们公司一开始基于互联网数据的，我们采集数据的方式是通过网络爬虫，我们的网络爬虫不太一样，如果你要工业化应用，网络爬虫它必须要达到大规模、批量，而且要低成本，你爬各种数据源的方式不能由人工来维护，你应该大规模全部人自动化，这样你的数据源和成本才能达到商业需求。
    刚才那几位提到数据采集，我们都在大规模的采集，最后我们聚焦在什么上面呢？我们聚焦在电商评论上。其实现在像电商所有的评论，电商所有的价格和销量信息，现在十几个主流电商，我们都能不断持续的爬取，而且非常低成本。
    包括垂直行业，大概有七十多个电商平台，我们都可以大规模爬取，电商评论跟电商价格，它的价值在什么地方。因为我是做语义分析出身的，刚才跟万教授和锦鹏博士是同一个专业的，我在这方面做了很长时间。电商评论，大家试图从这里入手，评论有什么好处，做语义处理的时候实际上很困难。现在深度学习是突破，我们在这上面加入了大量的研究工作，它会把机器智能提高到很高的高度。它的效果最重要取决于它的应用场景，我们从电商的评论角度，它的长度和价值量都是比较巨大的，电商评论上，首先它有两个特点，我们为什么选择它作为分析的数据源，是基于它的两个特点，一个是固定场景和固定人群。固定场景是线上的采购场景，跟钱直接相关。它是真实消费者，因为它上面有一些过滤机制，所以它上面一般是真实消费者，但是好评也有大规模刷的现象，具体怎么刷都是规则。
    但是这个可以用技术比较方便的过滤掉，噪音和非真实的信息在这里比较容易过滤掉。而且由于场景的特殊性和长度的特殊性，语义可以发挥比较大的作用。但是它同时仍然具备互联网信息通用的特点，首先是实时和大量，它很分散，但是涉及到细节，这是现在电商评论的一些特点，他的优势和他共有的劣势。
    我们从整体的互联网数据来说，如果把它作为一个调研数据的基础，它的好处在于，像刚才说的大量和容易采集，但是你不能只采集某些片断，如果你大规模的爬，成本是一个问题。第二个难度是在于它的信息价值量比较低，这就是我们为什么要聚焦在电商评论上，大家都说电商评论，大家在电商上究竟评论什么，它评论的内容对我们的研究分析究竟有没有价值，这是我们做的统计分析。
    因为大家说电商，评论的大多数都是服务怎么样，物流等等，可以证实，空调的全品类，七个全部是真实数据，规模量大概有千万级别的数据。我们可以看到售后服务确实是最多的，但是有20%是讲产品质量，下面还有再说一些，有说客服、物流、促销，产品设计也属于产品大概是20%多。如果大家是从分析产品的角度来讲，大量的是在谈产品，所以这个是比较有价值的。
    我刚才提到了我们拿这些东西是实际应用的，并且卖的还不错。我们在这当中，实际上在市场调研领域，我们在中间有一个模块是服务客户的市场部门，这个市场部门，他们究竟看重的是什么，它从电商评论的数据上看到了什么，跟我们究竟产生了什么样的处理，给我们带来了什么样的价值。
    首先，我们觉得现在讲大的数据融合，我们感觉甲方客户主要市场和研究难题，大家怎么从海量的信息，从消费者视角洞察自身的产品，传统的方法要经过很长时间，刚才北平也讲过。这里面的挑战就是怎么更高效，我现在下的任务一个小时就可以看到结果，甚至几分钟就可以看到结果，我还可以量化，而且我还可以大规模的做。
    我们究竟展示的是什么东西呢？这是我们实际运作的系统，大家知道我现在要解决第一个痛点，真正从消费者的角度，大规模、低成本非常快速的了解消费者，都有哪些纬度，每个大纬度之间有什么样的细分，它们是怎么样量化的，细节是怎么样的，首先是数据可以非常低成本的采集到。其次是你的处理工作，你必须用机器来进行，这就是语义处理的问题，你必须要工程化，才能处理大规模实时进来的语义数据。
    这是我们的平台，这都是对电商评论的处理工作，我们大规模取得的数据全是电商评论、价格和销量的信息，我们的爬虫能做到什么呢？只要是人能看到的，我们都可以大规模、批量、低成本的爬到。大家可能最关注的是考评系统，我在说我们怎么做之后，再说给客户带来的价值，以及客户比较认可的价值是什么，因为这是已经得到验证的方式。
    现在可能任何的调研员都可以用数据来出一个图，图的意义，对商业上究竟是什么感觉。首先这里是空调，你可以看到左边是几个商城所有的评论数据，大规模的爬到了。我可以看到好评、差评率，以及整体的环比，这是自动分类，自动分类完了以后，我们的客户可以看到哪儿有什么问题，任何一个都可以点进去细看。比如说产品质量点开，如果他想考量任何一个纬度环比情况都可以看到，任何一个具体的点都可以看，可以通过它来进行考核，跟竞争对手的情况比，具体的产品情况可以细分。我们可以看美的的产品，我们可以看本周或者是当天的情况，还可以看本身的产品排名，这些都是基于真实数据的。通过这个可以按照自选的时间段，迅速的看到消费者对自己的评价，而且它可以量化，而且可以实时细化。它的价值在于管理，完全通过消费者的评价来驱动内部的管理，各个纬度对应各个业务部门，管理以后这是量化和客观，我们在这里的管理，一般产品研发部、产品品质部或者是在旅游行业，他们要通过消费者评价来考量大家做的实际服务，这个价值是考评。
    还有一个价值是分析价值，现在分析价值是我怎么快速的洞察市场，我从消费者的视角能迅速的知道竞争对手的情况，洞察所有的竞争对手，而且成本非常低。大家看这张图，受美的的委托，这是他们品牌混合的大排名，这是根据评论数。它可以换品牌，它可以迅速洞察格力的情况，为什么可以细化呢？格力排名这么好，任何一款竞争对手的产品都可以点进去，它突然有一个非常简单的方法，能够洞察竞争对手，就像看到自己本公司细节是一样的。
    自由对比是什么，这个痛点是在于市场调研人员，现在总是需要数据来分析，但是他都是从业务的角度思考问题。他用到数据的问题外包给数据部门的来做，他做完了以后需要一个周期再提供给业务部门，而业务部门变的比较麻烦，所以让整个价值流和信息流流转的不够充分。现在通过它可以迅速服务业务部门，他可以比较各个品牌，我想比较这个品牌在不同时间段，而在这个当中，它不用求助于任何一个数据员的帮助，业务人员他可以自己进行洞察，这个可以干什么，应用的角度，他想进入一个新的市场，他迅速的市场的玩家怎么样，不要重复他以前的错误。他在做营销分析的时候，他要知道自己跟对手差异化的东西，他可以把自己的广告，包括电商的描述页面，再点到整体广告内容都可以进行策划。
    我们这里还有一个云图的概念，这是刚才看到的一些品类，这些都是真实数据，我们通过跟行业内部人士反复验证，我们是惊人的准确，你用来洞察竞争对手或者是消费者看到这个，你会发觉，你跟从业十几年的人看这个是一样的。我们之间还有一个云图的东西，自由对比展开了，你可以随便对比，右边这个图，因为大家都是发散的。你除了要有固定的衡量标准，你可以进行管理，但是这里面最重要的价值是在于它的发散性，因为它的专业度永远不如内部的人专业。所以在这里一定要通过工具的方式进行对比，它的发散性最有价值的一点，我们可以看到是在应用场景，它会反复的提到你意想不到的应用场景。我们把两款手机在一起比，你可以看到上面不同的会高量出来，相同的会弱化，一个是三星，一个是小米，它们的应用场景一般都是什么样的，他们有非常巨大的营销价值，这个是对发散性思维的时候是这样的，我就讲到这里。
    
    提问：
    刚才你提到你用的是爬虫技术，现在百度和淘宝他们的页面进行了加密处理，这个对你们有障碍吗？你们是怎么解决这个问题的呢？
    
    陈里波：
    我没有听到加密处理，因为他们是有技术背景的，他们的本质原则是欢迎人去访问，屏蔽机器访问。他是怎么判断你是机器的，你从一个IP地址总在半夜十二点去看，这套模型我们会紧密的跟踪。我们爬一些页面的时候，我们不光爬目标链接，我们随机跟周围点一些链接，但是所有这些都是机器做的，这个本身在法律上没有问题。但是本身它是技术博弈的过程，百度的技术也比较强，我们之间的博弈才痛快，包括淘宝跟天猫他们封的非常厉害。但是本质上如果他不防人，我们就可以批量的爬。
    
    徐小良：
    谢谢陈博士，前面几个课题把我们待到了大数据、云端，云里雾里，有点比较高精尖。