【一起学习】企业如何挖掘自身大数据的价值

 
HCR（慧辰资讯）大数据平台部

    思路与流程
    当前，传统（非互联网类）企业已认识到大数据的价值，但如何结合企业现状有效应用大数据，仍普遍存在着迷茫。针对这种现状，HCR基于企业大数据应用的相关服务经验，提出一些可行性的思路和建议，供企业客户了解和实施。
    本文内容适合拥有较多客户资源（ToC和部分ToB）和内部数据的大中型企业，对拥有大量企业/个人管理数据的政府机构（如税务）的大数据应用也有借鉴意义。
    一、企业最有价值的数据在哪里
    大数据的价值基础来自于数据，对于企业最有价值的数据，我们认为有两点：
    1）内部业务大数据（而非外部大数据）具有最高的应用价值
    企业的大数据，从来源讲可分为内部（自身业务生产经营环节产生的所有数据）和外部（来自外部，如第三方/互联网）。当前企业热衷于引入来自外部的大数据（如互联网/电商/移动互联网）和相关服务应用，而忽视了一个事实：现有的内部业务大数据才是最大的价值挖掘目标。
    大中型企业在信息化与数据应用过程中，大都已经完成了第一阶段（信息化系统建设与业务数据采集的自动化/常态化）的工作。多年来建立的各种业务信息系统已积累了大量业务数据。而进入第二阶段（挖掘数据提升企业业务经营管理）后，却进度缓慢。相比外部数据，内部业务数据体量大，内容多样，时间跨度长，是企业大数据的主体。因其与企业特性直接相关，深入覆盖经营的各个环节，其对企业的价值远大于各种外部数据。然而，这些数据很少发挥出应有的价值，大都沉睡在那里，甚至成为负担。
    2）内部业务大数据中，应优先关注服务客户相关的数据
    企业内部业务大数据，如果按逻辑属性划分，可分为两大类：
    产品/服务相关: 围绕企业产品/服务相关的（研发/设计/原材料/生产/制造/反馈）的数据
    2）服务客户相关: 围绕着目标客户（可为B或者C）的相关（售前/销售/客服/运维/活动/CRM等等）数据
    以上两类数据中，服务客户相关的业务行为对企业经营影响巨大。其数据也是企业内部大数据的主体，应优先作为内部大数据挖掘应用的目标。
    二、实施的流程
    下面，针对企业最有价值的内部业务数据集，结合消费者研究与标签化研究方法，我们来介绍如何有效挖掘其大数据价值的机制。
    首先我们给出一个主要的流程，后续将对每个步骤进行详细说明。
    Step1总体体系设计： 对现有内部数据进行重构设计
    对现有的业务数据体系，结合实际情况与未来的应用目标，重新进行数据组织和规划。过程中要关注两点：
    要点1：数据的组织，要从功能为中心转向以客户为中心（按生命期阶段组织）。企业内部业务数据，当前大多是以业务功能（系统）为中心组织，相互间未充分打通。用于价值挖掘的业务数据，要以每个客户为中心，以用户生命期为线，将其所有业务功能阶段的数据串起来。
    要点2：以类标签化的思想建立客户的数据描述体系，作为未来全景数据整合的框架。描述体系的来源数据不仅有内部数据，也包含外部数据（辅助）。实际的数据整合处理将基于该体系进行：已有的数据可直接引入，缺失数据内容作为后续采集/外购的主要目标。
    以某车企客户为例，其相关的大数据，对应由9大内部业务系统产生，各自独立。在数据体系重构整合中，重构的示意图如下：
    
    Step2 数据整合集中 ：对现有数据进行实际整合，建立一个统一大数据平台
    基于step1得到的规划方案，对现有的业务数据通过技术手段从各业务系统整合到统一大数据平台上。该平台作为数据分析平台，与生产业务系统分离，提供对数据仓库/结构化/非结构化数据的支持。
    整合中要注意：
    （1） 数据模型的设计以及数据ETL（清洗/转化），都需要以客户为中心进行统一规划
    （2） 充分考虑新数据体系中缺失/不足的数据内容未来的融入和整合机制。
    Step3 标签化分析 ： 对客户进行全方位标签化分析，生成标签化描述结果
    在step2整合得到的以用户为中心的多维度数据空间上，基于消费者研究与业务特性建立用户标签体系，并对客户进行实际的标签化分析。标签体系的定义，要兼顾用户基本信息、业务特点和未来应用的目的，并不断扩展。
    比如前述的车企客户，对用户标签，已经定义了如下几类：基本属性（性别、年龄段、购买能力、职业阶层…）、家庭情况（家有儿童,第二辆车）、车型/驾驶偏好（如偏好SUV 、注重安全性.、追求速度感…）、配件关注点（喜欢原装、喜欢功能性配件）、内装偏好、保养习惯、参与活动偏好、触媒习惯等。
    Step4 业务实际应用/挖掘： 通过业务活动，进行客户大数据价值的实际挖掘和应用
    对所有客户分析得到标签化描述结果，可通过统一的客户分析平台，提供给企业内部所有部门实际应用。各部门可根据实际业务需要，通过标签灵活准确筛选目标客户（如市场部可以查找80后家有儿童且购买能力强的目标客户做MPV家用车型推广），或发现产品客户群的深层特性（产品设计部门可分析车型的目标客户与实际购买客户是否一致）。
    营销部门可根据用户标签特性进行精准营销… 业务人员不仅了解本部门业务相关的用户特性，还能知晓客户在其他维度的更多特点，这将极大扩展对客户价值发现的思路，从而更有效实现单一客户价值的提升。
    Step5 应用结果反馈： 应用结果的反馈与新数据的不断整合，实现整合与价值挖掘的闭环与提升
    业务部门在数据结果的应用后，需按照全局数据体系，有目的的采集客户的反馈结果，并继续整合到现有数据体系中（企业通常会忽视了这一点）。同时，加上对企业缺失数据项的有计划的收集，完美实现了企业内部大数据的闭环整合与价值挖掘提升。
    基于以上流程，随着实施中的不断改进与迭代，以及数据价值应用范围的扩大，企业将能够以此为基础，逐步构建起最核心的内部大数据应用生态链。
    
    实施方法与注意事项
    一、如何实施
    在内部大数据应用流程闭环的5个主要步骤中，每一步工作都有着不同的重点：
    Step1总体体系设计
    总体体系设计，决定了企业内部大数据应用未来可以发挥的价值空间，所以需要高度重视。前期要做踏实，不要急于求成。
    主要工作包括：
    ● 对企业现有数据情况深入摸底，确定客户相关数据在各业务系统中的情况（分布/数据属性/关联性/数据质量等）
    ● 通过在各业务部门调研和访谈方式，以及用户研究的发展趋势，确定企业各部门未来的应用总体需求目标，并抽象为相关对客户属性/标签的需求。
    ● 在前两步工作的基础上，通过用户研究人员与大数据架构/分析人员的合作，完成相关的总体设计。
    输出结果至少包括：
    ● 新数据体系的设计与重构方案，定义以客户为中心的新数据模型的抽象/关联性/属性来源/生成机制等，包括对现有数据的整合机制，以及对当前（基于标签体系要求）缺失数据属性的采集和融合机制。
    ● 客户标签应用体系的框架性实现方案，包括对客户标签体系的框架与分类体系、重要标签设计与分析思路，以及未来的应用模式等
    Step2数据整合集中
    基于新数据体系的设计要求，建立一个统一的内部大数据平台，将相关的数据整合于其中并进行有效管理。
    主要的工作包括：
    ● 搭建统一大数据平台的软硬件/网络的基础架构（包括应用与数据库系统）
    ● 对于现有数据，基于新数据体系的设计，设计数据物理模型和对接方案，并通过技术手段（ETL/编程）对接各内部业务系统，将各业务系统的相关数据统一整合到大数据平台
    ● 对于缺失数据和外部来源的大数据，建立一套相应的机制，保证后续持续有效的整合此类数据。
    输出结果包括：
    ● 一个统一的大数据平台，能够持续整合和管理来自企业内外部的用户相关的所有数据资源。
    ● 一套技术与业务实施机制，确保数据整合和采集的可持续性和有效性。
    在现有数据整合时，企业由于内部业务信息系统众多，且往往对应不同的IT开发商，为保证整合多业务系统数据的准确性和效率，本步骤的实施者，建议优先选择企业内部现有业务信息系统的核心IT开发商，或由企业的信息中心完成，注意：实施过程中需要有大数据架构与数据专家提供咨询和指导。
    Step3用户标签化分析
    本阶段工作对数据未来价值的影响最大。在实际的实施中不是一蹴而就的，是个长期递进的过程，需要根据业务变化和应用需要，不断优化和扩展用户标签体系。相关工作主要由熟悉行业的用户研究人员和数据挖掘/算法工程师根据企业业务的需要配合完成。
    ● 用户研究人员：基于全局的客户标签体系，对数据体现的用户行为进行深入研究和分析，并针对业务的需求，定义高应用价值的标签，并发现相关分析规则
    ● 数据挖掘/算法工程师：综合运用大数据技术（数据挖掘/机器学习等）方法，配合研究员进行挖掘，并完成标签分析的算法编程，使得大量标签的分析处理能以自动化方式来实现。
    输出结果包括：
    ● 所有客户的标签化分析和描述结果。
    ● 特定客户群体/业务需求相关的深入分析报告。
    Step4业务实际应用
    由企业各部门人员完成，业务人员对step3中产生的客户标签分析结果，结合实际业务需求提取和分析所需要的内容，并在后续的业务活动（如针对所选择客户的广告宣传、营销..）和决策分析中进行应用。
    为了便于实际使用，对Step 3 中的分析结果建立统一的应用分析平台，支持业务人员灵活筛选/分析所有客户的标签化属性，并能够提供更深入的研究报告和最新的可视化分析工具，以支持企业更多更深层次的数据应用。
    对于业务人员，如果缺乏使用分析结果的思路和想法，可通过培训和案例拓展其思路。同时在使用之后，需要根据业务情况与数据研究人员交流和不断反馈，协助提升标签分析模型的精度。
    Step5应用结果的反馈
    在各部门使用数据开展业务后，需尽可能收集所接触客户的反馈结果。反馈结果的采集内容要参照全局数据体系的定义，通过便捷的电子化形式（如二维码问卷）完成和提交。这种反馈的闭环机制，可有效避免长期以来对客户实际感知的断裂，能有效提升用户标签化画像的准确度与后续应用价值。我们的一家外资药品企业客户，已经开始进行相关尝试，收到了良好的效果。
    二、要注意的问题和解决方法
    企业内部大数据整合挖掘与应用，当前已经受到许多行业内的领头企业的关注，并开始尝试。但由于缺乏体系化的思路和经验，遇到不少困难。企业在进行计划相关实施时，首先要注意如下问题：
    1、建设思路与实施者的选择
    从前面的阐述可以发现，内部大数据整合与应用挖掘，本质是用户深入研究与相关应用。不仅数据组织和标签体系，甚至IT相关的数据平台整合与建设，也遵循用户研究的思路来完成。用户研究/大数据挖掘技术（如数据挖掘/算法）人员是实施的核心团队。
    遗憾的是，在我们接触的一些企业中，建设思路仍有很大偏差。有的仍然遵循IT系统建设的思路，认为应由IT企业来完成此事。实际上，IT企业并不具备实施中最重要的用户研究/数据挖掘等专业能力（其更适合step2/4所需的相关IT平台的开发）。而有的企业则认为这是CRM业务的延伸，适合CRM服务商完成。这也是不对的，CRM数据 /业务只是企业用户大数据/应用中的子集，CRM人员是用户研究结果的应用者而不是建立者。
    以上错误认识直接影响了诸多企业内部大数据挖掘与相关应用的有效推进。某主流手机制造厂商，就是重技术平台，不重深入研究，觉得采集整合了大量数据后应用价值就水到渠成了。而某合资车企则是意向将该项目由国际著名IT服务咨询企业来完成（事实上我们并不认为该咨询企业能够深入了解汽车行业的产业规律与用户特点）。某省移动运营商，在针对集团客户进行大数据整合与营销支撑服务时，由某上市IT企业进行实施。虽然该企业的IT研发能力很强，但由于因循传统业务流程管理的思路，一线客户经理无法从系统中获得对所服务集团客户的深入认识，也难以进行针对性的业务推广。
    因此，企业内部大数据应用的实施，选择一个能力全面的实施者很重要。该实施者既要熟悉企业业务特性、具有专业的用户研究能力外，也要具有大数据相关的技术（平台架构设计/数据挖掘/大数据算法分析）能力，两者缺一不可。
    2、整合数据时会遇到较大困难
    企业在实施step2（数据整合集中）时大都遇到相同的问题：进度延误和数据集中未达设计目标，大大影响了后续的数据应用。
    其原因主要如下：
    ● 数据涉及的内部业务系统众多，而且开发商往往不同，加上各系统通常又被不同业务部门管理。 因此，从各部门各业务系统整合数据，要牵扯多方(管理方、开发方)的部门权限、利益和精力。相关的协调/推进通常比较低效。
    ● 实施整合的IT企业，虽然熟悉内部数据细节，但大都是开发能力强，对大数据整合数据的主要工作（对接、同步和数据清洗等）缺乏经验 和最优的方法
    以上原因，再加上全局目标不明确，导致整合集中成为企业数据价值应用环节上最大的障碍。以某省运营商为例，其内部用户大数据整合工作，断断续续已经进行了近两年，仍未完成预期目标。
    而要想避免此事，需要做到以下两点：
    ● 高层要重视，且要有强有力的内部实施控制。公司层面的重视对打破各业务系统的数据壁垒有很大帮助，而专业的总控团队对进度和效果影响较大。 以某大型企业客户为例，整合数据时涉及6个部门9大系统，难度相当大。公司由副总担任专项组长，信息中心组建专门团队负责实际协调和考核，最终按计划完成了相关工作，走在了同行的前列。
    ● 由大数据处理与整合方面的技术专家，通过咨询/培训等手段，帮助IT实施企业提升在数据整合技术方面的能力。
    3、内部业务数据的完善任重而道远
    数据属性缺失和数据质量问题，是企业内部业务数据最常见的问题，也很大影响了未来的应用价值。同时，在大数据环境下，客户数据的粒度/深度的不足也逐渐明显。如对某上市药企进行相关数据摸底时，发现客户相关的数据只到渠道级别，没有到达最终用户，导致大量最有价值的内容缺失。造成这些问题的核心原因是之前缺乏全局、体系性的数据框架和实施机制，业务各环节中采集数据的目标、方法和主动性都有不足，而这相关改变非一朝一夕可以完成。
    对此，企业要注意：
    ● 客户识别/接触体系不完善的，需尽快建立公司统一的客户体系（如会员系统）。
    ● 要有明确的全局数据体系作为指导，相应建立采集和整合的制度化机制，使得各环节的业务人员对相关工作从自发变为自觉。
    ● 要把外部大数据/应用反馈数据也纳入到数据体系中，统一规划构建相关的收集机制和融合方法。
    ● 在此过程中不要摊子过大，结合情况分步骤实施，优先考虑最重要/最容易采集的数据资源。