大数据时代零售业统计的变革

摘 要：结合零售行业，在阐述大数据给传统零售业带来的思维、商业、管理这一系列变革的同时，着重从传统零售业数据统计步骤的数据采集、整理、分析、诠释这几个方面分析大数据给零售业统计带来的影响与变革，同时分析大数据应用在零售业所带来的关于隐私问题的挑战，给出零售业统计应如何应对变革的一些探讨，诸如扩大数据的采集面、增加数据采集的广度与深度、采用数据挖掘技术进行大数据分析、引入数据可视化技术进行数据诠释等。

关键词：大数据；零售业统计；数据挖掘

中图分类号：F713.32 文献标识码：A 文章编号：1003-3890（2015）03-0039-05

大数据是指传统数据库管理工具难以处理的大量的、多样化的数据。当前普遍认为大数据有三个特点（3V）：第一Volume，是数据容量非常大，第二Velocity，是数据增长速度非常快，处理速度非常快，第三Variety，是数据类型越来越多样化[1]。

零售行业随着数据采集与存储技术的进步也逐步形成了零售业大数据。通过对这些数据进行挖掘分析，能够给零售企业带来巨大的商业价值以及服务创新，诸如能够更好地了解和洞察消费者，从而实现精准化营销，或者变革供应链模式，实现货品精细化管理等。但是在这之前，必须首先要清楚大数据究竟从哪些方面给零售业带来了变革需求，才能有针对性地利用好零售业大数据。

一、大数据时代零售思维、商业与管理变革

（一）零售思维的变革

维克托・迈尔在《大数据时代》一书中提出了大数据思维的三个最显著的变化：一是样本等于总体。这与过去基于样本进行统计分析的思维截然不同；二是不再追求精确性。在大数据中往往存在“噪音”和罕见事件，这样的数据影响了结果的精确性；三是相关分析比因果分析更重要，在大数据时代我们将注意力更多地放在“是什么”而不是“为什么”。将这种全新的思维结合传统零售业考虑，我们也许会得到如下几个方面的启示：

1. 要分析与零售商特定目标相关的全部数据，而不是采用对样本的分析来推断总体的方式。当采集并存储所有的数据并不再只是一种可能，基于样本的统计分析也就越来越难以适应企业对数据的使用需求。零售商通过分析利用大量的销售等数据，可以准确地预测客户的需求，实行精准营销，给零售企业带来实质性的效率与利润提升。

2. 放弃追求精确性，并接受数据的噪音。倘若零售企业只追求精确的数据，那么只有大约5%的结构化数据能够被合理使用，而大约有95%的半结构化及非结构化数据都无法被使用，这会造成数据资源的巨大浪费。只有接受数据的噪音，容许部分冗余甚至错误数据的存在，才能更充分地利用数据，挖掘零售数据的价值，实现零售商的经营管理目标。

3. 零售行业在进行数据分析时应该更加注重分析事物的相关关系而不是因果关系。相关关系可以使零售商们从不同的角度观察、分析、解决问题，以确定怎么做可以达到更好的效果。而且相关关系是一种比因果关系更加有效的关系。例如，沃尔玛在经过数据分析后得到，蛋挞的销量在飓风到来之际大幅增加，因此将蛋挞摆放在飓风用品附近的位置，提高了蛋挞的销售量[2]。在这个例子中，通过分析蛋挞销售量与飓风的相关关系，找到了提高销售量的新方法，这体现了在大数据时代相关关系分析的必要性与重要性。

（二）零售商业的变革

在以电商为首的“数据巨头”的冲击下，传统零售业面临着巨大的挑战。我们可以观察到的一个现象是目前许多唱空百货等线下零售业的声音不绝于耳。这主要是由于互联网电商巨头诸如阿里、京东等已经在中国零售行业中占据了大量的份额，传统的零售诸如百货行业由于线下市场萎缩以及商品定价的弱势性在无形之中已经被慢慢挤掉了许多利润。目前传统零售业面临着零售商品价格体系管理的滞后、营销的不便利性，例如相同商品不同销售商之间的比价，快递送货服务以及年轻消费客户的流失等问题。而且传统零售行业的营销方式无法像互联网电商一样通过各种数据分析消费者的喜好，从而无法做到一对一的精准营销。所有的这些问题，导致传统零售行业面临着重大的商业变革。

为了应对零售业面临的挑战，一个可行的思路便是线下购物体验化。这主要是指通过改善线下购物的环境与方式，给予消费者更多在线上购物中享受不到的愉悦体验，其表现的特征主要体现在传统百货购物中心化。这其中的典型例子譬如上海的购物中心K11在其店内专门布置了一个小型的农场，顾客可以零距离接近自然体验种植的乐趣。而北京的乔福芳草地则巧妙地打造了一个具有浓厚艺术气息氛围的购物中心，给予顾客艺术之美的体验与熏陶。毫无疑问，这种传统零售企业的转型必然要建立在了解客户的心理需求与偏好的基础上，这就在客观上要求传统零售业纷纷进入大数据领域挖掘客户的商业需求。国内企业如银泰是进入大数据领域掘金的典型零售企业，银泰通过设置在购物中心的WIFI来获取用户数据。通过抓取的数据分析消费者的性别、年龄，购物偏好、习惯，以及购物频率、搭配等。同时，银泰官网也在收集消费者的品牌偏好的数据，并结合实体店的数据进行分析，获得新开商店的品牌组合、门店位置选择以及品牌位置组合。

随着科技的进步以及建设大数据成本的降低，将会有更多传统零售企业采用高新科技技术收集客户的购物喜好、购物组合、购物频率等购物信息，并积累了大量的数据资本，开创零售行业商业变革。

（三）零售管理的变革

传统零售业的经营决策在相当程度上依靠企业管理者主观判断，其体现在依靠管理者的知识水平、经验、直觉等。这种决策方式缺乏对决策过程的监控，缺乏对决策执行过程中数据的收集、提取和分析，未能明确数据决策与决策结果之间的关联关系[3]。这种过于主观不够严谨的决策方式主要是由于传统零售业的运营销售等系列数据分散在不同的部门，把它们搜集在一起进行合并分析具有较多困难，导致很难高效地利用这些数据。大数据时代的来到使得传统零售企业决策过程由管理者主观判断变为以数据为导向进行决策成为趋势。

沃尔玛百货是世界性连锁企业，其率先应用大数据分析作为企业决策的基础。沃尔玛为了提高大数据成果在不同部门之间的高效利用、并增加存货管理和供应链管理的投入回报率，其开发了Retail Link工具。供应商使用该工具可以预先知道不同店铺的商品销售和库存情况，从而能够在沃尔玛发出指令前自行补货，极大地减少商品断货和供应链的库存水平[4]。因此，供应商能够更多地控制商品的陈设，沃尔玛也可以降低库存成本，减少投入成本。综合起来，沃尔玛百货不仅提高了服务质量，而且削减了供应链管理的开支，提高了企业的运作效率与利润。沃尔玛百货在销售管理中应用大数据，以大数据为决策的基础，开创了以大数据为决策基础的零售业管理的新局面。

在互联网时代，随着信息技术的不断发展，使得零售企业能够记录并存储其销售、采购以及员工行为的一切信息。这些数据存储到企业的数据库中，通过数据挖掘方法进行处理分析，从而成为企业以数据为导向进行决策的基础。随着大数据时代的到来，传统零售业管理决策过程必将向大数据决策转变。

二、大数据时代零售业统计的变革

在传统的统计步骤中，包含了数据的采集、整理、分析、诠释四个部分，每个部分都已经在传统的数据统计理论下形成了各自的内容与方法论。而在大数据时代，其带给零售业重大的影响之一便是其数据统计方法的变革，这种统计变革集中体现在零售业数据的采集、整理、分析、诠释四个方面，涉及传统统计分析的完整流程。以中国人民大学网络与移动数据管理实验室开发的Scholar Space为例，大数据背景下进行数据分析的完整流程如图1所示。可以发现，与传统统计步骤相比，对大数据的处理分析引入了更多的计算机软硬件技术。

（一）在零售业数据的采集方面

零售行业进行的数据采集工作主要针对其客户购买行为、商品的销售情况、企业的财务状况等一系列数据，企业利用这些数据对日常的生产经营进行分析决策。在传统的统计方式下，企业的原始数据采集行为往往主要是依靠客户群随机抽样进行问卷调查，对各项销售报表以及财务报表进行收集，进而对这些原始数据进行处理分析与应用。在这种数据采集方式下，零售行业所能采集到的数据多以结构化数据为主，且其应用有很大的局限性[5]。

而在现在以及未来，日常各种行为所产生的信息处于一个大爆炸的状态，传统数据采集方法的效率日趋低下，丝毫跟不上信息产生的节奏，已经不能满足新时期企业进行生产经营创新的需要，故零售业企业在数据采集方式方法上面迫切需要发生重大的变革。现在看来，这种变革的方向将会在线上与线下数据采集工作中同时进行，所采集数据的结构将会由结构化数据转向半结构化乃至非结构化数据。具体而言，我们可以采集客户群在互联网上的一系列线上行为数据并存储进而进行整理与分析，同时，由于物联网以及云计算技术的发展，我们也可以通过电子设备采集消费者在实体商店的一系列线下行为数据[6]。就线上数据采集而言，我们将主要收集顾客在零售网站上留下的信息，包括保存在浏览器cookies中的系列点击行为以及直接存入系统后台的网站交易行为。而线下的数据采集则可以通过各种电子设备与技术例如pos机、蓝牙4.0、NFC技术等来记录顾客在店内的行为数据。

目前，在我们肉眼可见的地方，这种变革已经在零售行业中悄然兴起。美国高档连锁百货Nordstrom最近开始采用线下实体店客流分析服务供应商Euclid Analytics公司的客流监测解决方案Euclid Zero，基于用户连接wifi行为来获取店内顾客手机的MAC物理地址并进行线下追踪。由此可以通过分析单个顾客在百货店内的行动路线和滞留时间，从而用于改善商品罗列与室内动线以及顾客个性化偏好推荐服务。而近期开发出的已经被许多大型超市与品牌商所应用的Shopperception三维购物传感器技术，可以实时追踪顾客与摆放在货架上的商品的互动行为，主要包括触碰货品、拿取货品、放回货品等动作，由此生成单个商品的热力图从而可以清楚观察出顾客对此商品偏好程度。

（二）在零售业数据的整理方面

不管是传统的零售业统计还是在大数据背景下的统计，在完成数据采集之后必须对数据进行整理。数据整理是指对所采集的统计数据进行汇总，去除其中的冗余与错误数据，同时筛选出其中的有效指标，确定对数据总体的处理方法。传统的零售业数据整理主要包含对所采集数据的查核，对数据进行分类与聚类，根据数据编制统计表图，积累与保管统计资料数据[7]。一般意义下，传统数据的整理方式更能够凸显群体水平――例如零售行业门店商品总成交额、单个商品成交数目等。这些数据没有必要也无法实现实时采集，只需能保证在周期性、阶段性的对数据的评估中获取即可。传统数据反映的是零售行业的因变量水平，即零售行业的整体经营状况如何，企业内部的财务水平如何，顾客对企业的整体主观感受如何等问题。这些数据，譬如顾客对企业的主观评价，由于事先顾客对其行为完全知情，因此带有很强的刻意性与随意性――因其主要是通过标准的量表统计与调查方法进行。

相较之下，大数据赋予了我们去关注每一位个体顾客的微观表现能力，譬如顾客在某个特定时间段偏爱于购买何种商品，顾客在某类商品货架旁的时间停留长度，顾客最终决定购买商品所花费的时间等。这些数据是高度个性化特征的体现，对于其余个体没有什么意义。同时，这些数据在每时每刻顾客购买与企业销售的交互行为中产生，其产生完全是过程性的。对于这些数据的整理将能够诠释零售行业微观销售经营过程中自变量的水平，如应该怎样才能尽可能长时间使消费者逗留，怎样的物品摆放方式可以提高两种物品的销售量，怎样的店铺选址可以最大化顾客流量。

在大数据背景下，零售业大数据由于进行采集数据行为的数据源及数据内容存在交互性重叠，导致原始数据需要进行清理以去除数据噪声与数据冗余并同时对所抽取数据进行聚类。首先，需要对所采集的数据进行清洗、重构与填补以去除冗余弥补缺失。其次，在新的背景下零售业所采集的数据中必定包含大量的半结构化以及非结构化数据，我们需要将这部分数据进行处理，使之变为应用软件能够识别处理的机器语言。最后，我们需要对已完成前两步处理的数据进行相关性与关联性检测，将相关性高的数据融合在一起开始进行下一步的数据分析。

（三）在零售业数据的分析方面

数据分析是发掘出数据价值的关键步骤。一般而言，在传统的零售业统计分析领域，在完成对数据的采集整理后，要构建一系列模型对处理过的数据进行分析。传统的统计研究分析方法主要包括线性或非线性回归方程的建立、回归模型参数的估计、参数估计结果的检验，同时对数据进行相关分析、回归分析、方差分析等。传统的统计研究分析过程一般先进行定性分析，对分析对象做出一个主观性质的判断，这主要是为随后的定量分析提供一个方向，然后进行定量分析，通过各种模型估计参数以及进行一定置信度范围内的显著性与有效性检验，最后再回归到定性分析，主要是对定量分析的结果进行统计诠释。传统的统计实证过程则是先设立假设再进行检验，检验部分就是根据抽样分布理论以一定的概率保证程度进行对总体的推断[8]。在实际中，传统零售业分析企业数据是将原始数据录入到企业信息系统中由系统自动产生分析结果，零售业只能依赖于这些片面的结构化数据以及纯粹的经验理论假设对企业做出经营决策。

而在零售业的大数据统计分析中，传统的统计分析方法过程显然已经不再适用。在分析思路方面，传统的假设检验流程也已不能凸显其优势，目前对大数据的统计分析是以相关关系为基础进行的数据挖掘。数据挖掘也可以称作现代统计学，其跟传统的统计分析有很大的不同。因为传统的统计分析主要是针对结构化数据进行线性相关分析，而大数据条件下的数据挖掘，则是要对更多的半结构化非结构化数据进行非线性相关以及不明确函数形式的线性关系进行探索、推断与评价。在大数据分析的前提下，相关关系的分析将并不依赖于传统的“假设中的因果关系”，其将直接分析数据库中所存储的经过整理的数据之间的联系，由此可以避免受到人为的假设限制，发掘数据深处的意义。

现代意义上的统计学分析也即数据挖掘，是传统的统计分析方法的扩展和延伸，其常用的技术有关联规则挖掘、神经网络模拟、支持向量机、随机森林树、遗传算法、贝叶斯网络等。如果能够将这些数据挖掘技术应用于大数据时代的零售业数据统计分析过程中，无疑将会给企业带来巨大的价值回报。譬如关联规则挖掘，关联规则指的是一个已发生事件和其他已发生事件之间相互依赖或关联的信息，其一般包括简单、因果、时序关联等。而关联规则经典算法Aprior的基本思想就是通过迭代算法发掘数据中的具有一定支持度的高频项目集并进而构造置信度不低于用户设定的最低值的关联规则，此时如果某个事件集中有因素存在关联，则可以由其中一项因素的属性值依据推断出其他因素的属性值。在大数据背景下，运用关联规则挖掘进行数据相关性分析的一个典型应用便是购物篮子分析，通过分析系统交易数据库之中不同商品之间的销售情况的联系，譬如某种商品的购买量与另外品类商品购买量之间的相互影响，从而可以探寻出顾客的购物行为模式。利用这种算法分析得到的结果在企业销售的很多方面都可以运用，例如对商品摆放的布局、商品库存的阀值设立以及对用户群分类进而实施差异化营销。众所周知的沃尔玛超市发掘出啤酒与尿布之间相关性的案例便是关联规则应用于数据挖掘的典型案例。

（四）在零售业数据的诠释方面

在完成对零售业数据的分析之后，就要将所分析得到的结果应用于实际的解释与预测之中。如果没能运用适当的数据诠释方法，那么即使我们的数据分析结果没有错误，我们得到的预测结果也必将不能很好地与现实的发展趋势拟合。在大数据时代由于数据的分析结果的繁多以及结果之间复杂的相关性，传统的以文本为主要输出形式的解释结果将不再适用，这就在客观上造成了传统的诠释预测方法变革的需要[9]。大数据背景下的数据诠释，首先需要引入数据可视化技术，使用图形来表示数据分析的输出结果，从而帮助零售商能够更加形象地观察到数据之间隐性的关系与规律。其次需要引入人机交互与数据起源技术，这能够让零售企业各部门能够熟悉和参与数据分析诠释的具体过程。

目前零售业的数据诠释，大数据运用在零售业的最终营销过程中表现得很好。运用挖掘出的结果对销售及顾客数据进行解释并预测，能够显著提高预测的精确性与适时性，同时，也可运用其进一步细分市场，提高企业的目标群体营销水平，降低企业销售风险。目前，英国领先的零售商乐购（TESCO）已经开始运用大数据来解释分析顾客的行为。其主要运作流程是首先在系统中建立一个顾客关系型数据库，给予每个顾客唯一的一个编号，然后通过各种线上与线下方式采集顾客的一系列消费数据诸如所购买商品的种类、金额等，接着再通过利用已经开发出的数据模型对这些海量交易数据进行分析，从而大致可以得到关于单个顾客的一些信息诸如其消费习惯、近期可能需要的商品等。乐购通过这些结果指导其促销计划的制定与商品价格的及时调整。同时，乐购通过对每个门店的店员结账数据、货品上下架数据、商品购买与退货率进行统计汇总生成门店的日营业分析报告，这使得其能够对销售过程进行即时性把控，这为其提供了更加高效的盈利方法[10]。

三、零售业应用大数据的挑战

随着基于云计算的应用以及社交网络的普及，“隐私”成为大数据发展绕不开的一个挑战。在零售行业中，不论是商品的销售信息，还是顾客的消费习惯，都以不同的数据形式被存储到数据库中；另一方面，大数据相关法律不健全，网络监管不力也使各类数据泄露事件无法得到有效的解决。大数据堪称一把双刃剑。零售企业，会在大数据分析中获得巨大利益，但同时消费者的隐私也都以数据形式被存储起来。零售业大数据出现以后，肯定会带来更多的隐私泄露或者是与隐私泄露相关的问题，但是，不能因噎废食，必须解决这些问题才能推动零售业大数据环境的发展。零售企业可以通过安装杀毒软件、建立防火墙来防止信息泄露的问题发生。

四、结语

相比于互联网电商利用大数据已经取得的各种令人惊叹的成果，传统的线下零售业在挖掘大数据价值方面落后了很多。但是，落后的同时也意味着，传统零售业有着充分的潜力去利用大数据实现自己的商业模式转型。传统零售业在大数据时代下的各种变革中，统计思想与方法的变革无疑是最根本而又最重要的。唯有从传统零售业统计的数据采集、整理、分析、诠释这一完整流程的各个方面进行改革，才能使得传统零售业在未来仍然能适应市场的需求。具体而言，在数据采集方面零售业要能够通过运用行业最新技术以各种线上与线下方式扩大数据采集面，保证数据来源多样性；数据整理方面需要将所采集数据细分为企业层面的宏观数据以及顾客层面的微观数据并分别应用不同的处理方式进行整理；在数据分析过程中则要变革传统的以假设检验为核心的统计分析为基于大数据算法下的相关性数据挖掘；同时引入可视化技术以及人机交互与数据起源技术运用于数据诠释过程以改革传统的统计数据诠释。与此同时，零售行业在运用大数据的过程中，不能忽略的一点是大数据也并不是没有缺点，需要充分重视如何回避大数据带来的负面效果。正如维克托・迈尔在撰写《大数据时代》一书的同时，还写了另外一本名为《删除》的书，就是要告诉我们，大数据是一把双刃剑，在运用的时候一方面必须处理好数据与隐私之间的界限，另一方面也必须要处理好已掌握的数据的取舍问题。

参考文献：

[1]城田真琴.大数据的冲击[M].北京：人民邮电出版社，2013.

[2]维克多・迈尔.大数据时代[M].浙江：浙江人民出版社，2013.

[3]刘纬纬.大数据给传统企业管理带来的变革[J].中国管理信息化，2014，（16）：43-44.

[4]赵巍伟.RETAIL LINK数据抽取和处理工具的设计与实现[D].上海：上海交通大学，2011.

[5]曾鸿，丰敏轩.大数据与统计变革[J].中国统计，2013，（9）：49-50.

[6]游士兵，张佩，姚雪梅.大数据对统计学的挑战和机遇[J].珞珈管理评论，2013，（2）：165-171.

[7]朱建平，章贵军，刘晓葳.大数据时代下数据分析理念的辨析[J].统计研究，2014，（2）：10-19.

[8]李金昌.大数据与统计新思维[J].统计研究，2014，（1）：10-17.

[9]郑淑蓉.零售业大数据：形成、应用及启示[J].理论探索，2014，（2）：90-94.

[10]许明星.大数据在零售业营销中的应用分析[J].物流工程与管理，2014，（9）：187-190.