基于Clementine神经网络的商品促销效果预测模型应用

摘要:介绍了人工神经网络的基本原理,将神经网络的BP 算法引入商品促销研究领域,,并运用Clementine建立BP 神经网络模型, 以某个历史促销数据为原始数据样本, 对网络进行训练后, 对商品促销效果进行预测, 预测模型在预测精度和收敛速度方面都达到了较好的效果,对商家的决策支持产生了积极的影响。

关键词:商品促销;数据挖掘;Clementine;BP神经网络

中图分类号:TP311文献标识码:A 文章编号:1009-3044(2009)34-9790-03

Application of BP Algorithm Based on Clementine for Forecasting Effects of Commodity Promotion

LIN Yao-bin, DU You-fu

(College of Computer Science,Yangtze University,Jingzhou 434023,China)

Abstract: This article introduced the artificial neural network basic concept.BP algorithm of Neural Networks was introduced into commodity promotion,established the BP neural network model by Clementine, took some historical sales data as the primary datasample, carried on the training after the network, had carried on the forecast to the effects of commodity promotion, Forecastaccuracy and algorithmic convergence speed of the forecast model reached fairly good effect, which had a positive impact on the business decision support.

Key words: commodity promotion; data mining;Clementine;BP neural network

零售行业是最早利用数据挖掘技术的领域之一,随着时代的发展,传统报表系统已经不能满足日益增长的业务需求了,企业期待着更好地利用数据分析和数据挖掘这种新的技术来获得知识或洞察力,促使企业做出更有利的决策,带来更大的商业价值。这也成为企业生存发展的关键。通过对促销活动方式和广告销售量变化的分析,有效评估促销活动,同时结合客户群分析,得出针对不同客户(地区)应采用的合适促销方式及产生的预测效果,从而预测优惠策略实施的效果。本文使用数据来说明零售产品线和促销对销售的影响,其目的在于预测未来促销活动的影响。通过对促销数据的挖掘分析,可以揭示促销策略中存在的问题,及时进行相应的调整优化,以实现促销活动中企业的收益最大化。

1 研究现状和神经网络模型结点

预测型知识是根据事件序列型数据,由历史的和当前的数据去推测未来的数据, 也可以认为是以时间为关键属性的关联知识。比如,在零售业中根据零售产品线和促销数据,预测未来促销活动的影响,这是一个数值预测的例子。

目前采用的商品促销效果预测的数据挖掘模型包括决策树、神经网络、逻辑回归等,其中大多数商品促销效果模型采用Neural Net、Logistic等模型进行建模。数据挖掘(DM) 是指从大量数据中抽取隐含的、不为人知的、有用的信息。有时也把数据挖掘等同于数据库中的知识发现(KDD)。从商业角度出发,数据挖掘可以描述为:按企业既定业务目标,对大量的企业数据进行探索和分析,揭示隐藏的、未知的或验证已知的规律性,并进一步将其模型化的先进有效的方法。数据挖掘及知识发现处理数据的一般过程:数据清理数据集成数据选择数据变换汇总、聚集数据挖掘模式评估知识表示[1]。

Clementine 是一个数据挖掘工具平台,通过此平台可以采用商业技术快速建立预测性模型,并将其应用于商业活动,从而改进决策过程。Clementine不但支持整个数据挖掘流程,从数据获取、转化、建模、评估到最终部署的全部过程,它还支持数据挖掘的行业标准: CRISP-DM 。Clementine采用了丰富和有效的模型算法,包含了数据的可视化、预测、分类、聚类、关联、序列等的数据挖掘方法,而且提供机器学习和许多相关统计模型,使数据挖掘的结果更具有可靠性与精确性[4]。

本文采用BP人工神经网络模型结点来进行商品促销效果的预测。人工神经网络,就是基于模仿生物大脑的结构和功能而构成的一种信息处理系统或计算机,简称神经网络,简写为ANN(Artificial Neural Network),是近年来发展起来的一门新兴学科。本质上是人脑处理信息方式的简化模型。它通过模拟大量相互连接的简单处理单元工作,这些处理单元好象神经元的抽象化版本。神经网络是功能强大的一般函数估计器,只需要最少的统计或数学知识就可以对其进行训练或应用。神经网络是神经系统运转方式的简单模型。其基本单元是神经元,通常将其组织到层中,这些处理单元都位于层中。在人工神经网络中通常有三部分:一个输入层(input layer),其单元代表输入字段;一个或者更多的隐藏层(hidden layers);以及一个输出层(output layer),其单元代表输出字段。这些单元通过不断变化的连接强度(connection strengths)或权值连接。输入数据显示在第一层,其值从每个神经元传播到下一层的每个神经元。最终从输出层中输出结果。

BP 神经网络是一种典型的前馈神经网络, 其网络的基本结构如图1所示。

BP神经网络学习包括:检查单个记录、为每个记录生成预测、一旦发现生成错误的预测便对权值进行调整。这一过程多次重复,神经网络不断提高预测效果,直到满足一个或者多个终止准则。最初,所有的权重都是随机生成的,并且从网络输出的结果很可能没有意义的。网络可通过训练来学习。向该网络重复应用已知道结果的示例,并将网络给出的结果与已知的结果进行比较。从此比较中得出的信息会传递回网络,并逐渐改变权重。随着训练的进行,该网络对已知结果的复制会变得越来越准确。一旦训练完毕,就可以将网络应用到未知结果的未来案例中。神经网络对字段类型没有限制,可以处理数值型、字符型以及卷标型输入输出字段。神经网络结点要求一个或更多字段有“In”方向,以及一个或更多字段有“Out”方向。设置为Both 或者None 的字段将被忽略。在执行结点时,字段类型必须被充分实例化。

2 神经网络模型的构建及应用

2.1 神经网络学习过程

在Clementine中应用神经网络进行商品促销效果预测的过程如下:首先选择数据源:本例中用到的数据存放在电子表格文件中,因此在结点模板中选择Sources 选项卡,双击其中的Excel 结点,将Excel 结点添加到流编辑窗口中。然后在流编辑窗口对其编辑,选择所需的数据文件,总的挖掘过程如图2所示。

向数据流增加一个Derive结点,将该结点命名为Increse。在公式栏中输入(After - Before) / Before * 100.0以此来计算促销前后销售额的变化。添加一个Type结点到数据流中。由于在制定促销方案前我们并不知道促销后商品的销售额,所以将字段After的Direction属性设置为None;神经网络模型需要一个输出,这里我们将Increase字段的Direction设置为Out,除此之外的其它结点全设置为In。在设置好各个字段的Direction方向后我们将Neural Net结点连接入数据流。在对Neural Net进行设置时我们选择快速建模方法(Quick),选中Prevent overtraining防止过度训练。同时我们还可以根据自己的需要设置训练停止的条件。如图3所示。

在建立好神经网络学习模型后我们运行这条数据流,结果将在管理器的Models栏中显示。选择查看该结果结点,我们可以对生成的神经网络各个方面的属性有所了解。对输入点结果重要性的显示,如图4所示。从这张图可以看出,它的种类和促销费用相对来说是比较高的,而它的单价和促费前的费用对建模的影响较小。其他的是一些建网的信息。如图5所示。

将Neural Net结果结点连接在数据流中的Type结点后, 向数据流中增加Derive结点并将它命名为ratio,然后将它连接到Neural Net结果结点。设置该结点属性,将增添的字段的值设置为(abs(Increase - '$N-Increase') /Increase)*100,其中$N-Increase是由神经网络生成的预测结果。通过该字段值的显示我们可以看出预测值与实际值之间的差异大小。可以通过观察预测值与实际值之间的差异来评价模型的优劣。从Graph栏中选择histogram结点连接到ratio结点。设置该结点,使其输出显示ratio的值,在field的下拉列表中选择ratio,输出结果如图6所示。该图形的横坐标为ratio的值,纵坐标表示一共有多少个样本的ratio值落在相对应的横坐标上。从ratio的定义公式我们知道ratio越小表明预测值与实际值的差别越小,所以我们希望更多的ratio值处于一个比较小的范围。因此由输出图形我们可以看出该模型达到了一定的精度。

2.2 模型预测

向数据流程区添加Excel结点,并将测试数据文件读入该结点。添加一个Type结点到数据流中,将字段After的Direction属性设置为None,除此之外的其它结点全设置为In。将Neural Net结果结点连接在数据流中的Type结点。$N-Increase栏表示促销后销售额可能增减的比率。由于神经网络的最终输出需要规范到[0,1] 区间,所以我们选择输出值在(0,1)内连续的S形函数将结果规范化。S型函数表达式为f(x)=1/(1+e-x),可通过增加Derive结点将结果其规范化。根据神经网络模型的预测输出,我们可以选出测试文件中包含的可执行促销方案。假定预测结果经规范化后结果值为1的方案为可执行方案,我们需要增加一个结点来选出满足这些条件的结点。Clementine为我们提供了Select结点,它可以从数据集中筛选出满足预定条件的记录。从Record OPs栏内选择Select结点连接到Format结点后,在它的属性设置中选择包含Format=1.000的结点,运行数据流后我们将得到可用于促销的方案,即Format=1.000的商品为可用于促销的商品。结果如表1所示。如果我们只需要得到这些方案的某些字段,而不想知道它的全部细节,则可以在Select和Table键中增设Filter结点,将不需要的字段过滤。最后在Select结点后增加一个Type结点,设置所有字段的Direction属性为In,然后在Type结点后接入一个Export栏下的Excel结点,将预测结果导出在电子表格里。

通常,在利用数据挖掘技术得到一些有意思的结果之后,还要将这些结果和商家现阶段的实际情况相结合,进行相应的市场分析,用户行为分析和用户访谈,了解数据背后消费者的心理。

3 结束语

本文通过使用Neural Net模型来说明如何利用Clementine在超市信息管理系统中发现可用于促销的商品,神经网络模型对商品促销效果预测有较高的准确性,对商家进行市场决策有很好的参考价值。从该研究可知,人工神经网络(ANN)方法在零售业应用是可行的,由于该试验样本较少,还有待于今后的进一步研究和改进。

参考文献:

[1] 刘磊.数据挖掘技术分析及其在零售行业的应用[J].商场现代化, 2009,(6).

[2] 段录平,周丽娟,王宇. 基于神经网络的数据挖掘研究[J].自动化技术与应用,2007,(7).

[3] Han Jiawei, Kamber Micheline.数据挖掘概念与技术[M].范明,译.北京:机械工业出版社, 2005.

[4] 刘利俊.利用Clementine进行试卷质量分析[J].现代计算机(专业版), 2008,(5).