云计算下基于大数据的消费者偏好测量和决策系统的研究

【摘 要】本文主要进行了云计算下基于大数据的消费者偏好测量和决策系统的研究。首先介绍了偏好测量和决策系统研究的意义、大数据的相关概念与特点，分析了系统的框架结构体系和功能，最后探讨了系统的部分实现。

【关键词】云计算；大数据；消费者偏好；测量和决策

0 引言

众所周知，在竞争异常激烈的今天，企业销售产品或服务的每一个品牌面对的一个共同问题是如何精准的找到自己的消费者。随着云计算和移动互联网等新一代信息技术的发展，消费者用智能手机和平板电脑去电子商务网站、社交网络、微博、微信上购物。在购物过程中，消费者在网页上停留时间、点击商品图片、放到购物车、购买后评价等反映消费者行为轨迹的数据无一不清晰的记录在服务器上，在网络上大量沉淀， 基于购物网站的点击率、访问量及其他网络数据量化指标被大量采集。因此，市场调研者、营销者和品牌厂商面临的一大难题是，如何通过各种信息渠道（即如何利用社交网络、微博、电商网站上的消费者的综合行为数据）收集消费行为的实时数据以及他们和品牌的互动行为，并挖掘数据， 从而进行综合测量和分析。分析这些数据的唯一挑战，就是迅速的在海量数据中，形成有助于决策的信息。而这恰恰是大数据技术发挥价值的领域之一。因此本项目利用云计算和大数据挖掘等新一代信息技术，构建消费者偏好分析和决策系统，以更完善的对这些海量数据进行数据挖掘、商业智能分析，评估产品是否令人满意，预判消费者是否会为类似产品慷慨解囊，从而决定这款产品或者服务，是否应该继续推向市场，或者改进后推向市场，或者应该取消，启动另外的尝试，从而改变供应链中的营销、客户和销售等环节，为企业的经营决策提供一定的参考。

1 总体框架设计

大数据技术是多项技术的交叉和融合，包括大数据技术的基础理论、大数据关键技术的研究、大数据信息的存储和大数据的具体应用等等。它的主要研究目的是：以快速的计算方法和高效的信息技术手段获取、处理、加工和分析各种企事业单位的大数据，挖掘深层次的价值和规律，为企事业单位提供决策参考和高附加值的应用服务。

本文主要运用大数据技术来构建消费者偏好测量和决策系统，该系统的总体框架设计如图1所示，主要包括应用层、并行化算法层、系统软件层和基础设施层。

（1）应用层

应用层以用户的应用需求为导向，从实际行业应用问题出发，由行业和领域专家与计算机技术人员相互配合和协同，以完成大数据行业应用的开发。该层主要接收行业应用问题和需求，建立业务逻辑模型和计算模型，并将用户的数据处理任务传递给并行化算法层，并行化算法层层再根据用户提交的请求参数，在应用算法层选择合适的算法，再分配到系统软件层的MapReduce 平台上进行并行数据处理，运算以后的结果通过应用层反馈给用户。

（2）并行化算法层

该层主要对各种大数据处理所需要的数据挖掘算法进行并行化设计研究。在面向大数据处理时，绝大多数现有的串行化机器学习和挖掘算法都难以高效的完成大数据的处理，因此需要对其进行并行化的设计。同时还需要考虑更贴近具体应用层的算法，例如商业智能分析、商业智能决策、电子商务分析推荐、Web搜索与挖掘等等。

（3）系统软件层

该层主要包括大数据的存储管理和并行编程模型与计算框架两部分。

大数据的存储管理有分布式文件系统和大数据管理与查询技术组成。分布式文件系统（RDB、DFS、MEMD等）以可伸缩的方式对大数据的有效存储进行管理。传统的数据管理与查询技术主要提供了规模较小的结构化数据的存储管理和查询，而大数据时代80%的数据都是非结构化或半结构化的，因此，人们提出了一种NoSQL和NewSQL的新技术，能对各种非结构化或半结构化的数据进行管理与查询。

并行编程模型与计算框架部分主要解决如何能快速有效地完成大数据计算的问题。目前最主流的大数据并行计算和框架是Hadoop MapReduce技术。MapReduce分布式处理技术主要用来处理大数据。它的核心思想是：将要处理的结构化或非结构化的数据拆解成Reduce（化简）和Map（映射）的方式，先通过Map（映射）程序将大数据切割成很多部分，再将其分配给计算机集群或GPU进行处理；然后将上述运算结果通过Reduce（化简）程序将结果汇总，最后将结果输出给用户。

（4）基础设施层

该层是并行计算的硬件基础设施层。并行计算的硬件基础设施是普通服务器的集群，这种集群也可以和其他的并行计算设施结合，如基于众核的并行处理系统GPU，形成一种混合式的大数据并行处理构架和硬件平台，以满足大数据处理的特殊需求。也可以与云计算的Iaas层结合，在云计算Iaas层上部署大数据硬件基础设施层，运用虚拟化和并行资源调度技术，为大数据处理提供可伸缩的计算资源和基础设施。

2 消费者偏好测量算法设计

消费者偏好是指消费者对某种商品或者服务的喜好程度，商家可以根据消费者的兴趣、爱好和需要程度对商品或服务进行测量和评价。假设某种商品或者服务可以用不同的属性（如商品价格、销售量、浏览人数和用户评价等）来描述，则消费者对商品或者服务的偏好Z的测量和评价可以由属性参数Xi通过建立数学模型运算得到：Z=a+XiYj，其中a表示消费者偏好的初始值，可以由商家根据需要进行设置；i=1，2，3，4，…，n，表示商品或服务的n个属性；j=1，2，3，4，…，m，表示n个属性的相对重要性即权值，因为在计算时要考虑到各个属性对商品偏好的影响是不一样的；Xi表示商品或服务的各种属性；Yj表示各个属性的权重。计算好消费者偏好以后，可以对各种商品或服务按照消费者偏好进行排序。

3 主要功能设计

云计算下基于大数据的消费者偏好测量和决策系统根据消费者的需求，在注册、购买、浏览、反馈等消费行为时记录、统计和分析他们的个性偏好，并按照这些个性偏好创建消费者偏好信息模型，通过大数据挖掘功能模块对所有商品信息进行商业智能分析，把这些商品信息提供给市场调研者、营销者和品牌厂商，为企业的经营决策提供一定的参考，同时也可以把这些消费者偏好程度高的商品推荐给消费者和网络用户。该系统主要包含以下功能模块：用户信息管理模块、消费者偏好商品管理模块、消费者偏好测量模块。

3.1 用户信息管理模块

用户主要包括工作人员和消费者。该模块主要对用户信息管理：在消费者进行注册时，收集他们的姓名、年龄、性别、住址、邮箱、职业、基本偏好等基本信息，为消费者偏好的测量提供基础；系统管理员可以管理工作人员的信息，包括工作人员的基本信息管理、部门管理和系统的权限管理等等。

3.2 消费者偏好商品管理模块

该模块主要管理商品的类别、编码、新增商品信息以及消费者偏好的商品信息等。该模块主要提供以下功能：

（1）商品类别维护：对商品类别进行添加、删除、查询和处理等等。

（2）提取和记录消费者偏好商品：根据消费者浏览的网站信息，记录和提取商品的浏览次数、购买次数、推荐次数和收藏次数等相关信息属性。也可以收集消费者的评价和建议等。

（3）挖掘和统计消费者偏好商品信息：统计商品的类别、编码、提供商、价格等商品属性。统计消费者的评价和建议等。

3.3 消费者偏好测量模块

消费者偏好测量模块收集消费者的各种行为信息，并根据这些信息和消费者的偏好，进行数据挖掘和智能分析，最终形成满足消费者偏好特征的商品信息。该模块主要提供以下功能：

（1）提取消费者偏好：当消费者在浏览网页和点击商品图片时，记录这些消费者留下的包括浏览、查询和购买等信息，作为消费者的偏好特征，建立消费者的偏好特征库；

（2）消费者偏好测量：根据消费者的各类偏好，测量和统计消费者的偏好，并对商品信息进行综合处理，形成顾客偏好的商品库。

（3）挖掘和预测消费者偏好：对上述统计的消费者偏好和消费者购买的商品信息如商品编号、购买数量、购买时间等信息进行数据挖掘、商业智能分析，发现其中的规律，预测消费者的的当前偏好，为企业的决策提供一定的参考。

3.4 营销决策模块

营销决策模块是数据挖掘和智能分析的中心，本模块负责将前期收集到的大规模数据进行数据挖掘和智能分析，并且将消费者偏好的商品信息、消费者偏好测量数据、消费者对商品的意见、建议等分析结果提供给不同的管理人员查询，管理人员可以根据自己的工作任务查询自己所需的系统分析结果，来制定营销和决策方案，如应对哪些商品进行促销、消费者忠诚度分析结果、销售数据报表分析、销售预测结果等，为企业的经营决策提供一定的参考。

4 结束语

本文针对新一代信息技术的发展，并结合具体的企事业单位和行业的具体应用，将大数据技术引入到电子商务平台的建设中。首先介绍了系统研究的意义、大数据的相关概念，分析了系统的体系结构，最后探讨了该系统的部分实现，希望能对电子商务平台的研究提供一定的参考。当然本文只是提出了基本的设计和功能，具体的实现有待进一步的完善。

【参考文献】

[1]http：//[OL].

[2]http：//[OL].

[3]俞华锋.网络大数据挖掘云服务平台的构建[J].科技视界，2013（18）.

[4]俞华锋.基于效益函数的云计算调度算法的研究[J].科技信息，2011（03）.