大数据时代的数据挖掘技术探讨

摘 要

本文首先对大数据时代的特点进行了介绍，其次对常用的数据挖掘方法进行了阐述，最后提出了展望。

【关键词】大数据 数据挖掘 分类 聚类

大数据（Big Data），也称为海量数据，是随着计算机技术及互联网技术的高速发展而产生的独特数据现象。现代社会正以不可想象的速度产生大量数据，如网络访问，微博微信，视频图片，手机通信，网上购物……等等都在不断产生大量的数据。如何更好的利用和分析产生的数据，从而为人类使用，这是非常重要的科学研究。在大数据时代，更好的利用云计算以及数据挖掘，显得尤为重要。

1 大数据的概念

大数据，是指无法在一定时间内用常规机器和软硬件对其进行感知、获取、管理、处理和服务的数据集合。IBM将大数据的特点总结为三个V，即大量化（Volume）、多样化（Variety）和快速化（Velocity）。

即产生的数据容量大。数据主要来源如：E-mail、搜索引擎的搜索、图片、音频、视频、社交网站、微博微信、各种应用软件和app、电子商务以及电子通信等等。在实际生活中，电子商务的购物平台数量和种类越来越多，社交网站的典型facebook的数据量大的惊人，以PB计量都不够。数据存储的单位不仅仅是MB、GB等，而是使用了表示更大容量的TB、PB、EB、ZB和YB等，每个单位的关系为后者是前者的1024倍，如1PB=1024TB。同时大数据的增长速度是越来越快，如手机相机的像素数随着新款手机的出现而成倍的增长。

1.2 多样化

从数据组织形式的角度将数据分为结构化数据和非结构化数据。结构化数据，具有一定的规律，可以使用二维表结构来表示，并存储在数据库中，如高校的教务管理系统的数据、银行交易产生的数据。而非结构化数据是无法通过预先定义的数据模型表达并存储在数据库中的数据，如声音、视频和图片等等。当前非结构化数据的增长速度远远超过结构化数据。

1.3 快速化

在当前商业竞争激烈的时代，对实时的数据进行分析和处理，挖掘有用的数据信息，并用于商业运作，对于企业和组织来说非常重要。如现在网络购物会依据多数人的购物组合，分析出大部分人在购买一件物品的同时会同时购买其他的物品，从而在购物选择时给予方便，提高网购的效率，提高效益。

随着互联网技术和计算机技术的快速发展，在产生大数据的同时，人们要能够对这些数据加以利用，得到有用的信息，才是最重要的。为了让海量规模的数据能够真正发挥巨大的作用，需要将这些数据转换为有用的信息和知识，即从传统的数据统计向数据挖掘和分析进行转换。比如沃尔玛超市能够从男人购物时买啤酒的同时会购买小孩的纸尿裤这种关联，并在实际物品摆放时将这两种物品放置在一起，方便用户购物。

2 数据挖掘

随着信息技术应用的广泛，大量的数据产生并存储各个领域的信息系统中，数据呈现了爆炸式的增长。数据挖掘在这种“数据爆炸，知识匮乏”的情况下出现的。数据挖掘（Data mining）是一个多学科交叉的研究领域，它融合了数据库技术、机器学习、人工智能、知识工程和统计学等学科领域。数据挖掘在很多领域尤其是电信、银行、交通、保险和零售等商业领域得到广泛的应用。

数据挖掘也称为从数据中发现知识，具体来讲就是从大规模海量数据中抽取人们所感兴趣的非平凡的、隐含的、事先未知的和具有潜在用途的模式或者知识。

3 数据挖掘的主要研究内容

数据挖掘的任务是发现隐藏在数据中的模式，其模式分为两大类：描述型模式和预测型模式。描述型模式是对当前数据中存在的事实做规范描述，刻画当前数据的一般特性。预测型模式则是以时间为主要关键参数，对于时间序列型数据，根据其历史和当前的值去预测其未来的值。常使用的算法有：

3.1 聚类分析

聚类是将数据划分成群组的过程，根据数量本身的自然分布性质，数据变量之间存在的程度不同的相似性（亲疏关系），按照一定的准则将最相似的数据聚集成簇。主要包括划分聚类算法，层次聚类算法和密度聚类算法等。经典算法有K-Means、K-Medoids。

3.2 特性选择

特性选择是指为特定的应用在不失去数据原有价值的基础上选择最小的属性子集，去除不相关和冗余的属性。特性选择用于在建立分类模型前，或者预测模型之前，对原始数据库进行预处理。常用的算法有最小描述长度法。

3.3 特征抽取

特征抽取式数据挖掘技术的常用方法，是一个属性降维的过程，实际为变换属性，经变换了的属性或者特性，是原来属性集的线性合并，出现更小更精的一组属性。常用算法如主成分分析法、因子分析法和非负矩阵因子法等。

3.4 关联规则

关联规则挖掘是数据挖掘领域中研究最为广泛和和活跃的方法之一。最初的研究动机是针对购物篮分析问题提出的，目的是为了解决发现交易数据库中不同商品之间的联系规则。关联规则是指大量数据中项集之间的有趣关联或相关关系。常用的算法有Apriori算法。

3.5 分类和预测

分类是应用已知的一些属性数据去推测一个未知的离散型的属性数据，而这个被推测的属性数据的可取值是预先定义的。要很好的实现推测，需要事先定义一个分类模型。可用于分类的算法有决策树、朴素贝叶斯分类、神经网络、logistic回归和支持向量机等。

4 结论

随着时代的进步，数据也发生变化，具有各种各样的复杂形式。很多研究机构和个人在对结构化数据进行数据挖掘的同时，也展开了对空间数据、多媒体数据、时序数据和序列数据、文本和Web等数据进行数据挖掘和分析。同时大数据的发展促进了云计算的产生，基于云计算的数据挖掘也在迅速崛起。

参考文献

[1]刘军.大数据处理[M].北京：人民邮电出版社，2013（09）.

[2]王元卓等.网络大数据：现状与展望[J].计算机学报，2013（06）.

[3]申彦.大规模数据集高效数据挖掘算法研究[D].江苏大学，2013（06）.

[4]（加）洪松林.数据挖掘技术与工程实践[M].北京：机械工业出版社，2014.

[5]贺瑶等.基于云计算的海量数据挖掘研究[J].计算机技术与发展，2013（02）.

作者简介

许凡（1996-），男，江苏省南京市人。现就读三江学院计算机科学与工程学院计算机软件工程专业本科。

孙勤红（1979-），女，山东省临沂市人。硕士研究生学历。现为三江学院计算机科学与工程学院讲师、指导教师。主要研究领域为数据挖掘。

作者单位

三江学院计算机科学与工程学院 江苏省南京市 210012