基于大数据的数据挖掘技术与应用

摘要：大数据是指无法在可承受的时间内使用常规的软件进行处理的数据集合，是当前研究的热点，具有容量大、多样性、速度快、公开性、复杂性等基本特征。本文在介绍大数据内涵，数据挖掘技术及方法的基础上，通过实例分析探究数据挖掘技术的成功应用，为大数据及数据挖掘技术在不同领域的应用提供一定的参考作用。

关键词：大数据 数据挖掘 互联网

中图分类号：TP311 文献标识码：A 文章编号：1007-9416（2016）04-0000-00

20世纪80年代，计算机和互联网技术的发展使得数据量飞速增长，大数据是互联网技术发展到一定程度后必然出现的一种现象。

1数据挖掘的概念及功能

1.1 数据挖掘概念

数据挖掘是从大量的随机、模糊并带有噪声的数据集合中通过采用一定的算法对信息进行提取，发现规律和有用的价值信息的过程。一个完整的数据库挖掘系统主要包括了：数据库、数据库服务器、知识库、数据库挖掘引擎、模式评估模块、可视化用户界面。

1.2 数据挖掘方法和步骤

数据库挖掘的主要方法有基于遗传算法，粗集方法，决策树方法和神经网络方法。数据挖掘的一般步骤为：分析问题，判定源数据库是否满足数据挖掘的标准；提取、清洗和校验数据，去除数据中的噪声，得到数据完整、格式统一的数据；创建和调试模型，将选用的数据挖掘算法应用到数据中创建模型，通过数据来对模型进行校验和调整，得到满足使用要求的数据模型；维护数据挖掘模型，随着数据量的增加，需要对模型进行调整和维护，一些关键信息的改变有可能严重模型的精度，模型维护是数据挖掘的重要环节，通过模型维护可以保持模型的活力，不断完善模型。

1.3 数据挖掘的主要功能

数据挖掘的功能主要可以分为五大类：自动预测趋势和行为，关联分析，聚类分析，概念描述，偏差检测。采用数据挖掘技术在大型的数据库中寻找预测性信息，市场预测就是数据挖掘技术在自动预测趋势和行为方面的典型应用；关联分析是采用数据挖掘技术研究数据空中自变量和因变量之间的某种规律，找出数据库中存在的隐藏的关联网；聚类分析通过数据挖掘定义具有共同特征的子集，增强人们对于客观事实的理解和认识，数据挖掘技术避免了传统的模式识别和数学分类方法的片面性，是一个更加先进的聚类分析方法；概念描述建立在聚类分析的基础上，提取对象的特征，形成对概念的描述；偏差检测，数据库中的数据很可能存在着异常记录或者是数据噪声，通过偏差检测提出异常数据。

2数据挖掘技术的应用

数据挖掘技术已经应用在了各个行业中，数据量巨大的互联网行业、天文学、气象学、生物技术，以及医疗保健、银行、金融、零售等行业。通过数据挖掘技术将大数据融合在各种社会应用中，数据挖掘的结果参与到政府、企业、个人的决策中，发挥数据挖掘的社会价值，改变人们的生活方式，最大化数据挖掘的积极作用。以互联网行业为例，探究数据挖掘技术在社交网络中的应用。

互联网时代的信息爆炸给互联网用户的使用需求带来了一定的不便，用户如何快速获取有用信息，网站如何快速定位用户需求成为了研究课题。以社交网络为例，社区中的视频、音频、图片、文字等信息各式各样，每个人的兴趣、习惯不同，要得到的内容也不同。采用数据挖掘技术对社交网络数据分析，通过细分用户，挖掘不同用户的需求，开出出符合不同用户个性特征的服务和产品，满足WEB2.0时代对于网络个性化智能化的要求。

数据的采集和预处理是数据挖掘技术实现的前提，数据的预处理内容主要包括数据收集与录入、数据清洗与净化、用户识别、会话识别、文本提取。数据收集与预处理的系统结构图如图1所示。采集的数据一般会存放在数据库中，数据库中的数据具有组织性、结构性、易存取的特点，数据为了达到数据挖掘的要求还需要进行数据清洗、数据集成、数据转换和数据简化。

数据挖掘器的设计目的是对文本数据的内容进行分析与挖掘，提取能够代表和概括整个文本内容的标签。文本挖掘的步骤包括识别中文词，去除停用词，检测短语，检查同义词，创建单词向量。中文中字、句、段之间都有间隔，只有词之间没有，本文采用机械分词法进行识别处理，通过扫面句中字符串，将其余词典词语进行匹配，识别出词汇。去除停用词是将文本中常用的词汇去除，这些词汇在文本数据挖掘中属于无用词汇，去除后能够减小数据处理的复杂程度。检测短语和检测同义词的方法类似，都是通过类来实现，检测短语通过类PhrasesCache实现，检测同义词通过类SynonymousCache实现，通过词汇和记号词的匹配实现短语和同义词的识别。构建单词向量，通过单词向量来表示一个项目，单词向量是通过文本单词及其权重来构成的，通过单词检索可以得到用户想要获得的文档和信息。

3结语

本文主要分析了大数据的含义和特点，数据挖掘的概念和主要功能，着重探究了数据挖掘技术的主要应用，并结合数据挖掘技术在互联网社交网络中的应用进行了实例分析，通过数据挖掘技术更好的匹配用户想要得到的信息。

参考文献

[1]郭春.基于数据挖掘的网络入侵检测关键技术研究[D].北京邮电大学，2014.

[2]樊嘉麒.基于大数据的数据挖掘引擎[D].北京邮电大学，2015.

收稿日期：2016-02-24

作者简介：王妤姝（1977―），女，四川南充人，四川行政学院，讲师，研究方向：图形图像处理、案件开发、课件开发。