数据挖掘论文范文
时间：2023-03-15 18:05:41
数据挖掘论文范文第1篇
数据挖掘技术是近些年发展起来的一门新兴学科，它涉及到数据库和人工智能等多个领域。随着计算机技术的普及数据库产生大量数据，能够从这些大量数据中抽取出有价值信息的技术称之为数据挖掘技术。数据挖掘方法有统计学方法、关联规则挖掘、决策树方法、聚类方法等八种方法，关联规则是其中最常用的研究方法。关联规则算法是1993年由R.Atal,Inipusqi,Sqtm三人提出的Apriori算法，是指从海量数据中挖掘出有价值的能够揭示实体和数据项间某些隐藏的联系的有关知识，其中描述关联规则的两个重要概念分别是Suppor（t支持度）和Confi-dence（可信度）。只有当Support和Confidence两者都较高的关联规则才是有效的、需要进一步进行分析和应用的规则。
二、使用Weka进行关联挖掘
Weka的全名是怀卡托智能分析环境（WaikatoEnviron-mentforKnowledgeAnalysis），是一款免费的、非商业化的、基于JAVA环境下开源的机器学习以及数据挖掘软件[2]。它包含了许多数据挖掘的算法，是目前最完备的数据挖掘软件之一。Weka软件提供了Explorer、Experimenter、Knowledge-Flow、SimpleCLI四种模块[2]。其中Explorer是用来探索数据环境的，Experimenter是对各种实验计划进行数据测试，KnowledgeFlow和Explorer类似，但该模块通过其特殊的接口可以让使用者通过拖动的形式去创建实验方案，Simple-CLI为简单的命令行界面。以下数据挖掘任务主要用Ex-plorer模块来进行。
（一）数据预处理
数据挖掘所需要的所有数据可以由系统排序模块生成并进行下载。这里我们下载近两年的教师科研信息。为了使论文总分、学术著作总分、科研获奖总分、科研立项总分、科研总得分更有利于数据挖掘计算，在这里我们将以上得分分别确定分类属性值。
（二）数据载入
点击Explorer进入后有四种载入数据的方式，这里采用第一种Openfile形式。由于Weka所支持的标准数据格式为ARFF，我们将处理好的xls格式另存为csv，在weka中找到这个文件并重新保存为arff文件格式来实现数据的载入。由于所载入的数据噪声比较多，这里应根据数据挖掘任务对数据表中与本次数据任务不相关的属性进行移除，只将学历、职称、论文等级、学术著作等级、科研获奖等级、科研立项等级、科研总分等级留下。
（三）关联挖掘与结果分析
WeakExplorer界面中提供了数据挖掘多种算法，在这里我们选择“Associate”标签下的Apriori算法。之后将“lowerBoundMinSupprot”（最小支持度）参数值设为0.1，将“upperBoundMinSupprot”（最大支持度）参数值设为1，在“metiricType”的参数值选项中选择lift选项，将“minMetric”参数值设为1.1，将“numRules”（数据集数）参数值设为10，其它选项保存默认值，这样就可以挖掘出支持度在10%到100%之间并且lift值超过1.1且排名前10名的关联规则。其挖掘参数信息和关联挖掘的部分结果。
三、挖掘结果与应用
以上是针对教师基本情况和科研各项总分进行的反复的数据挖掘工作，从挖掘结果中找到最佳模式进行汇总。以下列出了几项作为参考的关联数据挖掘结果。
1、科研立项得分与论文、科研总得分关联度高，即科研立项为A级的论文也一定是A。这与实际也是相符的，因为科研立项得A的教师应该是主持了省级或是部级的立项的同时也参与了其他教师的科研立项，在课题研究的过程中一定会有部级论文或者省级论文进行发表来支撑立项，所以这类教师的论文得分也会很高。针对这样的结果，在今后的科研工作中，科研处要鼓励和帮助教师搞科研，为教师的科研工作提供精神上的支持和物质上的帮助，这样在很大程度上能够带动整个学校科研工作的进展。
2、副教授类的教师科研立项得分很高，而讲师类教师和助教类教师的科研立项得分很低，这样符合实际情况。因为副教授类的教师有一定的教学经验，并且很多副教授类的教师还想晋职称，所以大多数副教授类教师都会申请一些课题。而对于讲师类和助教类的教师，由于教学经验不足很少能进行省级以上的课题研究，因此这两类教师的科研立项分数不高。针对这样的结果，在今后的科研工作中，科研处可以采用一帮一、结对子的形式来帮助年轻教师，这样可以使青年教师参与到老教师的科研课题研究工作中去，在课题研究工程中提高科研能力和教学能力。
3、讲师类教师的论文等级不高。从论文得分能够推断出讲师类教师所的级别不高。为了鼓励这类教师的，在今后的科研量化工作中对省级、部级的论文级别进行细化，并且降低一般论文的得分权重，加大高级论文的得分权重。并且鼓励讲师类教师参加假期培训，提高自身的科研和教学水平。
数据挖掘论文范文第2篇
1.1GPUGPU之所以在某些应用中较CPU能够获得更高的性能，主要是因为GPU和CPU在硬件结构设计上存在很大差异。如图1所示[10]，GPU将大量的晶体管用作ALU计算单元，从而适应密集且可并行的图像渲染计算处理需要。相对GPU而言，CPU却是将更多的晶体管用作复杂的控制单元和缓存等非计算功能，并以此来提高少量执行单元的执行效率。此外，存储带宽是另一个重要问题。存储器到处理器的带宽已经成为许多应用程序的瓶颈。目前GPU的芯片带宽是CPU芯片带宽的6倍左右。
1.2CPU/GPU协同并行计算在诸多适用于高性能计算的体系结构中，采用通用多核CPU与定制加速协处理器相结合的异构体系结构成为构造千万亿次计算机系统的一种可行途径。而在众多异构混合平台中，基于CPU/GPU异构协同的计算平台具有很大的发展潜力。在协同并行计算时，CPU和GPU应各取所长，即CPU承担程序控制，而密集计算交由GPU完成。另外，除管理和调度GPU计算任务外，CPU也应当承担一部分科学计算任务[12]。新型异构混合体系结构对大规模并行算法研究提出了新的挑战，迫切需要深入研究与该体系结构相适应的并行算法。事实上，目前基于GPU加速的数据挖掘算法实现都有CPU参与协同计算，只是讨论的重点多集中在为适应GPU而进行的并行化设计上。实践中，需要找出密集计算部分并将其迁移到GPU中执行，剩余部分仍然由CPU来完成。
1.3CUDA为了加速GPU通用计算的发展，NVIDIA公司在2007年推出统一计算设备架构（ComputeUnifiedDeviceArchitecture，CUDA）[10,13]。CUDA编程模型将CPU作为主机，GPU作为协处理器，两者协同工作，各司其职。CPU负责进行逻辑性强的事务处理和串行计算，GPU则专注于执行高度线程化的并行处理任务。CUDA采用单指令多线程（SIMT）执行模式，而内核函数（kernel）执行GPU上的并行计算任务，是整个程序中一个可以被并行执行的步骤。CUDA计算流程通常包含CPU到GPU数据传递、内核函数执行、GPU到CPU数据传递三个步骤。CUDA不需要借助于图形学API，并采用了比较容易掌握的类C/C++语言进行开发，为开发人员有效利用GPU的强大性能提供了条件。CUDA被广泛应用于石油勘探、天文计算、流体力学模拟、分子动力学仿真、生物计算和图像处理等领域，在很多应用中获得了几倍、几十倍，乃至上百倍的加速比[13]。
1.4并行编程语言和模型过去几十年里，人们相继提出了很多并行编程语言和模型，其中使用最广泛的是为可扩展的集群计算设计的消息传递接口（MessagePassingInterface，MPI）和为共享存储器的多处理器系统设计的OpenMP[14]。OpenMP最初是为CPU执行而设计的。OpenACC[15]是计算机厂商为异构计算系统提出的一种新编程模型，其主要优势是为抽象掉许多并行编程细节提供了编译自动化和运行时系统支持。这使得应用程序在不同厂商的计算机和同一厂商不同时代的产品中保持兼容性。然而，学习OpenACC需要理解所有相关的并行编程细节。在MPI编程模型中，集群中的计算节点之间相互不共享存储器；节点之间的数据共享与交互都通过显式传递消息的方式实现。MPI成功应用于高性能科学计算（HPC）领域。现在很多HPC集群采用的是异构的CPU/GPU节点。在集群层次上，开发人员使用MPI进行编程，但在节点层次上，CUDA是非常高效的编程接口。由于计算节点之间缺乏共享存储器机制，要把应用程序移植到MPI中需要做大量针对性分析和分解工作。包括苹果公司在内的几大公司在2009年共同开发了一套标准编程接口，称之为OpenCL[16]。与CUDA类似，OpenCL编程模型定义了语言扩展和运行时API，使程序员可以在大规模并行处理中进行并行管理和数据传递。与CUDA相比，OpenCL更多地依赖API，而不是语言的扩展，这允许厂商快速调整现有编译器和工具来处理OpenCL程序。OpenCL和CUDA在关键概念和特性上有诸多相似之处，因此CUDA程序员可以很快掌握OpenCL。
1.5MATLAB因提供丰富的库函数库以及诸多其他研究者贡献和共享的函数库，MATLAB是研究人员实现算法的常用平台。通过封装的数据容器（GPUArrays）和函数，MATLAB允许没有底层CUDA编程能力的研究人员可以较容易获得GPU计算能力，因此MATLAB较OpenCL更容易上手。截止准备本文时，2014版本的MATLAB提供了226个内置的GPU版本的库函数。对于有CUDA编程经验的人员，MATLAB允许直接集成CUDA内核进MATLAB应用。本文第四节的实验亦基于MATLAB实现。
1.6JACKET引擎JACKET[17]是一个由AccelerEyes公司开发专门用于以MATLAB为基础的基于GPU的计算引擎，其最新版本已经包含了高层的接口，完全屏蔽了底层硬件的复杂性,并支持所有支持CUDA的GPU计算，降低了进行CUDA开发的门槛。JACKET是MATLAB代码在GPU上运行的插件。JACKET允许标准的MATLAB代码能够在任何支持CUDA的GPU上运行，这使得广大的MATLAB及C/C++用户可以直接使用GPU强大的计算能力进行相关应用领域的快速原型开发。JACKET包含了一套运行于MATLAB环境中优化并行计算的基础函数库。并且支持MATLAB数据类型，可将任何存储于MATLABCPU内存中的变量数据转换为GPU上的数据类型，对以往的MATLAB程序来说，只需更改数据类型，就能迁移到GPU上运行。本文的第四节的实验亦基于JACKET在MATLAB上实现。
2相关工作综述
2.1基于CPU的数据挖掘算法实现数据挖掘算法的研究一直很活跃，许多成熟和经典的算法已经实现在诸多研究或商用软件包/平台，例如开源的Weka[18]和KNIME，以及商用的IBM公司的PASWModeler（即之前SPSS公司的Clementine®）。这些软件默认都是单机版本，可运行在普通PC或高性能服务器上，基于CPU的计算能力。为了适应目前大规模的计算，出现了基于Google公司提出的MapReduce[19]计算框架实现的开源数据挖掘平台Mahout[20]。相关的研究起源于斯坦福大学AndrewNg研究组2006年的经典论著[21]。由于现有的算法需要先找到可“迁移”到MapReduce的方式，因此目前Mahout平台上仅有几个能支持分布式部署的数据挖掘算法，包括用于分类的朴素贝叶斯、随机森林，用于聚类的k-Means，基于项目的协同过滤等。目前Mahout仍然是基于CPU的计算能力。
2.2聚类算法聚类是数据挖掘中用来发现数据分布和隐含模式的一种无监督学习，每个训练元组的类标号是未知的，并且要学习的个数或集合也可能事先不知道。对于给定的数据集，聚类算法按照一定的度量，将数据对象分组为多个簇，使得在同一个簇中的对象之间具有较高的相似度，而不同簇中的对象差别很大[22-23]。k-Means算法是经典的基于距离/划分的聚类分析算法，也是应用得最广泛的算法之一，采用距离作为相似性的评价指标，即认为两个对象距离越近，其相似度就越大。k-Means算法的流程如下[24]：输入：簇的数目k和包含n个对象数据集D。输出：k个簇的集合。方法：1)从D中任意选择k个对象作为初始簇中心。计算每个数据对象到各簇中心的欧氏距离，将每个数据对象分配到最相似的簇中。2)重新计算每个簇中对象的均值。3)循环执行步骤2-3两个步骤，直到各个簇内对象不再变化。上述算法步骤2属于计算密度最大的部分，且具备并行化的条件。计算各个数据对象到各簇中心的欧氏距离和将数据对象分配到最近的簇的时候，数据对象之间都是相互独立的，不需要进行交换，且没有先后顺序，后计算的对象不需要等待前一次计算的结果，仅在完成全部分配过程之后，才需要进行一次数据汇总。所以文献[25]的作者们使用GPU并行优化了一维数据的k-Means算法的步骤2，并使用带缓存机制的常数存储器保存中心点数据，能获得更好的读取效率。文献中还展示了实验结果，在8600GT上取得了14倍左右的加速效果。DBSCAN属于基于密度的聚类算法中最常被引用的，G-DBSCAN是它的一个GPU加速版本[26]。文献[26]的实验显示较DBSCAN可以实现高达112倍的加速。BIRCH是经典的基于层次的聚类算法，文献[27]中基于CUDA实现的GPU加速版本在实验中获得了高达154倍的加速。
2.3分类算法分类是数据挖掘中应用领域极其广泛的重要技术之一，至今已经提出很多算法。分类算法[28]是一种监督学习，通过对已知类别训练集的分析，从中发现分类规则，以此预测新数据的类别。分类算法是将一个未知样本分到几个已存在类的过程，主要包含两个步骤：首先，根据类标号已知的训练数据集，训练并构建一个模型，用于描述预定的数据类集或概念集；其次，使用所获得的模型对新的数据进行分类。近年来，许多研究已经转向实现基于GPU加速分类算法，包括k-NN（k近邻）分类算法[29]，支持向量机分类算法[30]，贝叶斯分类算法[31-32]等。kNN算法[33]是数据挖掘中应用最广泛的一种分类算法，简单易实现。它是一种典型的基于实例的学习法，将待判定的检验元组与所有的训练元组进行比较，挑选与其最相似的k个训练数据，基于相应的标签和一定的选举规则来决定其标签。在ShenshenLiang等人的文章[34]指出，由于kNN算法是一种惰性学习法，对于每个待分类的样本，它都需要计算其与训练样本库中所有样本的距离，然后通过排序，才能得到与待分类样本最相邻的k个邻居。那么当遇到大规模数据并且是高维样本时，kNN算法的时间复杂度和空间复杂度将会很高，造成执行效率低下，无法胜任大数据分析任务。所以加速距离的计算是提高kNN算法的核心问题。因为每个待分类的样本都可以独立地进行kNN分类，前后之间没有计算顺序上的相关性，因此可以采用GPU并行运算方法解决kNN算法串行复杂度高的问题。将计算测试集和训练集中点与点之间的距离和排序一步采用GPU并行化完成，其余如判断类标号一步难以在GPU上高效实现，由CPU完成。文献[34]通过GPU并行化实现kNN算法，让kNN算法时间复杂度大幅度减少，从而说明GPU对kNN算法的加速效果是非常明显的。
2.4关联分析算法关联规则挖掘是数据挖掘中较成熟和重要的研究方法，旨在挖掘事务数据库频繁出现的项集。因此，挖掘关联规则的问题可以归结为挖掘频繁项集[35]。关联分析算法首先找出所有的频繁项集，然后根据最小支持度和最小置信度从频繁项集中产生强关联规则。Apriori算法[36]是最有影响力的挖掘布尔关联规则频繁项目集的经典算法。Apriori算法使用逐层搜索的迭代方法产生频繁项目集，即利用k频繁项集来产生（k+1）项集，是一种基于生成候选项集的关联规则挖掘方法。在刘莹等人的文章[37]中指出，产生候选项和计算支持度，占据Apriori的大部分计算量。产生候选项的任务是连接两个频繁项集，而这个任务在不同线程之间是独立的，所以这个过程适合在GPU上被并行化。通过扫描交易数据库，计算支持度程序记录一个候选项集出现的次数。由于每个候选项集的计数与其他项集的计数相对独立，同样适合于多线程并行。所以文献[37]的作者们在实现Apriori时使用GPU并行化了产生候选项和计算支持度这两个过程，取得了显著的加速效果。文献[38]是目前发现的对于在GPU上实现频繁项集挖掘最全面细致的研究。他们使用的是早期的CUDA平台，采用了bitmap和trie两种数据结构来实现GPU的挖掘算法，并且根据不同数据集和支持度进行了算法性能的对比，均相对于CPU版本的算法获得的一定的加速比。
2.5时序分析由于越来越多的数据都与时间有着密切的关系，时序数据作为数据挖掘研究的重要分支之一，越来越受到人们的重视。其研究的目的主要包括以下两个方面：一是学习待观察过程过去的行为特征；二是预测未来该过程的可能状态或表现。时序数据挖掘主要包含以下几个主要任务：数据预处理，时序数据表示，分割，相似度度量，分类，聚类等。这些任务中很多都涉及到相当大的计算量。由于问题规模的不断扩大，并且对于实时性能的要求，时序数据挖掘的任务就必须要求充分地提高计算速度或者通过优化减少计算量。时序数据的表示有时候会采取特征来表示，这就涉及到了特征提取问题，当特征数量庞大的时候就需要进行维数约简，主要的方法有奇异值分解法，离散小波变换。这些计算都涉及到很大的时间复杂度，为了减少计算的时间消耗，SheetalLahabar等人使用GPU加速SVD的计算，获得了60多倍的加速效果[39]。动态时间弯曲（DynamicTimeWarping，DTW）起初被应用于文本数据匹配和视觉模式识别的研究领域，是一种相似性度量算法。研究表明这种基于非线性弯曲技术的算法可以获得很高的识别、匹配精度。Berndt和Clifford提出了将DTW的概念引入小型时间序列分析领域，在初步的实验中取得了较好的结果[40]。随着问题规模的扩大，对于DTW的计算成为了时序数据挖掘的首先要处理的问题。在DTW中，搜索需要找出与训练数据最近距离的样本，这就需要搜索与每个训练样本的距离，这就可以很好的利用GPU进行并行化处理。DorukSart等人在对DTW加速的处理中，获得了两个数量级的加速效果[41]。而对于分类和聚类任务的加速，上面已经提到，这里不再累赘。
2.6深度学习深度学习虽然隶属机器学习，但鉴于机器学习和数据挖掘领域的紧密联系，深度学习必定将在数据挖掘领域获得越来越多的应用。从2006年Hinton和他的学生Salakhutdinov在《科学》上发表的文章[42]开始，深度学习在学术界持续升温。深度学习的实质是通过构建具有很多隐层的机器学习模型和海量的训练数据，来学习更有用的特征，从而最终提升分类预测的准确性[43]。如何在工程上利用大规模的并行计算平台来实现海量数据训练，是各个机构从事深度学习技术研发首先要解决的问题。传统的大数据平台如Hadoop，由于数据处理延迟太高而不适合需要频繁迭代的深度学习。神经网络一般基于大量相似的神经元，故本质上可以高度并行化训练；通过映射到GPU，可以实现比单纯依赖CPU显著地提升。谷歌搭建的DistBelief是一个采用普通服务器的深度学习并行计算平台，采用异步算法，由很多计算单元独立更新同一个参数服务器的模型参数，实现了随机梯度下降算法的并行化，加快了模型训练速度。百度的多GPU并行计算平台克服了传统SGD训练不能并行的技术难题，神经网络的训练已经可以在海量语料上并行展开。NVIDIA在2014年9月推出了深度学习GPU加速库cuDNN，可以方便地嵌入高层级机器学习框架中使用，例如Caffe[45]。cuDNN支持NVIDIA的全系列GPU，包括低端的TegraK1和高端的TeslaK40，并承诺可向上支持未来的GPU。
2.7小结并行化能带来多少倍的加速取决于算法中可并行化的部分。例如，如果可并行部分的时间占整个应用程序执行时间的20%，那么即使将并行部分加速100倍，总执行时间也只能减少19.8%，整个应用程序的加速只有1.247倍；即使无限加速也只能减少约20%的执行时间，总加速不会超过1.25倍。对于一个数据挖掘（学习和预测）算法进行GPU加速实现，首先要思考是否存在可并行执行的部分，之后再结合GPU的架构特点进行针对性实现优化。然而，由于数据挖掘算法普遍是数据密集型计算，而GPU片内存储容量有限，如何降低与内存交换数据集是一个要解决的关键问题。通过以上相关工作的分析，可以发现数据挖掘算法在GPU上的加速具有数据独立，可并行化共同特征。本文提出数据挖掘算法在GPU上加速实现的一种解决思路：在大数据下，分析算法的性能瓶颈，从而确定算法中耗时大，时间复杂度高的部分，将此部分在GPU上执行，不耗时部分在CPU上串行执行，以达到加速效果。为了更充分利用GPU的并行计算的体系结构，可深入分析耗时大的部分，将具有数据独立，可并行化的部分在GPU上并行执行，达到更进一步的加速效果。
3实践和分析：协同过滤推荐
当前主要的协同过滤推荐算法有两类：基于用户(r-based)和基于项目(item-based)的协同过滤推荐算法。基于项目的协同过滤推荐算法[46-50]认为,项目间的评分具有相似性,可以通过用户对目标项目的若干相似项目的评分来估计该项目的分值。基于用户的协同过滤推荐算法认为,如果用户对一些项目的评分比较相似,那么他们对其他项目的评分也比较相似。本文根据以上总结的算法特征围绕两种经典协同过滤算法的实现，通过大规模数据的实验来验证GPU相对于传统CPU的优势。
3.1算法实现
3.1.1基于CPU实现协同过滤推荐的两类经典算法本文基于MATLAB实现CPU版本的基于用户和基于项目的两种经典协同过滤推荐算法。实现的步骤：1)数据表示：收集用户的评分数据，并进行数据清理、转换，最终形成一个mn的用户-项目评分矩阵R，m和n分别代表矩阵中的用户数和项目数，矩阵中的元素代表用户对项目的评分值。2)最近邻居搜索：主要完成对目标用户/项目的最近邻居的查找。通过计算目标用户/项目与其他用户/项目之间的相似度，算出与目标用户/项目最相似的最近邻居集。该过程分两步完成：首先采用协同过滤推荐算法中运用较多的度量方法“Pearson相关系数”计算用户/项目之间的相似度得到相应的相似度矩阵，其次是采用最近邻方法找到目标用户/项目的最近的K个邻居，这些邻居是由与目标相似度最高的一些用户/项目组成的。3)产生推荐：根据之前计算好的用户/项目之间的相似度，并使用相应的预测评分函数对用户未打分的项目进行预测，得到预测评分矩阵，然后选择预测评分最高的Top-n项推荐给目标用户。4)性能评估：本研究拟采用平均绝对误差MAE作为评价推荐系统预测质量的评价标准。MAE可以直观地对预测质量进行度量，是最常用的一种方法。MAE通过计算预测的用户评分与实际评分之间的偏差度量预测的准确性；MAE越小，预测质量越高。
3.1.2基于GPU实现协同过滤推荐的两类经典算法在大数据下，协同过滤算法中主要的时间消耗在于相似度计算模块，占了整个算法的大部分时间，且每个用户/项目之间的相似度可以被独立计算,不依靠其他用户/项目，具备并行化的条件，所以在以下的实验中，将相似度计算模块在GPU上执行，其他部分在CPU上执行，进而提高整个算法的执行效率。使用MATLAB编程技术和JACKET编程技术在GPU上分别实现基于用户和基于项目的两种经典协同过滤推荐算法。实现步骤如下：1)数据表示：收集用户的评分数据，并进行数据清理、转换，最终形成用户-项目评分矩阵。2)将收集的数据从CPU传输至GPU。3)对传输到GPU上的数据执行GPU操作，调用相关函数库，采用公式（1）和（2）分别计算并获取用户/项目间的相似度矩阵。4)将GPU计算结果返回CPU中以便后续操作。5)采用公式（3）和（4）在CPU上分别获取两种经典算法的评分预测矩阵。6)选择预测评分最高的Top-n项推荐给目标用户。7)采用公式（5）求两种经典算法的平均绝对误差MAE。
3.2实验结果与分析
3.2.1实验环境本实验所用的CPU是IntelXeonE52687W，核心数量是八核，主频率是3.1GHz，内存大小是32GB；所使用的GPU是NVIDIAQuadroK4000，显存容量是3GB,显存带宽是134GB/s核心频率是811MHz，流处理器数是768个。使用Windows764位操作系统，编程环境使用最新的CUDA。
3.2.2实验数据本实验使用目前比较常用的MovieLens[56]数据集作为测试数据，该数据集从MovieLens网站采集而来，由美国Minnesota大学的GroupLens研究小组提供，数据集1包含943个用户对1682部电影约10万的评分数据，数据集2包含6040个用户对3952部电影约100万的评分数据，其中每个用户至少对20部电影进行了评分。评分的范围是1～5，1表示“很差”，5表示“很好”。实验需要将每个数据集划分为一个训练集和一个测试集，每次随机选出其中80％的评分数据用作训练集，另20％用作测试集。
3.2.3实验结果与分析本文采用加速比来比较算法的CPU实现和GPU实现的运行效率。计算加速比的方法如式（6）所示：在公式中，TimeCPU表示算法在CPU上的平均运行时间，TimeGPU表示算法在GPU上的平均运行时间。所有实验中均取最近邻居数为20，且各实验结果均为5次独立测试的平均值。图2是关于两个算法核心步骤的加速效果，而图3则展示了算法整体加速效果。可以看出，（1）整体加速效果取决于核心步骤的加速效果，（2）GPU版本的算法在性能上较CPU版本有较显著地优势，且面对大数据集的加速效果更为明显。例如在基于100万条数据集时，Item-based的整体算法的加速比达到了14倍左右，而面对10万条数据集时，加速比不到8倍。这可以解释为GPU的多核优势在面对大数据集时被更为充分地得到释放；（3）算法对r-based和Item-based两种算法的加速比相近。图4是关于算法预测效果的评估，可以看出基于GPU加速的两类经典协同过滤算法与基于CPU的两类经典协同过滤算法在预测效果上相近。如果结合图2和图3，可获得结论-能够基于GPU获得得可观的计算加速而不牺牲应用效果。
3.3小结
本文通过使用JACKET加快开发过程。目前国内还缺少对JACKET的了解和应用，JACKET的出现为科学领域进行大规模计算仿真提供了新的研究方法，并使得研究人员可以在熟悉的MATLAB平台上实现相关算法。
4结束语
本文既对基于GPU加速经典数据挖掘的研究进行了分类回顾和小结，也实践了基于GPU加速协同过滤计算，通过和基于CPU的版本对比，确实可以实现可观的效率提升。这对我们深入研究将GPU应用到大数据处理场景可以积累宝贵的一手经验，并在已知的尚未基于GPU加速的数据挖掘算法有的放矢。
数据挖掘论文范文第3篇
关联规则最初是针对购物篮分析问题提出的，目的是发现事务数据库（TransactionDatabase）中不同商品之间的联系。关联规则是形如A=》B的蕴涵式，其中A称为该关联规则的前项，B称为该关联规则的后项。事务，是一个明确定义的商业行为，如顾客在商店购物就是一次典型的事务。由用户设定的支持度和置信度的门槛值，当sup－port(A=>B)、confidence(A=>B)分别大于等于各自的门槛值时，认为A=>B是有趣的，此两值称为最小支持度(minsupport)和最小置信度(minconfidence)。同时满足minsupport和minconfidence的这种关联规则就叫做强的关联规则。设任务相关的数据D是数据库事物的集合，当项集的支持计数≥D中事务总数|D|与minsup－port的乘积时，就叫做频繁项集，当项集的支持计数可能≥D中事务总数|D|与minsupport的乘积时，就叫做侯选项集。所有侯选项集K-项集的集合记作Ck，所有频繁项集K-项集的集合常记作Lk，很明显Lk奂Ck。如果仅依赖最小支持度和最小置信度这两个参数的限制，所挖掘出的强关联规则不一定是用户感兴趣的，因此，用户可以根据实际应用的需求，再结合自身的领域知识，通过选择与实际分析任务有关的数据集，设置不同的参数，限定前项和后项的个数，选择前项和后项包含的属性等操作，对关联规则的挖掘进行约束。
2模糊集理论的引入
在讨论实际问题的时候，需要判定模糊概念涵义，如判断某个数据在模糊集的定义和归属，这时就需要普通集合与模糊集合可依某种法则相互转换。模糊理论中的截集是模糊集合和普通集合之间相互转换的一座桥梁。
3基于事务间数值型关联规则的数据挖掘算法
假设有一就业数据库，先通过数据整理，将原始数据记录值区间［0，10］偏置10个单位。由此就得到了经过偏置后的数据库记录。再依滑动窗口方法，设maxspan=1(该值可以依实际情况的需要来定),就可将偏置后的数据库数据整理转化为扩展事务数据库。再把扩展事务数据库记录通过隶属度函数转化为对应的隶属度。
4结语
事务间具有相互关联的项天生就比事务内的项之间的关联的支持度来得低，这是一个很应值得注意的现象。概括出来就是事务间项具有的低支持度性质，由此衍生出来的就是对提高低支持度项集间关联规则挖掘效率的讨论及其应用。通过基于相似度度量的方法来转换思路不失为一种好的方法，简单地说就是在保证失真能被有效控制的状态下通过科学有效的方法使我们能够最大程度地逼近来接近真值。如何把这一思路运用到事务间关联规则的挖掘上特别是能行之有效地对两个或两个以上的项进行挖掘，这正是本文所想认真讨论的问题。，本文的模糊关联规则算法对数据量较小或面对中小型数据量进行处理（或者直接处理）也是可以的，但面对大数据量或超大数据量却是存在一些问题的。原始数据库转化为扩展数据库光这个计算工作量开销的时间复杂度都是值得深思的；缺少信息压缩存储技术以便尽量降低算法的空间复杂度，如采用Hash技术等。
数据挖掘论文范文第4篇
系统采用C/S+B/S结构,主要由前端数据采集设备(位移及载荷传感器)、站点客户端、数据库及Web服务器等组成。各部分采取分布式协同处理运行方式,站点客户端利用前端采集的数据独立分析计算,分析完成后上传至数据库服务器,并通过网页服务器对外。
2系统数据
2.1系统数据结构系统采用MicrosoftSQLServer,创建了WPGUI与WPCHQ数据库来管理3万余口油井数据采集、处理及存储等,建设数据表65张(见主要数据表的关系图2),主要包括生产井的完井数据、静态数据、动态数据、采集数据、原油物性数据、机杆管泵等技术数据,同时系统保存了油井近两年功图电参数据(每天每口井到少100张),以及根据这些数据分析计算出来的结果和汇总生成的数据。
3数据挖掘应用
数据挖掘是从大量数据集中发现可行信息的过程,是统计分析技术、数据库技术及人工智能技术的综合。面对油井工况实时分析及功图计产系统大量的油井生产完备数据,长庆油田充分利用数据挖掘技术,对数据进一步清理、集成、转换、挖掘应用,深化功图系统数据分析,先后开展了动液面计算,系统效率在线实时监测、区块动态分析研究等,并应用于油田现场,取得了较好的效果,既节约了生产成本,又方便了现场管理应用,进一步提升系统在长庆油田数字化前端的核心地位。
3.1区块动态分析
油井生产中,每天都会获得大量的实时生产数据,目前系统主要对单井完成工况分析及产液量计算,如何通过分析和处理这些数据,及时全面了解油田区块产油量、压力、含水等变化规律是数据挖掘应用又一问题。长庆油田开展了基于油井工况诊断及功图计产系统的区块动态分析,从空间和历史角度,对油井分类、分级、分层次进行统计分析,挖掘生产数据里有用的信息,提炼区块共性问题,并按照设计的模板(区块指标统计图表、供液能力分析、产量分析、故障井分析等)每月30日自动生成全面及时的区块油井生产动态分析,从而指导区块生产管理,实现油田的精细管理,为油田开发决策提供依据。
4结束语
随着长庆油田数字化建设的不断深入,各种生产、研究、管理等数据库不断增加,如何深化数据应用,准确迅速从数据库是提取有用信息,已成为是数字油田生产管理的迫切需求。在基于油井工况实时分析及功图计产系统数据挖掘应用中我们积累了不少经验,拓展了系统功能,提升系统在长庆油田数字化前端的核心地位。在今后应用中,油田数据挖掘应用注意几个问题:
(1)数据是数字油田的血液,为了保证数据挖掘效率,在数据库建设中要规范数据存储格式,保证数据源及数据类型的统一,同时加强数据审核,注重数据入库的质量;
(2)数据挖掘中尽可能使用可视化工具,一幅图胜过千句话,数据挖掘可视化主要包括数据可视化、挖掘结果可视化、挖掘过程可视化等;
(3)掌握数据挖掘系统及算法,做到事半功倍,少走弯路,同时加强与石油专业知识相结合,探寻适合油田开发领域数据挖掘方法,实现数字油田“让数字说话,听数据指挥”智能化管理。
数据挖掘论文范文第5篇
目前的垃圾短信过滤的方法主要有黑名单和白名单监控技术，但是短信中心对黑白名单处理数量有上限要求；基于关键字的过滤技术，但是这种技术不能灵活识别和更新关键字；基于内容的过滤技术，可分为基于规则的过滤和基于概率统计的过滤；基于数据挖掘方法的垃圾短信用户识别，目前基本上都使用IBMSPSSModeler平台的决策树和逻辑回归经典算法识别垃圾短信用户，由于选取的建模数据不全面以及算法本身各自存在不足使得建模效果受到影响。为建立白名单和科学封堵模型相结合的垃圾短信治理模式，实现精细化、行为级、高效性的垃圾短信治理，本方案提出了基于客户综合特征分析的垃圾短信治理技术方案：基于随机森林分类的垃圾短信用户预测模型。通过客户入网属性，客户通信行为信息、客户账单信息等多个维度构建模型，对垃圾短信号码进行识别和治理。相比传统基于短信内容识别、发送量控制的事中控制，本系统能够进行垃圾短信发送行为预测，配合垃圾短信拦截系统将垃圾短信在未形成大规模发送前拦截。实验结果证明该模型能够有效的识别垃圾短信号码，对监控系统拦截垃圾短信起到很好的辅助作用。
2大数据挖掘的原理与优势
大数据是指数据量很大（一般是TB到PB数量级）的巨量资料，无法通过主流软件工具，在合理时间内完成数据处理并获取有价值的信息。数据大多以非结构化或者半结构化数据为主，大数据具有4V特点：Volume、Velocity、Variety、Veracity。大数据处理的一般思路是数据压缩、数据抽样、数据挖掘等。数据挖掘是一种新的信息处理技术，其主要特点是对商业数据库中的大量业务数据进行抽取、转换、分析和其它模型化处理，从中提取辅助商业决策的关键性数据。利用数据挖掘进行数据分析常用的方法主要有分类、回归分析、聚类、关联规则、推荐系统等，它们分别从不同的角度对数据进行挖掘。大数据挖据的数据源和处理方式对比。
3数据挖据流程和模型选取
3.1数据挖掘的主要流程
数据挖掘主要包括以下6大步骤。
（1）商业理解：确定挖掘目标以及产生一个项目计划。
（2）数据理解：知晓有哪些数据，以及数据的特征是什么。
（3）数据准备：对数据作出转换、清洗、选择、合并等工作。
（4）建模：根据挖掘目标确定适合的模型，建模并对模型进行评估。
（5）模型评估：评估建模效果，对效果较差的结果我们需要分析原因。
（6）结果部署：用所建挖掘模型去解决实际问题，它还包括了监督、维持、产生最终报表、重新评估模型等过程。
3.2垃圾短信治理指标体系设计
垃圾短信用户识别建模数据主要从信令监测系统、经营分析系统获取，所获取的用户行为数据主要包括用户通信行为信息、用户基础业务属性、用户通信业务信息等7个维度。其中，用户通信行为信息包括活动轨迹、终端IMEI和数据业务访问等信息。
3.3模型的选取
对白名单用户的识别可以利用社交网络模型与业务规则相结合的方法。利用社交网络进行白名单用户识别，重点考虑用户之间发生的通信行为、增值业务交互行为等群体行为，通过对用户之间关系的辨识。本文建模的重点着眼于垃圾短信用户的识别及其治理。
3.3.1现有垃圾短信识别模型的优势与不足
识别垃圾短信用户是数据挖掘中的分类问题，数据挖掘中常用的分类算法主要有逻辑回归、决策树、贝叶斯网络等算法。其中，神经网络因本身算法的复杂性，造成模型结果解释性较差，模型落地较困难而很少在实际项目中使用。目前识别垃圾短信的数据挖掘模型基本上为逻辑回归模型和决策树模型。决策树模型主要具有以下优势：模型非常直观，容易让人理解和应用；决策树搭建和应用的速度比较快；决策树对于数据分布没有严格要求；受缺失值和极端值对模型的影响很小。但是，使用决策树作为垃圾短信用户识别模型主要存在以下不足。
（1）决策树最大缺点是其原理中的贪心算法。贪心算法总是做出在当前看来最好的选择，却不从整体上思考最优的划分，因此，它所做的选择只能是某种意义上的局部最优选择。
（2）决策树缺乏像回归或者聚类那样丰富多样的检测指标和评价方法。
（3）容易出现过拟合。当某些自变量的类别数量比较多，或者自变量是区间型时，决策树过拟合的危险性会增加。
（4）决策树算法对区间型自变量进行分箱操作时，无论是否考虑了顺序因素，都有可能因分箱丧失某些重要信息。尤其是当分箱前的区间变量与目标变量有明显的线性关系时，这种分箱操作造成的信息损失更为明显。
相比于数据挖掘建模常用的其它算法如决策树、神经网络、支持向量机等，逻辑回归技术是最成熟，得到广泛应用，逻辑回归模型主要存在以下不足。
（1）变量之间的多重共线性会对模型造成影响。
（2）应删除异常值，否则它会给模型带来很大干扰。
（3）逻辑回归模型本身不能处理缺失值，所以应用逻辑回归算法时，要注意针对缺失值进行适当处理，或者赋值，或者替换，或者删除。
3.3.2垃圾短信识别预测模型选取
鉴于目前研究者对垃圾短信识别使用的决策树和逻辑回归模型存在较多不足之处，本文从模型算法上对其进行改进，力求得到更加科学合理的垃圾短信识别预测模型。本文使用的数据挖掘模型为随机森林模型。
3.3.2.1模型简介
随机森林（RandomForest）算法是一种专门为决策树分类器设计的优化方法。它综合了多棵决策树模型的预测结果，其中的每棵树都是基于随机样本的一个独立集合的值产生的。随机森林和使用决策树作为基本分类器的Bagging有些类似。以决策树为基本模型的Bagging在每次自助法（Boostrap）放回抽样之后，产生一棵决策树，抽多少样本就生成多少棵树，在生成这些树的时候没有进行更多的干预。而随机森林也是进行许多次自助法放回抽样，所得到的样本数目及由此建立的决策树数量要大大多于Bagging的样本数目。随机森林与Bagging的关键区别在于，在生成每棵树的时候，每个节点变量都仅仅在随机选出的少数变量中产生。因此，不但样本是随机的，就连每个节点变量产生都有相当大的随机性。随机森林让每棵树尽可能生长，而不进行修剪。随机森林算法主要包括决策树的生长和投票过程。随机森林中单棵树的生长可概括为以下几步。
（1）使用Bagging方法形成个别的训练集:假设原始训练集中的样本数为N，从中有放回地随机选取N个样本形成一个新的训练集，以此生成一棵分类树。
（2）随机选择特征(指评估指标，以下同)对分类树的节点进行分裂:假设共有M个特征，指定一个正整数m<M，在每个内部节点，从M个特征中随机抽取m个特征作为候选特征，选择这m个特征上最好的分裂方式对节点进行分裂。在整个森林的生长过程中，m的值保持不变。
（3）每棵树任其生长，不进行剪枝。Bagging方法形成新的训练集和随机选择特征进行分裂，使得随机森林能较好地容忍噪声，并且能降低单棵树之间的相关性；单棵树不剪枝能得到低偏差的分类树，同时保证了分类树的分类效能(Strength)，分类树的分类效能是指分类树对新的测试数据的分类准确率。
3.3.2.2随机森林分类预测模型的主要优势
（1）随机森林的预测精度高，它可以产生高准确度的分类器。
（2）可以处理相当多的输入变量。随机森林不惧怕很大的维数，即使有数千个变量，也不必删除，它也会给出分类中各个变量的重要性。
（3）当在构建随机森林模型时候，对GenerlizationError估计是无偏估计。
（4）随机森林在设计上具有很快训练速度，训练出结果模型不必花费大量时间。
（5）对缺失值和极端值具有很强容忍能力，即使有较多缺失数据仍可以维持准确度。
（6）当遇到分类数据不平衡时，可以较好地平衡误差。
（7）随机森林算法并不会导致过拟合。定义组合分类器的总体分类效能s为：s=Ex,ymg(x,y)。若用ρ表示每棵分类树之间相关度的均值，则随机森林的泛化误差PE的上界可由下式给出:PE*≤ρ(1-s2)/s2。当随机森林有相当多的分类树时，随机森林的泛化误差几乎处处收敛于一个有限值。因此，随着森林中分类树数目的增长，随机森林算法并不会导致过拟合。
（8）随机森林在模型训练过程中，能够对特征之间的相互影响行为做出检测。随机森林算法具有以上优势，在垃圾短信治理预测中具有应用的优势，本文采用随机森林模型作为垃圾短信用户的分类预测。综上所述，随机森林模型主要在不会出现过拟合、训练精度高、能处理大量输入变量并输出变量重要性3个方面优越于决策树模型；在容忍缺失值和极端值方面明显优越于逻辑回归模型。随机森林模型在算法设计上有效弥补了决策树和逻辑回归模型的不足之处，在垃圾短信识别分类预测中具有较好的应用价值。
3.3.2.3垃圾短信数据挖掘模型构建
通过前述的商业理解确定了垃圾短信识别业务需求，并进行数据理解构建了垃圾短信识别指标体系，再抽取需要的数据，并进行数据清洗、转换、衍生变量计算等步骤，具备了建模的目标数据，接下来的任务就是通过随机森林模型构建垃圾短信分类预测模型，对垃圾短信用户进行识别。
3.4用户分类治理策略
通过随机森林模型的识别，根据用户是垃圾短信发送者的可能性评估，制定不同的治理策略，如图3所示。实际的执行过程中，需要根据清单的范围大小，适当的调整预测概率门限，以保证策略执行的效果，同时避免过多的正常用户的业务感知受到影响。
4垃圾短信治理平台的实现
4.1系统架构
垃圾短信治理平台的数据来源较多，需要处理的数据量也非常大，因此，数据采集和数据处理过程是相互影响的过程。垃圾短信治理平台的系统架构图如图4所示。
（1）数据采集层：是垃圾短信治理平台与多个数据库来源的安全访问接口，通过数据采集层实现数据挖掘和分析所需要的基础信息：用户属性信息、用户卡号信息、用户业务记录、用户的位置信息和消费记录。
（2）数据处理层：需要根据数据挖掘的需求，将采集的基础数据转换为业务服务层可以使用的数据，通过对基础数据进行整形、清洗和预处理，为后续的数据挖掘做好数据准备。
（3）业务服务层：主要包括应用和安全服务两个部分，应用包括数据查询统计服务、用户查询服务和GIS应用服务，同时，补充报表服务和文件管理服务以方便日常的工作。通过外部接口服务，可以部署相应的权限管理、数据管理维护以及注册服务等，降低系统的风险，保证信息的安全传递。
（4）功能模块：主要是根据客户需求，定制开发的功能单元，功能模块的个数以实际部署的情况为准。以图4垃圾短信治理平台的系统架构图某省公司的定制模块为例，主要包括指标查询模块、垃圾短信治理模块、用户综合信息分析模块和市场支撑应用模块4个部分。
4.2效果展现
针对不同的部门或用户，垃圾短信治理平台展现不同的数据，主要包括以下的结果展现方式。
（1）治理效果掌控：通过指标查询系统，及时掌握垃圾短信的治理效果，发现工作的成果和风险，达到及时发现问题并快速响应的目的。
（2）治理效率提升：通过垃圾短信治理模块，快速准确识别垃圾短信源头并定位区域，下发至地市公司快速处理，减小垃圾短信带来的不良社会影响。
（3）实现预先管控：通过用户综合信息分析模块，可以对潜在的具有垃圾短信源头特征的风险终端进行监控、通过外呼、资费信息等情况，提前发现和治理潜在垃圾短信源。
（4）渠道规范化：市场部门通过渠道信息和卡号信息，对一些垃圾短信来源集中的渠道的发卡进行监督和严格控制，从源头上减少垃圾短信的源头。
（5）分层的权限管理、数据来源分级管理和分用户权限管理可以有效保障数据来源的安全，不同的用户，划分不同的展现方式。
数据挖掘论文范文第6篇
1.1数据挖掘相关技术数据挖掘相关技术介绍如下[6]：(1)决策树:在表示决策集合或分类时采用树形结构，在这一过程中发现规律并产生规则，找到数据库中有着最大信息量的字段，从而可建立起决策树的人工智能及识别技术。(2)聚类分析:聚类分析指将物理或抽象对象的集合分组为由类似的对象组成的多个类的分析过程。它是一种重要的人类行为。(3)关联分析:关联分析又称关联挖掘，就是在交易数据、关系数据或其他信息载体中，查找存在于项目集合或对象集合之间的频繁模式、因果、关联或相关性结构。也可以说，关联分析是用来发现有关交易的数据库中不同商品（项）之间的联系。(4)神经网络方法:顾名思义，类似于生物的神经结构，由大量简单的神经元，通过非常丰富和完善的连接组成自适应的非线性动态系统，具有自适应、自组织、自学习、联想记忆、分布存储、大规模并行处理等功能。粗集方法:也就是在数据库里把行为对象列视为元素，将不同对象在某个(或多个)属性上取值相同定义为等价关系R。其等价类为满足R的对象组成的集合[5]。
1.2IBMSPSSModelerIBMSPSSModeler是一个数据挖掘工作台，用于帮助用户快速直观地构建预测模型，而无需进行编程。其精密的数据挖掘技术使用户能够对结果进行建模，了解哪些因素会对结果产生影响。它还能可提供数据挖掘相关的数据提取、转换、分析建模、评估、部署等全过程的功能[3]。通常，SPSSModeler将数据以一条条记录的形式读入，然后通过对数据进行一系列操作，最后将其发送至某个地方（可以是模型，或某种格式的数据输出）[3]。使用SPSSModeler处理数据的三个步骤：（1）将数据读入SPSSModeler；（2）通过一系列操纵运行数据；（3）将数据发送到目标位置。
2客户流失预测分析
2.1数据预处理数据预处理[6]，将需要的客户投保数据按照业务预测分析的要求，将数据抽取到中间数据中，同时对数据清洗和转换，满足业务预测分析要求。每日凌晨调用存储过程将核心业务系统数据提取到中间数据库，寿险业务数据与其他数据一样，存在不安全和不一致时，数据清洗与转换可以帮助提升数据质量，进而提升数据挖掘进程的有效性和准确性。数据清洗主要包括：遗漏数据清洗，错误数据处理，垃圾数据处理[1]。
2.2数据选取数据预处理后，可以从中得到投保人的投保信息，包括投保人姓名，投保年龄（有效保单为当前年龄，无效保单为退保年龄），保费，投保年期，保单状态等。数据如图1所示。
2.3客户流失预测模型建立寿险业务按渠道来分可分为个人保险、团体保险、银行保险、网销保险、经代保险五类。由于团体保险在寿险公司发展比较缓慢，团险业务基本属于停滞阶段。结合寿险公司的营销特点，选定个人保单作为分析的对象，通过IBMSPSSModeler预测模型工具[3]，使用决策树预测模型对客户流失进行预测分析。
2.4结果分析通过使用IBMSPSSModeler决策类预测模型分析某寿险公司2013年个人客户承保情况来看有以下规则:（1）投保年数在1年以内，首期保费在0～2000元或大于9997.130保费的客户比较容易流失。（2）保单终止保单中，女性客户较男性客户容易流失。（3）投保年数在2年以上,湖北及河北分支机构客户流失率比较容易流失。（4）分红寿险相对传统寿险，健康寿险的客户比较容易流失[1]。
3总结
本文在IBMSPSSModeler软件应用的基础上，根据现有的寿险业务数据信息，利用数据挖掘的决策树预测模型，对寿险进行流失规则的分析，比较全面的了解了寿险公司客户流失的原因，并建立客户流失的决策树预测模型，便于公司客户服务部对现有客户采取合适的措施防止客户流失，从而达到保留现有客户的目的。
数据挖掘论文范文第7篇
近年来，我国的部队管理体系已经逐渐向着自动化方向发展，部队中各个部门都建立了一定的管理体系，也逐渐脱离了人工管理模式，实现信息现代化模式，很大程度提高了部队工作的效率，但是由于外界因素与经济发展的多样化以及人们的思维模式也在不断改变，从而出现了一些新问题，使得部队管理体系存在着一定问题：第一、关联性小、系统比较独立。现阶段，部队采购食品系统的作用以及目的比较简单，思维面也比较窄，也就是说按照清单进行食品采购时，不能充分考虑到采购人员的健康、效率等问题，不能达到最优化采购方式，因此就变得比较独立；第二，数据功能简单，可靠性不高。现阶段，部队食品采购数据只是对采购的种类与过程进行简单记录，时间一久，就会被损坏或者丢失；第三，数据分散不集中。现阶段与部队人员健康、起居饮食、训练相关的数据分散在不同系统中，使得数据变得不一致、不完整，仅仅只能进行简单查询、汇总、统计等工作，不能对数据进行多角度分析、关联等，不能为采购食品提供很好的政策支持。针对部队采购存在的问题，可以利用数据仓库以及数据挖掘技术建立多为数据库，利用数据挖掘进技术对食品采购数据进行挖掘。依据现阶段部队的实际发展情况，建立一套新数据库的成本代价比较高，因此，选用了目前社会上通用方法，对已经存在的数据进行一定改革与拓展，合理优化系统数据，成为新的数据库。并且选取对数据挖掘影响比较大的系统性分析，包括训练系统，食品采购系统、人员管理系统以及医疗卫生系统。针对食品采购采购系统建立数据模型。
二、在部队食品采购系统中的应用以及其价值评价
在部队食品采购系统实际应用工程中，其实可以运用MicrosoftSQLServerAnalysisServices来对数据进行分析，并且在数据挖掘过程中对多维数据进行描述与查找起到一定作用。因为多维数据比较复杂，增长的也比较快，因此，进行手动查找是很困难的，数据挖掘技术提供的计算模式可以很好的对数据进行分析与查找。在建设部队食品采购仓库数据的时候，数据内容主要包括了人员的健康、兵员的饮食以及训练等，进行数据挖掘主要包括以下内容：第一，把每个主题信息数据进行收集、汇总、分析等，对人员情况、健康、饮食、训练等进行合理分析；第二，多维分析数据信息。根据部队的实际情况，利用数据挖掘技术对部队人员健康、饮食、训练等数据信息进行多维分析，其中包含上钻、切片、下钻等；第三，挖掘健康与饮食之间的内在关系。根据数据库中许多面向主题的历史数据，采用数据挖掘技术进行分析与演算得到部队人员的训练和健康情况与部队饮食之间内在关系，以便于为部队食品采购提供合理的、有效的保障，从而提高部队整体人员的健康水平、身体素质以及训练质量，对提高我国部队战斗力有着深远的意义。
三、结束语
总而言之，对数据仓库及数据挖掘技术在部队食品采购系统中的应用进行分析与理解，合理的建立部队食品采集数据库，对数据仓库以及数据挖掘技术进行一定的分析，得到多维数据，发现饮食和人员健康以及训练情况的关系，为部队发展提供科学依据，对提高我国部队整体水平起到很大作用
数据挖掘论文范文第8篇
[论文摘要]在电子商务中，数据挖掘有助于发现业务发展的趋势，帮助企业做出正确的决策。本文对目前电子商务中的Web数据挖掘方法进行了总结，并对电子商务中的Web数据对象进行了分类，对网络数据挖掘的作用进行了分析，为今后电子商务中实用Web数据挖掘软件的开发与应用提供了参考。
一、电子商务和数据挖掘简介
电子商务是指个人或企业通过Internet网络，采用数字化电子方式进行商务数据交换和开展商务业务活动。目前国内已有网上商情广告、电子票据交换、网上订购，网上银行、网上支付结算等多种类型的电子商务形式。电子商务正以其成本低廉、方便、快捷、安全、可靠、不受时间和空间的限制等突出优点而逐步在全球流行。
数据挖掘(DataMining)是伴随着数据仓库技术的发展而逐步完善起来的。数据挖掘主要是为了帮助商业用户处理大量存在的数据，发现其后隐含的规律性，同时将其模型化，来完成辅助决策的作用。它要求从大量的、不完全的、有噪声的、模糊的和随机的数据中，提取人们事先不知道的但又是潜在有用的信息和知识。数据挖掘的过程有时也叫知识发现的过程。
而电子商务中的数据挖掘即Web挖掘，是利用数据挖掘技术从www的资源（即Web文档）和行为（即We服务）中自动发现并提取感兴趣的、有用的模式和隐含的信息，它是一项综合技术涉及到Internet技术学、人工智能、计算机语言、信息学、统计学等多个领域。
二、Web数据挖掘对象的分类
Web数据有3种类型：HTML标记的Web文档数据，Web文档内连接的结构数据和用户访问数据。按照对应的数据类型，Web挖掘可以分为3类：
1.Web内容挖掘:就是从Web文档或其描述中筛选知识的过程。
2.Web结构挖掘:就是从Web的组织结构和链接关系中推导知识。它的目的是通过聚类和分析网页的链接，发现网页的结构和有用的模式，找出权威网页。
3.Web使用记录挖掘：就是指通过挖掘存储在Web上的访问日志，来发现用户访问Web页面的模式及潜在客户等信息的过程。
三、电子商务中数据挖掘的方法
针对电子商务中不同的挖掘目标可以采用不同的数据挖掘方法，数据挖掘的方法有很多，主要包括下面3大类：统计分析或数据分析，知识发现，基于预测模型的挖掘方法等。
1.统计分析。统计分析主要用于检查数据中的数学规律，然后利用统计模型和数学模型来解释这些规律。通常使用的方法有线性分析和非线性分析、连续回归分析和逻辑回归分析、单变量和多变量分析，以及时间序列分析等。统计分析方法有助于查找大量数据间的关系，例如，识别时间序列数据中的模式、异常数据等，帮助选择适用于数据的恰当的统计模型，包括多维表、剖分、排序，同时应生成恰当的图表提供给分析人员，统计功能是通过相应的统计工具来完成回归分析、多变量分析等，数据管理用于查找详细数据，浏览子集，删除冗余等。
2.知识发现。知识发现源于人工智能和机器学习，它利用一种数据搜寻过程，去数据中抽取信息，这些信息表示了数据元素的关系和模式，能够从中发现商业规则和商业事实。利用数据可视化工具和浏览工具有助于开发分析以前挖掘的数据，以进一步增强数据发掘能力。其他数据挖掘方法，如可视化系统可给出带有多变量的图形化分析数据，帮助商业分析人员进行知识发现。
3.预测模型的挖掘方法。预测模型的挖掘方法是将机器学习和人工智能应用于数据挖掘系统。预测模型基于这样一个假设：消费者的消费行为具有一定的重复性和规律性，这使得商家可以通过分析收集存储在数据库中的交易信息，预测消费者的消费行为。按消费者所具有的特定的消费行为将其分类，商家就能将销售工作集中于一部分消费者，即实现针对四、Web挖掘的作用
通过收集、加工和处理涉及消费者消费行为的大量信息。确定特定消费群体或个体的兴趣、消费习惯、消费倾向和消费需求，进而推断出相应消费群体或个体未来的消费行为，然后对所识别出来的消费群体进行特定内容的定向营销，节省成本，提高效率，从而为企业带来更多的利润。
1.优化Web站点。Web设计者不再完全依靠专家的定性指导来设计网站，而是根据访问者的信息来设计和修改网站结构和外观。站点上页面内容的安排和链接就如超级市场中物品的摆放一样，把相关联的物品摆放在一起有助于销售。网站管理员也可以按照大多数访问者的浏览模式对网站进行组织，按其所访问内容来裁剪用户与Web信息空间的交互，尽量为大多数访问者的浏览提供方便。
2.设计个性化网站。强调信息个性化识别客户的喜好，使客户能以自己的方式来访问网站。对某此用户经常访问的地方，有针对性地提供个性化的广告条，以实现个性化的市场服务。
3.留住老顾客。通过Web挖掘，电子商务的经营者可以获知访问者的个人爱好，更加充分地了解客户的需要。根据每一类(甚至是每一个)顾客的独特需求提供定制化的产品，有利于提高客户的满意度，最终达到留住客户的目的。
4.挖掘潜在客户。通过分析和探究Web日志记录中的规律，可以先对已经存在的访问者进行分类。确定分类的关键属性及相互间关系，然后根据其分类的共同属性来识别电子商务潜在的客户，提高对用户服务的质量。
5.延长客户驻留时间。在电子商务中，为了使客户在网站上驻留更长的时间就应该了解客户的浏览行为，知道客户的兴趣及需求所在，及时根据需求动态地向客户做页面推荐，调整Web页面，提供特有的一些商品信息和广告，以使客户满意。
6.降低运营成本。通过Web挖掘，公司可以分析顾客的将来行为，进行有针对性的电子商务营销话动，可以根据关心某产品的访问者的浏览模式来决定广告的位置，增加广告针对性，提高广告的投资回报率。可以得到可靠的市场反馈信息，降低公司的运营成本。
7.增强电子商务安全。Web的内容挖掘还包括挖掘存有客户登记信息的后台交易数据库。客户登记信息在电子商务话动中起着非常重要的作用，特别是在安全方面，或者在对客户可访问信息的限制方面。
8.提高企业竞争力。分析潜在的目标市场，优化电子商务网站的经营模式，根据客户的历史资料不仅可以预测需求趋势，还可以评估需求倾向的改变，有助于提高企业的竞争力。
五、小结
本文介绍了在电子商务中可以被用来进行数据挖掘的数据源，以及可用于电子商务中的基于Web上的几种数据挖掘技术。将数据挖掘技术应用于电子商务，对这些数据进行挖掘，可以找出这些有价值的“知识”，企业用户可以根据这些“知识”把握客户动态，追踪市场变化，做出正确的针对性的决策，比如改进网站、向各类用户推出个性化的页面，或者向高流失客户群提供优惠政策进行挽留等等。但是在电子商务中进行Web的数据挖掘时还有很多问题需要解决。例如，如何解决不同国家不同地区存储Web数据的语义不一致性，如果提供更安全、快捷的服务方面还有很多工作要做。
参考文献：
[1]郝先臣张德干尹国成赵海:用于电子商务中的数据挖掘技术研究.小型微型计算机系统[J].2007(7)786～787
[2]赵焕平等:WEB数据挖掘及其在电子商务中的应用.福建电脑[J].2008(1)167
[3]石岩：Web挖掘技术在电子商务中的应用.科技情报开发与经济[J].2006(7)235～236
[4]凌传繁:Web挖掘技术在电子商务中的应用.情报杂志[J].2006(1)93～94
数据挖掘论文范文第9篇
【关键词】数据挖掘技术；档案管理；分析运用
由于信息技术的迅速发展，现代的档案管理模式与过去相比，也有了很大的变化，也让如今的档案管理模式有了新的挑战。让人们对信息即时、大量地获取是目前档案管理工作和档案管理系统急切需要解决的问题。
一、数据挖掘概述
（一）数据挖掘技术。数据挖掘是指从大量的、不规则、乱序的数据中，进行分析归纳，得到隐藏的，未知的，但同时又含有较大价值的信息和知识。它主要对确定目标的有关信息，使用自动化和统计学等方法对信息进行预测、偏差分析和关联分析等，从而得到合理的结论。在档案管理中使用数据挖掘技术，能够充分地发挥档案管理的作用，从而达到良好的档案管理工作效果。（二）数据挖掘技术分析。数据挖掘技术分析的方法是多种多样的，其主要方法有以下几种：1.关联分析。指从已经知道的信息数据中，找到多次展现的信息数据，由信息的说明特征，从而得到具有相同属性的事物特征。2.分类分析。利用信息数据的特征，归纳总结相关信息数据的数据库，建立所需要的数据模型，从而来识别一些未知的信息数据。3.聚类分析。通过在确定的数据中，找寻信息的价值联系，得到相应的管理方案。4.序列分析。通过分析信息的前后因果关系，从而判断信息之间可能出现的联系。
二、数据挖掘的重要性
在进行现代档案信息处理时，传统的档案管理方法已经不能满足其管理的要求，数据挖掘技术在这方面确有着显著的优势。首先，档案是较为重要的信息记录，甚至有些档案的重要性大到无价，因此对于此类的珍贵档案，相关的档案管理人员也是希望档案本身及其价值一直保持下去。不过越是珍贵的档案，其使用率自然也就越高，所以其安全性就很难得到保障，在档案管理中运用数据挖掘技术，可以让档案的信息数据得到分析统计，归纳总结，不必次次实物查阅，这样就极大地提升了档案相关内容的安全性，降低档案的磨损率。并且可以对私密档案进行加密，进行授权查阅，进一步提高档案信息的安全性。其次，对档案进行鉴定与甄别，这也是档案工作中较困难的过程，过去做好这方面的工作主要依靠管理档案管理员自己的能力和水平，主观上的因素影响很大，但是数据挖掘技术可以及时对档案进行编码和收集，对档案进行数字化的管理和规划，解放人力资源，提升档案利用的服务水平。第三，数据挖掘技术可以减少档案的收集和保管成本，根据档案的特点和规律建立的数据模型能为之后的工作人员建立一种标准，提升了档案的鉴定效率。
三、档案管理的数据挖掘运用
（一）档案信息的收集。在实施档案管理工作时，首先需要对档案信息数据的收集。可以运用相关档案数据库的数据资料，进行科学的分析，制定科学的说明方案，对确定的数据集合类型和一些相关概念的模型进行科学说明，利用这些数据说明，建立准确的数据模型，并以此数据模型作为标准，为档案信息的快速分类以及整合奠定基础。例如，在体育局的相关网站上提供问卷，利用问卷来得到的所需要的信息数据，导入数据库中，让数据库模型中保有使用者的相关个人信息，通过对使用者的信息数据进行说明，从而判断使用者可能的类型，提升服务的准确性。因此，数据挖掘技术为档案信息的迅速有效收集，为档案分类以及后续工作的顺利展开，提供了有利条件，为个性化服务的实现提供了保证。（二）档案信息的分类。数据挖掘技术具有的属性分析能力，可以将数据库中的信息进行分门别类，将信息的对象通过不同的特征，规划为不同的分类。将数据挖掘技术运用到档案管理中时，可以简单快速地找到想要的档案数据，能根据数据中使用者的相关数据，找寻使用者在数据库中的信息，使用数据模型的分析能力，分析出使用者的相关特征。利如，在使用者上网使用网址时，数据挖掘技术可以充分利用使用者的搜索数据以及网站的访问记录，自动保存用户的搜索信息、搜索内容、下载次数、时间等，得到用户的偏好和特征，对用户可能存在的需求进行预测和分类，更加迅速和准确的，为用户提供个性化的服务。（三）档案信息的整合。数据挖掘技术可以对新旧档案的信息进行整合处理，可以较为简单地将“死档案”整合形成为“活档案”，提供良好的档案信息和有效的档案管理。例如，对于企事业单位而言，培训新员工的成本往往比聘请老员工的成本要高出很多。对老员工的档案信息情况进行全体整合，使档案资源充分发挥作用，将档案数据进行总结和规划，根据数据之间的联系确定老员工流失的原因，然后建立清晰、明白的数据库，这样可以防止人才流失，也能大大提高档案管理的效率。
四、结语
综上所述，在这个信息技术迅速跳跃发展的时代，将数据挖掘技术运用到档案管理工作中是时展的需求与必然结果。利用数据挖掘技术，可以使档案管理工作的效率大大提升，不仅减少了搜索档案信息的时间，节省人力物力，避免资源的浪费，还能帮助用户在海量的信息数据中，快速找到所需的档案数据信息。数据挖掘技术的运用，使静态的档案信息变成了可以“主动”为企事业单位的发展，提供有效的个性化服务的档案管家，推动了社会的快速发展。
作者:于然 单位:扬州市体育局办公室
【参考文献】
[1]栾立娟,卢健,刘佳,数据挖掘技术在档案管理系统中的应用[J].计算机光盘软件与应用,2015:35-36.
[2]宇然,数据挖掘技术研究以及在档案计算机管理系统中的应用[D].沈阳工业大学,2002.
数据挖掘论文范文第10篇
对于风电功率的预估，本文提出了一种短期的用于一至十五分钟内的预测方法。其中输入数据来自风力发电机的历史寄存器，数据种类有电压、电流、有功功率等。并且对两种预测方法进行了比较。预测出的风力数据作为风力涡轮机预测模型的输入值。风力发电机模型是参考了空气力学、传动系统、感应发电机等参数，并通过唯像模型建立的。风力涡轮模型则建立于一种现象学模型，这种模型将风的空气动力学、传动系统和感应发电机的参数都考虑了进来。另一种预测风电功率方法是使用数据挖掘技术来进行预测。风电发电系统中的数据库就应用到了这些技术。为了提高算法的效率，使用了风速估计器，以估计空气分子的布朗运动。并与没有用风速估计器时平均发电功率进行比较。
二、风功率预测模型和现象学模型
(一)人工神经网络
每一个人工神经网络模型都有架构、处理单元和训练方面的特性。在时间序列预测的人工神经网络模型中，其中很重要的一种是集中延时神经网络。它属于动态神经网络的一般类型，在这种神经网络中，动态只出现于静态的、有多个层级的前馈神经网络的输入层中。集中延时神经网络的一个显著特征是它不要求有动态反向传播来计算神经网络的梯度，原因是抽头延迟线只在神经网络输入数据时才出现。由于这个原因，这种神经网络比其他动态网络的训练进行得更快。
(二)随机时序
风功率模型和现象模型是使用最多的预测方法。如果假设预测变量Xt是已知值的线性组合，那么自回归模型则能用于预测未知值。通过查看自相关函数和偏自相关函数，用于找到模型的顺序和结构，从而确定模型适当的结构和式子顺序。根据赤池信息准则，施瓦茨准则或贝叶斯信息标准以及校正后的决定系数，我们就能选出最好的模型。
三、算例分析
(一)提出的预处理方法
在考虑风速的复杂动态的情况下，为了更好地描述ARMA模型，本文提出了一种新的数据预处理方法。这种方法是以模型的形式呈现的，我们将这种模型称之为函数的ARMA。
(二)实例仿真
利用SVM工具箱在matlab7．1平台上完成回归模型建立的工作，利用我国某风电场连续100个数据(每10s取一个数值)的实测风能功率输出值，建立训练和预测样本。尽管神经网络在预测风速时误差已经很小，但由风力涡轮机模型和函数的ARMA模型组成的复合模型在各方面性能更好。导致这一结果的原因是焦点延时神经网络(以下简称FTDNN)预测曲线的高度非线性。
四、结论
本文所得预测结果表明，当把风速预测数据当作风力涡轮模型的输入数据时，函数的ARMA模型和焦点延时神经网络在预测风速时产生的误差会平均降低74%。同样地，本文提出的函数的ARMA模型(即FARMA模型)与典型的ARMA模型相比，能降低误差30%～40%。在所有模型中，焦点延时神经网络(FTDNN)预测得最好。但当把现象学风力涡轮机模型和函数的AR-MA模型组成复合模型时，最终预测结果还能更好。