基于云计算的WEB数据挖掘关键技术分析

摘要：现阶段，数据存储功能上的大幅度提升也是得益于云计算的飞速发展。在此市场背景下，研究云计算基础上的WEB数据挖掘技术是有非常深远意义的，在对云计算的使用特点分析后，再结合WEB数据挖掘技术进行进一步分析。

关键词：云计算；WEB数据；关键技术分析

中图分类号：TP311.13 文献标识码：A 文章编号：1007-9416（2017）01-0092-02

互联网产业所具有革命性，是由于它创新了时代格局、改变了生活习惯，在随着用户不断增加、需求不断更新的情况下，他的数据信息越来越丰富。WEB技术就是指从海量的信息中提取出符合需求的信息。

1 云计算

1.1 云计算的概念

云计算是一种在互联网的基础上进行创新的新的计算方式，主要是以互联网上异构和自治的服务方式来满足用户按需即取的计算要求。因为互联网上的资源正是所需的资源，若是用一个类似云的图案来表示互联网的话，就可以生动形象的比喻为云，同时“云”也生动的概括了底层抽象的基础设施。

1.2 云计算的特点

（1）分布式。分布式是云计算最本质的特点。这个特点一是体现在在地理位置的分布上对用户以及服务的提供者是不同的，二是体现在在不同的计算机上或者同一计算机的不同地理位置上分布着服务提供者提供服务的能力。

（2）虚拟化。虚拟化是云计算的特点中最重要的。虚拟化这一技术特点的使用使得更能更好的结合硬件产品和软件产品。虚化性为这一特点为其他云计算的特点提供了保障。

（3）高可靠性。数据的存储以及对数据的处理都是由云计算中的应用程序在许多的计算节点中进行的。所以即使是某个节点发生故障，也不会影响数据的存储和对数据的处理，换句话说这加强了系统的可靠性。

2 WEB数据挖掘

2.1 WEB数据挖掘的概念

WEB数据挖掘就是指融合WEB、数据挖掘、计算机存在的技术和方法。在三者进行结合后，能够将其综合性淋漓尽致的表现出来。WEB数据挖掘技术是由多种技术共同作用运行的而不是靠某一单一技术进行运行。

2.2 WEB数据的特点

（1）异构数据库环境。在WEB中，每个站点都相当于一个数据源，都可以产生一定的数据，并且这些数据都具有异构性，同时在组织以及信息方面都存在差异性，这就组成了数据库的异构环境。

（2）分布式特点：WEB是以互联网作为基础，这就使得在世界上的任意WEB服务器上都可以显示其网页，这体现了其分布式的特点。

（3）动态性：由于WEB 每个站点具有很强的动态性，这就加快了每个站点在进行链接信息、访问记录信息等信息的更新的频率。

2.3 WEB数据挖掘的分类

数据挖掘主要分为结构挖掘、使用挖掘和内容挖掘这三大类。在下文中将对结构挖掘以及使用挖掘进行详细介绍。

（1）结构挖掘。WEB结构挖掘就是从WEB结构中挖掘有用信息的过程，WEB结构主要包括组织结构、文档结构和 WEB链接关系结构等，具体来说，在研究WEB时，同时也要针对页面结构以及WEB链接关系结构进行研究，找出隐含在两者中的关系模式，这就可以完成对链接甚至链接页面的分类，从中甄选出所需的页面，这就是WEB数据的结构挖掘。

（2）使用挖掘。WEB使用挖掘就是针对用户进行访问时的模式进行挖掘的过程，其依赖于数据挖掘技术，能够有效提升网络信息服务质量，对于改进WEB服务器性能也有着重要的作用。

3 云计算背景下的web数据挖掘技术分析

3.1 云计算背景下的web数据的收集和处理

分析用户以及WEB的访问数据是进行收集数据和处理数据的主要内容。在云计算的基础上，尽量完善对数据的网络分析、筛选、整合，使数据更具有效性和针对性，与此同时，将WEB中的数据转成xml形式的文件，使其以分布式文件的形式存在。

3.2 基于云计算的Web数据挖掘算法

基于云计算的Web数据挖掘算法步骤如下：

第一步，根据数据挖掘服务请求来对置信度阙值进行确定，一般这种服务请求由Web浏览器提出的。

第二步，客户端向主控节点发出的任务，数据存储的节点就会向主控节点申请数据并返回有服务节点处理过后的数据。

第三步，主控节点的数据将发给算法的存储节点，算法节点会根据所存储的大量算法，筛选出最佳的挖掘算法，并⒄庑┧惴ㄓτ玫矫扛龇务节点。

第四步，每个服务节点都会有针对性地对各个数据进行筛选，从而将数据库中的数据进行系统的分类和规整，用 Apriori算法，得出不同数据库的一部分频集。

第五步，将服务节点处理的这些结果反馈主控节点上，得出整个数据库全局的频集。在将这些发送到每个服务节点之上就可以得到更加准确的局部频集。以此类推，再将服务节点处理的结果反馈到主控节点上，得到更加精准的全局的频集。

4 结语

WEB数据挖掘指的是从WEB数据以及其他获得的网络数据中选出所需的有效的、针对性的数据信息。它通过用户的兴趣和习惯来筛选出数据信息以满足用户的需求。基于云计算的WEB数据挖掘能够在网络的平台上进行统一的调整或管理，还可以充分占用云计算的储存空间。基于云计算下的WEB数据挖掘关键技术不仅提高了数据挖掘的技术性，还提高了对网络数据的利用率。基于云计算的WEB数据挖掘关键技术的提高对我国互联网的发展具有重要的促进意义。

参考文献

[1]任争，董莉丽，史泽，等.数据挖掘技术及其在过程监控中的应用[J].黑龙江科技信息，2016（9）.

[2]黄佳倩，何明昌，盛丽芬，等.基于云计算的移动学习平台[J].2015（3）：40-43.