Web数据挖掘在搜索引擎中的运用

摘 要：随着互联网技术的不断发展，在网络中数据与信息不断增多的背景下，就需要利用数据搜索引擎的方式来寻找出用户想要查询的信息，进而达到收集信息的目的。本文主要探讨的是Web挖掘技术在搜索引擎中的应用，首先分析了Web挖掘的概念及其内容，在此基础上阐述了搜索引擎存在的不足，最后叙述了Web挖掘技术在搜索引擎中的应用。

关键词：数据挖掘；互联网；搜索引擎

中图分类号：TP391.3

1 Web挖掘的概念及其内容

对于Web挖掘来说，经过了几年的发展我们并不陌生，但是对于不同人来说Web挖掘都有着不同的理解方式，而现阶段的Web挖掘内容主要包含着三个方面。

1.1 Web内容挖掘

Web内容挖掘是整个Web数据挖掘技术的核心，对互联网中的信息进行分析后我们可以看出，其主要是通过互联网中的各种类型的服务、数据源以及信息源组成的，例如FTP、Telnet和WWW等。由于Web内容挖掘具有很多优势，因此数字图书馆、政府办公和电子商务等都是采用Web的方式来对数据库进行访问的。同时Web内容挖掘所涉及的范围也是非常广泛的，除了图像和文本外，还包含了视频、音频以及多媒体等。

1.2 Web结构挖掘

对于Web结构挖掘来说主要是针对Web中的文档结构进行分析，从组织之间的结构模式来获取有价值的信息。Web的结构挖掘技术具体来说就是在互联网中的超链接之间的关系和Web文档自身的结构综合到一起而推导出的一种超出Web以外的信息。

1.3 Web行为挖掘

所谓Web行为挖掘技术，就是通过互联网中的Web服务器所包含的日志文件以及互联网中用户的信息进行统计与处理进而获取有用的信息反馈给查询者。具体的工作模式是在WWW服务器中用户登录的信息进行后台备份后进行归类并分析，最终达到获取用户行为的目标。

2 现阶段搜索引擎的不足

由于在互联网中主要是通过HTML语言规范来对信息进行描述的，并且对互联网中的信息进行包装、传输以及也都是经过Web的方式来处理的。但是值得注意的是HTML主要是一种标记类型的语言，这种语言类型决定着Web的数据挖掘过程中是非常困难与繁琐的。也就是说每一个站点的数据都是相互独立，平时我们都认为Web的数据是很有条理的，但是由于每个数据都是独立存在的，进而形成了一种半结构化数据的模式，这也是当前互联网中数据最大的特点。就是这种半结构化数据的模式导致了数据处理技术相对落后，现阶段主要存在着以下两个方面的问题：首先在搜索引擎的使用过程中，所查询到的信息中没有关系的信息太多，并且准确率较低，即使浏览成百上千条信息也查询不到有价值的信息。其次是搜索引擎中查询到的信息一般情况下顺序都是比较乱的，对所查询的信息没有很好的分类与排序。因此在以后的研究过程中应该从以上几个方面问题入手，完善互联网中的搜索引擎技术。

3 Web挖掘技术在搜索引擎中的应用

我们都知道Web数据挖掘技术和搜索引擎之间的关系是相互补充的，并不是搜索引擎完全依靠Web数据挖掘的。另一方面，正是通过Web数据挖掘技术才使得搜索引擎中的检索效率得到了很大程度的改善，现阶段Web挖掘技术在搜索引擎中的技术主要包含了以下三个方面。

3.1 Web文档挖掘技术在搜索引擎中的应用

搜索引擎技术是由传统的检索技术而演变来的，因此在对Web的文档处理不够彻底，那么就需要利用Web文档挖掘技术对搜索引擎进行优化，其中主要包含了文本总结技术、文本分类技术与文本聚类技术三个方面。

对于文本总结技术来说，主要是指从互联网中的每个文档中提取出一些关键的信息，并且对文档信息进行书签标记。在这种背景下互联网用户就可以通过浏览每个文档的关键词就可以确认该文档是否符合查询的标准，对大致的内容进行了解后对在决定对其是否收取。

其次是文本分类技术，该类文档挖掘技术主要是计算机对文档集合中所有的文档进行分类，因此在用户检索的过程中就会到制定的文档集合中进行搜索。本文分类技术的主要目标是缩小用户在互联网中的检索范围而提升检索效率。

最后是文本聚类技术，文本类聚的工作原理与文本分类技术的工作原理是相反的，也就是说需要要求同一簇内的文档之间的相似性尽可能大，另外而簇与簇之间的关系尽可能小，这些簇就相当于分类表中的类目。

3.2 Web结构挖掘在搜索引擎中的应用

此外，对于互联网的用户来说，他们都希望可以搜索到对自己有用的信息，并且这些信息都是具有权威性的，那么就需要通过Web结构挖掘来进行完善，当前Web结构挖掘技术主要有两个方面。

3.2.1 页面等级（Page-rank）方法

页面等级的方法主要是在其中的一个Web文档中建立另外一个Web文档作为超链接的时候，就可以将其理解为该Web文档是另外一个文档的注解，也就是说他们之间存在着一种引用与被引用的关系。具体来说，就是一个Web文档被引用的次数越多，就证明该文档页面的登记越高，那么在互联网中该Web文档所处的位置也就越重要。另外，一个Web文档被一个高等级页面引用后，那么这个Web文档等级也就随之变高。采用这种页面等级的搜索引擎方法，可以首先对检索的提问进检索，在此基础上在对检索的结果进行页面等级分析，最终达到输出最重要的页面的一种形式。

3.2.2 关键页/权威页（Hub/Authority）方法

关于关键页/权威页的方法，其执行的主要思想是在互联网中存在着一种重要的页面，那么这种重要的页面一定在某种学科中处于权威的、重要的位置，但是这种关键页/权威页并不是具有很多个连接的。对于这种类型的关键页，不但起到了隐含性的说明了其他Web文档中重要性外，还体现了关键页所能发挥的作用。作为权威页来说，它应该是被多个关键页所引用的，并且每个引用的关键页也具有很多个权威页的连接，进而计算机就会根据算法来计算出用户所要查询的网页。

3.3 Web行为挖掘在搜索引擎中的应用

最后是Web行为挖掘，最近几年主要体现在电子商务的运用，而对于搜索引擎来说，Web行为挖掘主要是通过挖掘来对用户的检索行为进行归类与统计。并且互联网的信息检索行为也是研究的主要对象，搜索引擎通过采用Web行为挖掘对用户平时所检索的内容进行分析，其中包括检索词、检索时间以及检索方式等。也就是说采用Web行为挖掘的模式对检索日志进行分析后可以简单的判断，对用户所潜在的共同检索行为进行统计，进而可以更好的对搜索引擎的效果进行反馈，经过一系列的总结与归纳后可以进一步完善搜索引擎。

4 总结

通过对文章的分析可以看出，经过了多年的发展后Web的数据挖掘技术已经可以很好的融入到搜索引擎当中，但是值得注意的是Web数据挖掘技术所能实现的功能不止是这些，其在搜索引擎中的功能也没有彻底的发挥出来，在以后的工作当中应该从搜索引擎的查全率和查准率等方面进行进一步的完善。另外，关于个性化搜索和语义相关性搜索也是未来研究的主要方向。

参考文献：

[1]阮忠，邓春燕.Web文本挖掘的方法及其应用研究[J].农业网络信息，2008（09）.

[2]董彩云，吕秀荣.数据挖掘技术在个性化学习指导中的应用[J].山东广播电视大学学报，2010（01）.

[3] 付晓翠，许盈.基于Web数据挖掘的个性化搜索引擎研究综述[J].现代计算机（专业版），2008（03）.

[4]邹芳红.Web数据挖掘与个性化搜索引擎综述[J].计算机与现代化，2007（08）.