网页指纹技术的研究

摘要： 网页技术是浏览获取有用信息的关键技术，传统的方法中，选取关键词在网页中出现的频率来判断网页是否重复，如果关键词相近，可能造成误判的情况。本文提出网页本身特有的指纹技术，设计新的算法，通过与网页特征库中的指纹比较，完成网页的工作，提高的准确率。

Abstract： Webpage fingerprint checking is a key technology to scan and get useful information. The traditional method of webpage duplicate detection selects the frequency of occurrence of key words as the standard to verify whether it’s duplicate， the similar key words may mislead the duplicate detection. This paper proposed the unique webpage fingerprint technology， designed new detection algorithm. Comparing with webpage feature of fingerprint， the paper completes the webpage repeat-checking work and improves the accuracy of duplicate detection.

关键词： 网页指纹；网页；位置向量

Key words： webpage fingerprint；webpage duplicate detection；position vector

中图分类号：TP393.0 文献标识码：A 文章编号：1006-4311（2014）15-0225-02

0 引言

当今世界处于互联网信息时代，网络和信息技术得到飞速提升，互联网上的信息呈现几何级爆炸式的增长，给用户带来了大量有用信息，也带出了一些问题。用户浏览不同网站目的是查找需要的信息，实际情况是大量信息在各网页间转载，存在数量众多内容重复的网页，用户要获取的信息中存在许多近似网页，既增加了时间又加重了用户的负担，降低了搜索和浏览的效率。

因此，在搜索网页信息的过程中，要增加一项对网页内容的步骤，去除内容重复网页，这就需要设计一种有效的网页检测算法，便于准确有效检测出近似网页。

早期的SCAM技术，主要技术是通过待检测网页中某些字词的出现次数，可称之为关键词，把这些关键词及对应出现频率与库存特征库中的信息进行比对，如果相近似的程度超过一个设定的阈值，则可判定此网页是重复或已浏览过的重复网页。

在传统技术中，如果选定的关键词名称及数量不合适，可能出现关键词非常近似，网页被误判成重复网页，造成网页被筛除而不能被用户浏览，不能得到所需信息，也就不能满足用户的准确需求。设想对提取的关键词加以改进，不是简单依赖网页的某些关键词，而是对被检网页提取它的独特结构，称之为网页指纹，使其具有本网页唯一性，通过与网页指纹特征库中的指纹比较，通过相似度来判断网页是否重复，减少了传统检测中只依赖关键词产生误判的情况发生，提高检测准确率。

1 原理

互联网上的站点数量众多，实际情况是，有很多网站是转载信息，用户要通过网上区获取信息，理想要求是准确快速进行搜索定位到有用信息，由于重复网页的大量存在，用户搜索到所想要的信息浪费了大量时间和精力。要缩短时间提高搜索信息效率，网页是搜索领域的关键技术问题。网页的一般过程如图1所示。

①提取特征关键词，对网页进行预处理，设关键词用Ki（Q）（i=1，2，…N）表示，N为选取信息特征关键词的个数，用Ki（D）（i=1，2，…N）表示网页特征库的特征信息。

②将Ki（Q）与Ki（D）比较计算，得到关键词数据的相似度s，即：s=■ （1）

③设定合适的相似度阈值Ф，则有：

s≥Ф 网页重复

s

可以看出，传统的SCAM技术的算法简单，判断网页是否重复的操作步骤的关键是如何选取合适的网页特征信息作为关键词。如果用户浏览了相近似的网页，关键词就会非常相近，相似度会接近1，出现误判为相似网页，结果是网页被掉，用户不能浏览到此网页。

如何完善改进传统方法存在的不足，设想把依赖网页关键词改为网页的独特结构，就好比指纹一样具有唯一性。因此，把网页中的关键词、位置向量、出现次数作为该网页的特征信息，称之为网页指纹，在与特征库中的指纹进行比较，通过比较提高的准确率及效率，避免了只依赖关键词而造成误判的情况发生。

2 网页指纹算法

网页重复主要是指网页中的正文内容，不包括网页导航栏、视频、图片、广告信息等条目。如果网页中的正文可能存在转载方式，与原网页内容一致，就容易误判为重复。

2.1 网页预处理 之前的工作是对网页中各种链接、图片信息、广告信息删除，去掉所有噪声，只保留网页的纯文本信息。下一步要对纯文本信息进行统一的归一化处理，利用语法规则，对标点符号、英文字母、空格、回车符等分隔符进行一致优化，保证对文本的信息提取时的准确量化。为了提取网页指纹信息，运用信息检索技术，得到被检测网页中关键词的频率集合F={F1，F2，F3…Fm}，从中选取前n个（n

2.2 网页指纹算法 利用提取有特征的网页指纹Ki（Q）与特征库的指纹信息Ki（D）进行计算比较，利用公式（1）得到相似度s，再与设定的阈值Ф比较，得出网页是否重复，提高网页的准确率。网页算法流程为：①第一步对被检测网页预处理，对链接、广告、图片等噪声进行去噪处理。得到纯文本信息。②对关键词及位置向量进行提取，构成网页指纹信息。③比较网页指纹信息，计算相似度。④与设定阈值Ф比较得出是否为重复网页。

网页算法流程如图2所示。

3 结束语

本文提出的利用关键词及位置向量结合构成网页指纹的算法，避免了传统技术中只有关键词而造成的准确率不高的情况发生，提升了效率，提高了用户浏览网页信息的准确度和效率。

参考文献：

[1]王希杰.一种基于网页指纹的网页技术研究[J].计算机仿真，2011（9）：154-157.

[2]马成前，毛许光.网页算法shingling和simhash研究[J].计算机与数学工程，2009，37（1）：15-17.

[3]白广慧，连浩，刘悦，程学旗.网页技术在企业数据仓库中的应用[J].计算机应用，2005（07）.