搜索引擎技术的发展现状与前景

【前言】搜索引擎技术的发展现状与前景由文秘帮小编整理而成，但愿对你的学习工作带来帮助。全文搜索引擎是当前应用最为普遍的主流搜索引擎，国内外知名的有baidu，Google，Bing等。全文搜索引擎的工作原理是分词程序将爬虫程序从互联网上抓取的文章中的内容预处理后进行分词，然后计算机索引程序扫描分好的词，对每一个词建立倒排索引，并将该词在文章中出现...

摘 要：作为大众连接互联网的主要入口，搜索引擎根据搜索引擎使用者提交的请求有针对性地为其提供准确、高效以及可靠的检索结果。然而由于互联网资源的巨大性以及搜索引擎技术的复杂性，目前搜索引擎的检索结果面临准确性、可靠性和时效性等挑战。本文将对当前的搜索引擎以及搜索引擎技术进行讨论，并对他们的发展趋势进行分析，同时对搜索引擎所面临的问题进行剖析并给出相应的解决方法。

关键词：搜索引擎；网络爬虫；检索

中图分类号：TP311.52 文献标识码：A

1.搜索引擎介绍

搜索引擎是指根据一定的策略、运用特定的计算机程序从互联网上采集信息，在对信息进行组织和处理后，为用户提供检索服务，将检索的相关信息展示给用户的系统。搜索引擎是工作于互联网上的一门检索技术，它旨在提高人们获取搜集信息的速度，为人们提供更好的网络使用环境。从功能和原理上搜索引擎大致被分为全文搜索引擎、元搜索引擎、垂直搜索引擎和目录搜索引擎等四大类。

全文搜索引擎是当前应用最为普遍的主流搜索引擎，国内外知名的有baidu，Google，Bing等。全文搜索引擎的工作原理是分词程序将爬虫程序从互联网上抓取的文章中的内容预处理后进行分词，然后计算机索引程序扫描分好的词，对每一个词建立倒排索引，并将该词在文章中出现的位置以及次数记录在数据库中，当用户检索程序在用户提交检索请求时根据数据库中事先建立的索引进行检索，并将检索结果反馈给用户。全文搜索引擎数据库的容量极大，检索的范围很广，易用性较强，然而由于知识来源较为广泛，导致重复的内容过多且繁杂，更新不够迅速。

元搜索引擎就是通过一个统一的用户界面帮助用户在多个搜索引擎中选择和利用合适的搜索引擎来实现检索操作，是对分布于网络中的多种检索工具的全局控制机制。目前国内外有诸如360综合搜索、InfoSpace等。元搜索引擎可以充分集中各搜索引擎的优势有效地扩大了搜索引擎的检索广度和提高了检索结果的准确率。元搜索引擎是基于多个搜索引擎上的二次整合，它没有数据库，因此相同的检索请求会导致重复检索。

垂直搜索引擎是针对某一个行业进行搜索的专业搜索引擎，是搜索引擎的细分和延伸，是对网页库中的某类专门的信息进行一次整合，定向分字段抽取出需要的数据进行处理后再返回给用户。垂直搜索引擎是在特定的搜索领域来满足特定的搜索需求如火车票搜索、视频搜索等，其检索范围小而且是基于结构化数据和元数据的搜索，检索结果准确度高，检索时间短，所需耗费的成本低。

目录搜索引擎是以人工方式或半自动方式搜集信息，由编辑员查看信息之后，人工形成信息摘要，并将信息置于事先确定的分类框架中。信息大多面向网站，提供目录浏览服务和直接检索服务。它有别于其他的各类搜索引擎。

2.搜索引擎所用主要技术

搜索引擎工作流程主要有数据采集、数据预处理、数据处理、结果展示等阶段。在各工作阶段分别使用了网络爬虫、中文分词、大数据处理、数据挖掘等技术。

网络爬虫也被称为蜘蛛或者网络机器人，它是搜索引擎抓取系统的重要组成部分。网络爬虫根据相应的规则，以某些站点作为起始站点通过各页面上的超链接遍历整个互联网，利用URL引用根据广度优先遍历策略从一个html文档爬行到另一个html文档来抓取信息。

中文分词是中文搜索引擎中一个相当关键的技术，在创建索引之前需要将中文内容合理的进行分词。中文分词是文本挖掘的基础，对于输入的一段中文，成功的进行中文分词，可以达到电脑自动识别语句含义的效果。

大数据处理技术是通过运用大数据处理计算框架，对数据进行分布式计算。由于互联网数据量相当庞大，需要利用大数据处理技术来提高数据处理的效率。在搜索引擎中，大数据处理技术主要用来执行对网页重要度进行打分等数据计算。

数据挖掘就是从海量的数据中采用自动或半自动的建模算法，寻找隐藏在数据中的信息，是从数据库中发现知识的过程。数据挖掘一般和计算机科学相关，并通过机器学习、模式识别、统计学等方法来实现知识挖掘。在搜索引擎中主要是进行文本挖掘，搜索文本信息需要理解人类的自然语言，文本挖掘指从大量文本数据中抽取隐含的、未知的、可能有用的信息。

3.搜索引擎以及搜索引擎技术发展趋势

3.1 搜索引擎的发展趋势

随着移动业务、科技的发展和人们生活方式的改变，在未来搜索引擎将会发生明显的变化。

3.1.1 知识图谱搜索

知识图谱是显示知识发展进程与结构关系的一系列各种不同的图形，用可视化技术描述知识资源及其载体，挖掘、分析、构建、绘制和显示知识及它们之间的相互联系。当用户发起一个搜索请求后，除了显示用户搜索的结果，其他与之相关的重要信息也将以发散图表的形式呈现出来。这一功能将在满足用户信息检索的同时，可以更好的理解用户所需要的内容。

3.1.2 个性化搜索

搜索引擎技术的通用性决定了它的普适性，从而忽略了搜索用户个体之间的差异。个性化的搜索技术可以根据不同背景、不同目的和不同时期的查询请求为不同用户提供有对性的个性化的搜索服务。个性化搜索通过采集以及分析不同的用户数据信息来学习不同用户的行为和爱好，从而实现对不同用户进行差异化信息检索的目的。

3.1.3 多媒体搜索

当前搜索引擎主要是基于文字进行搜索的，而图片、音频和视频等多媒体搜索比纯文本搜索要复杂得多，目前主流技术是通过对他们的描述文字进行解析来搜索，所以本质上来说还是基于文字的搜索，然而多媒体的描述文字经常与多媒体资料不匹配的问题导致多媒体搜索结果具有高度的不确定性，搜索结果极易受描述文字的干扰。未来的多媒体搜索技术将会通过对多媒体资料内容进行深度解析来弥补这一缺点。

3.1.4 跨语言搜索