浅谈Lucene在号百搜索引擎系统中的集成

号码百事通系统是一个涉及多种电信信息资源、复杂业务关系的数据挖掘和信息服务支撑系统。其中坐席搜索功能是号百平台满足客户需求的接口，主要负责配合工作人员高效、精确的查询出客户所需资料并反馈；直接影响着客户感受和满意度。

号百平台基本搜索功能，主要通过具体的条件需求从现拥有的索引文件中提取出相应内容，后反查于数据库文件以显示详细信息；并要求保证易操作，高速，高效，高精准度。号百搜索引擎系统采用全文搜索引擎，它拥有自己的检索程序，自动从客户信息平台提取各种公开的信息（以文字为主），建立起标签和索引文件，搜索结果直接从自身的索引文件中调用，能检索与用户查询条件相匹配或相关的记录，按一定的排序规则返回结果（搜索条件符合度优先）。按字和按词是全文检索的两种主要方法。按字检索是指将各词组分开，给文中的每个字都分别建立独立检索。而各个语言不同，每个字的含义也不一样，就像英文里边的字其实就是词，但是中文里的字和词却是分开的，并且意思差别很大。按词检索则是针对文中的各词，建立词义单位的索引，检索时按词检索，并且可以处理同义项等。

号百搜索引擎的索引是以客户为中心，以客户基本属性和码号建立的索引，用户可以在这两方面进行双向查询；同时随着号百客户信息深度的增大（包括新增行业及其扩展信息），若这些扩展的信息不能在语音搜素引擎中使用，给电信带来很大的损失。为此，我们将在基础信息中扩展的部分也建立若干文档和索引的对应关系，在新建的文档索引和客户基本信息属性索引在相互间也存在对应关系，这样的设计能够带来扩展信息单独能够搜索，扩展信息可以和客户信息联合查询。

1 Lucene简介

Lucene是apache软件基金会 jakarta项目组的一个子项目，是一个开放源代码的全文检索引擎工具包，即它不是一个完整的全文检索引擎，而是一个全文检索引擎的架构，提供了完整的查询引擎和索引引擎。Lucene的目的是为软件开发人员提供一个简单易用的工具包，以方便的在目标系统中实现全文检索的功能，或者是以此为基础建立起完整的全文检索引擎。

作为一个开放源代码项目，Lucene从问世之后，引发了开放源代码社群的巨大反响，程序员们不仅使用它构建具体的全文检索应用，而且将之集成到各种系统软件中去，以及构建Web应用，甚至某些商业软件也采用了Lucene作为其内部全文检索子系统的核心。apache软件基金会的网站使用了Lucene作为全文检索的引擎，IBM的开源软件eclipse的2.1版本中也采用了Lucene作为帮助子系统的全文索引引擎，相应的IBM的商业软件Web Sphere中也采用了Lucene。Lucene以其开放源代码的特性、优异的索引结构、良好的系统架构获得了越来越多的应用。

Lucene作为一个全文检索引擎，其具有如下突出的优点。

（1）索引文件格式独立于应用平台。Lucene定义了一套以8位字节为基础的索引文件格式，使得兼容系统或者不同平台的应用能够共享建立的索引文件。

（2）在传统全文检索引擎的倒排索引的基础上，实现了分块索引，能够针对新的文件建立小文件索引，提升索引速度。然后通过与原有索引的合并，达到优化的目的。

（3）优秀的面向对象的系统架构，使得对于Lucene扩展的学习难度降低，方便扩充新功能。

（4）设计了独立于语言和文件格式的文本分析接口，索引器通过接受Token流完成索引文件的创立，用户扩展新的语言和文件格式，只需要实现文本分析的接口。

（5）已经默认实现了一套强大的查询引擎，用户无需自己编写代码即使系统可获得强大的查询能力，Lucene的查询实现中默认实现了布尔操作、模糊查询（Fuzzy Search）、分组查询等等。

面对已经存在的商业全文检索引擎，Lucene也具有相当的优势。首先，它的开发源代码发行方式（遵守Apache Software License），在此基础上程序员不仅仅可以充分的利用Lucene所提供的强大功能，而且可以深入细致的学习到全文检索引擎制作技术和面相对象编程的实践，进而在此基础上根据应用的实际情况编写出更好的更适合当前应用的全文检索引擎。在这一点上，商业软件的灵活性远远不及Lucene。其次，Lucene秉承了开放源代码一贯的架构优良的优势，设计了一个合理而极具扩充能力的面向对象架构，程序员可以在Lucene的基础上扩充各种功能，比如扩充中文处理能力，从文本扩充到HTML、PDF等文本格式的处理，编写这些扩展的功能不仅仅不复杂，而且由于Lucene恰当合理的对系统设备做了程序上的抽象，扩展的功能也能轻易的达到跨平台的能力。最后，转移到apache软件基金会后，借助于apache软件基金会的网络平台，程序员可以方便的和开发者、其它程序员交流，促成资源的共享，甚至直接获得已经编写完备的扩充功能。最后，虽然Lucene使用Java语言写成，但是开放源代码社区的程序员正在不懈的将之使用各种传统语言实现（例如.net framework），在遵守Lucene索引文件格式的基础上，使得Lucene能够运行在各种各样的平台上，系统管理员可以根据当前的平台适合的语言来合理的选择。

2 Lucene应用

在号百座席系统中，由于搜索的信息深度加深，涉及的搜索范围加大，因此，为了更准确、全面的查询信息，我们利用Lucene搜索引擎将基础信息建立文档和索引的对应关系，同时将深度信息也建立若干文档和索引的对应关系，这样设计就能够将客户信息、行业信息、行业附属信息联合进行查询。

使用Lucene实现全文检索，主要有下面三个步骤。

（1）建立索引文件。

根据号百信息库中的已有的数据资料建立Lucene索引文件。

（2）在索引文件中搜索。

当用户输入关键词搜索后，分解搜索请求，由搜索系统程序从索引文件中找到符合该关键词的所有信息。

（3）对搜索结果进行处理排序。

搜索过程：用户呼叫118114，提供需要查询的内容条件，工作人员使用搜索服务，通过用户提出的查询条件从索引文件中提取出相对应的索引内容，后通过索引内容在数据库资料文件中查询出相对应的详细信息，反馈给用户。

在号百座席系统中主要涉及的搜索方式主要有以下几类：

（1）基本搜索方式。

基础搜索方式主要是针对客户信息和码号信息双向关联查询。坐席提供以下基本搜索方式。

建立客户名称、客户地址、客户行业、行业扩展信息、客户简拼、客户号码、旧号码等信息建立索引，搜索查询时使用这些关键字进行搜索查询。

（2）增强搜索方式。

号百系统的数据范围大大提高，那需要查询的范围也大大提高，所以，以往那种单靠客户基础信息和码号信息双向关联查询的方式不能满足用户的需要，用户可能就想知道今天有哪些打折菜，有哪些电影上映等信息，这些跟客户信息和码号信息无关，以往建立客户信息和码号信息双向关联的索引建立方式失去了用户新的需求，所以在更大范围、在每个方面建立索引，就可以在这个方面进行查询，在方面间的组合、联合查询可以使用一个方面的主要索引,同时也是另一个方面或多个方面的索引，索引建立方式变成一种网络拓扑结构，这样就可以支持范围很广的搜索方式。

（3）我要问信息搜索。

当号百平台没有进行结构化的信息或与用户信息没有关系的信息都要放入我要问系统里，坐席可以使用我要问系统进行这些方面信息的搜索查询。

参考文献

[1] （美）麦肯德利斯，（美）哈彻[著],牛长流，肖宇[译].Lucene实战(第2版)［M］.北京：人民邮电出版社，2011,6.

[2] 罗刚著.解密搜索引擎技术实战：Lucene&Java精华版［M］.北京：电子工业出版社，2011,6.

[3] 袁津生，蔡岳.搜索引擎原理与实践［M］.北京：北京邮电大学出版社，2008,11.