本体评估指标体系的构建研究

[摘要]为有效地实现本体构建的动态评估，论文基于本体建设的生命周期阶段，提出涵盖本体的原模型阶段、模型阶段、应用阶段三个阶段的评估指标体系。评估内容涉及对本体概念层、结构层、语境层、应用层的全方位评估，其目的在于保证本体的构建质量，实现对本体的有效管理与维护，从而为本体构建者提供参考依据，为本体使用者提供选择依据。

[关键词]本体　评估　指标体系

[分类号]G354

面对众多已构建的本体，如何将其选择重用与共享是许多研究者所面临的问题。从某种层面上看，本体评估的意义在于保证本体的构建质量，实现对本体的有效管理与维护，从而为本体构建者提供参考依据，为本体使用者提供选择依据。从国内外本体评估研究看，目前主要采用基于用户、基于任务、基于原则、基于应用、基于黄金标准、基于语料库等评估方法，基于不同的需求目的，每种方法均存在其各自的特点与不足。总体而言，这些评估方法更多地注重结果评估，对本体所拥有的概念及概念关系、应用状况等进行评价，而忽略过程评估，如缺乏对构建规划、构建过程的评估。因此，本文基于本体建设的生命周期阶段，即原模型阶段、模型阶段、应用阶段来构建本体评估指标体系，旨在确定一套科学、合理、全面、客观的本体评价体系，可用于本体建设不同阶段的参考与评估。

1　本体评估内容

评估内容的多元化是评估本体的核心。就评估内容而言，多元评估要求既要体现其共性，更要关注各自本体的个性；既要关注结果，更要关注过程。即以多维视角的评价内容和结果，综合衡量本体的发展状况与水平。本体的评估内容可概括为以下几个层面：

1.1　本体概念层评估

概念是本体的最基本单元，概念表达的准确性、完整性、概括性、抽象性等对于本体的质量有着决定性的影响。

1.2　本体结构层评估

主要包括本体概念体系的结构化及本体表示体系的结构化。本体概念体系的结构化表现为本体概念结构的灵活性及易于扩展性；规范化、结构化的本体表示语言为本体在不同系统之间的导人和输出提供标准的机器可读格式，利于被计算机存储、加工、利用，或在不同的系统之间进行互操作，为本体表示体系的结构化提供了前提条件。

1.3　本体语境层评估

本体语境层表示为本体之间的关联度，通常情况下，本体之间通过建立映射、互相参考引用等方法建立概念间的语义关联，以实现本体之间概念及概念间关系的重用与共享。可通过链接或引用程度不同给予不同的评估值。

1.4　本体应用层评估

以本体的应用领域作为评估对象，涉及本体系统的存储与检索、基于语义网知识层的共享和重用、基于本体的标引与语义检索、文本数据的推理研究等。本体应用层相对于其他层面，影响较小且具有间接性，因此评估难度较大。

2　本体评估指标的构建

本体从构建到应用要经历整个生命周期的三个阶段：原模型阶段、模型阶段、应用阶段：①原模型阶段是本体构建前整体规划及原材料的预处理过程，包括构建本体的参考本体及可行性评估、流程设计、数据库设计、整理网页、挖掘文本语料库等；②模型阶段是本体构建过程，包括概念及概念间关系确定、本体构建的方法和工具选择与应用、本体与其他本体的映射、本体描述语言的选择与应用、本体之前的训练和测试；③应用阶段是本体构建完成后的本体应用状况，主要是运行中本体的监测活动，如知识工程、信息标引与检索、语义web、异构信息集成、本体推理等众多领域。

为实现对本体的整体性及动态性评估，需要对本体建设生命周期三个阶段的关键要素进行提炼，形成一套科学、合理、系统化的评估指标体系，这样既能测度本体构建水平又能评估其运行情况和发展潜力。本体评估指标体系，如图1所示：

2.1　原模型阶段

本体的原模型阶段评估的主要内容有：确定构建目的、构建规划、可行性评估、原材料预处理及选择参考本体。

2.1.1 确定构建目的 确认所构建的本体是否有明确的符合学科建设的发展定位，是否有明确的符合知识组织、知识服务的建设理念，是否有总体建设目标与中长期发展规划，是否有实现目标的方法和措施。

2.1.2 构建规划 包括：①用户需求分析。确认是否有明确的应用需求，是否有可操作的调研计划，是否有详细的调研方案，是否有成文的调研报告，是否了解学科资源状况，是否掌握用户需求及特点，并评判服务模式是否有明显优势，建设效益是否显著。②方案设计。检测构建本体的具体内容，包括确定项目的进度，规划实施方法，评判项目的可操作性，标准本体模型实现计划等。③团队建设。主要是明确构建本体的人员配置，要求有稳定的团队，并且应熟悉掌握知识组织的理论和方法，另外还应配备技术支持人员和领域专家。④经费管理。此阶段应该有经费预算和时间预算，经费应按预算分阶段地持续投入。⑤人员合作。在本体构建的全过程都需要本体开发师(负责构建本体)、本体工程师(重用本体)、项目负责人、领域专家、行业分析家及用户进行合作共建。

2.1.3　可行性评估　可行性评估的目的是确定是否能够用最小的代价在尽可能短的时间内解决问题。它并不是解决问题，而是确定问题是否值得和能够去解决，包括：①技术可行性，即使用现有的技术是否能够实现构建目标；②经济可行性，即本体的经济效益是否能够超过其开发成本；③操作可行性，本体应用系统的操作方式在本体的用户组织内是否行得通。

2.1.4　原材料预处理 预处理是由本体工程师在构建本体前对构建本体时所需的原材料进行收集与预处理，包括流程设计、网页整理、文本语料库的挖掘及对参考本体的资料获取等。在这些收集好的材料被使用之前，本体工程师还要对其质量进行评估。

2.1.5　选择参考本体　包括对本体构建所参考的其他本体的质量进行评估，并对所构建本体与参照本体的相关性进行评价。

2.2　模型阶段

2.2.1　本体概念构建的评估 本体概念来源于文本语料库和专家的参与，以定义新概念、复用且修正参考本体中的概念等。本体概念的评估包括：①概念的完整性评估。本体的概念完整性表现为尽可能包括学科或领域的全部概念，尽管很难达到，但应包括学科领域的基本概念和重要概念、反映学科的新概念和专用术语、体现交叉学科与边缘学科的所有概念。并在此基础上，参考用户的特点与需求，使其达到最佳使用效果。②概念的正确性评估。本体中的概念术语应明确、清晰、无歧义定义，一词一义，词型简练，稳定性强。③概念共享性评估。是指本体中术语所表达的概念与观点应具有普遍性，能够被整个群体所接受。④概念可扩充性评估。概念可扩充性主要表现为在本体的发展及应用过程中应该能加入新的概念。良好的可扩充性使得本体能够随着概念的逐渐增加而不断完善，同

时这样的本体也很容易对其进行概念的修改和删除。⑤概念抽象性评估。是指概念主要体现为基本的、普遍的、抽象的和哲学上的概念，通常顶层本体概念的抽象性更高一些，领域本体是从顶层本体的抽象概念中衍生出具体概念。

2.2.2　本体概念间关系的评估　概念间关系形成的概念网络体系，使各个概念之间建立起语义关联，为其在自然语言理解应用方面奠定了一定的基础。本体概念间关系评估的内容主要包括：①一致性检测。本体系统中概念、断言以及其他各种概念间的关系，前后定义是否具有语义冲突，需进行概念间关系的逻辑一致性检测。②完整性评估。概念间关系是否囊括了学科所有概念的概念间关系及其类别是否完整。③可扩展性评估。本体概念间关系应具有可扩展性，以便在本体应用或后及时增加与修改。④唯一性评估。本体概念间关系应具有唯一性，即概念与概念之间只存在一种关系。

2.2.3　本体映射评估　一般情况下，本体映射是基于概念定义的方法，即在映射时主要考虑本体中概念的名称、描述、关系、约束等。本体映射评估包含：①本体间的互操作性。主要针对本体间映射时的接口进行评估。一般情况下，如接口衔接率高，即需要人工进行概念扩充与整合的接口比较少，则说明两者的互操作性高。②重用性。重用的内容包含两个本体的概念、概念关系、属性限制等，通常重用率越高，映射的效果越佳。

2.2.4　本体表示评估　本体开发中，本体表示是对概念及概念之间的关系进行明确定义，选择合适且适用的本体语言，如DL、RDF、RDFS、Ontolingua、OKB、Loom、DAML，DAML+OIL、CycL、OWL等进行形式化描述。评估内容包含以下方面：①语言规范性。所选择的本体表示语言对本体知识的主要元素、概念、分类体系、关系与函数、实例、公理、产生式规则进行定义时，其语言结构是否规范，语言的推理机制是否合理。②逻辑错误检查。确认是否有逻辑错误的检查能力及检查其结果如何。③语言错误检查。确认是否有语言错误的检查能力及检查其结果如何。④语言的适用性。确认所选择的本体表示语言是否适用于表示目标本体，它对知识主要元素的定义能力如何。

2.2.5本体构建工具评估 目前较为成熟、知名度较高且常用的本体构建工具主要有：DAMHmp(API)、KAON、OilEd、OntoEdit、OpenCyc Server、Protege-2000、 RDFAuthor和WebOnto等。判断一种工具性能如何，主要是判断其是否具有较高的使用效率和是否便于用户使用：①可视化程度。本体构建工具是否提供可视化的本体表达视图，提供的用户界面是否便捷并使用户满意。②共享性。本体构建工具是否可供用户免费使用、下载或在线使用，提供免费软件下载的官方网站是否具有多种语言的版本。③适用性。本体构建工具是否支持Unicode字符集，工具在使用时其输入和输出格式是否支持XML或其语法是否基于本体标记语言XML以及W3C、ISO或IEEE等其他国际组织的相关推荐标准。

2.2.6　本体整体评估　本体整体评估主要是针对本体的构建过程作出整体全面的评价：①开放性。开放性有助于促进本体与其他本体信息的共享及互操作性。完全开放意味着本体可以被自由使用或者扩展，而不加任何限制。一定程度的开放意味着本体提供者要求本体使用者遵循一定的使用条款及许可条件，实现限制条件下的部分开放。②成熟度。主要指本体目前发展的稳定性及其与其他本体的相关性。它通常与一些量化指标有关，如本体的建立时间、更新时间、发展状态及被其他本体引用的程度等。③阶段评估。本体是否进行了阶段性评估，评估的结果如何，阶段性的问题是否解决，有没有对本体进行阶段性训练和测试。④时间成本。本体的构建时间是否在预期时间内完成。⑤费用成本。构建本体的费用是否在预算费用之内。⑥本体管理。包括本体的进化管理、版本管理、存储与交换管理。要求有本体专门维护机构，有科学的理论依据与实践依据，并依据学科发展和标注实践制定了本体概念与概念关联的增、修、删的原则与标准。本体有不断更新的版本以及现实本体的稳定运行、本体存储方式、高效的存取性能、遵循有关标准协议、能够实现不同本体间数据的相互交换。

2.3　本体应用阶段

本体的应用评估主要包含：本体系统辅助功能、语义标注功能、语义检索功能及文本推理功能。

2.3.1　本体系统辅助功能　本体系统辅助功能主要指该本体所提供的服务功能。主要包括以下内容：①与用户的交互。是否提供了与用户的交互机制，提示信息有效、直接，交互语言友好，可视化结果直观、易懂，能够为用户的操作提供适当的引导。②开放性。与本体管理工具和本体应用系统连接的难易程度以及对用户来讲是否容易使用与操作，是否可以免费获取，获取的方式是否快捷等。③个性化服务。所构建的本体应该提供信息定制服务与信息推荐服务，要有清晰的整体说明、详细的功能使用说明与信息注解、帮助信息，并可根据用户关注焦点来选择个性化服务。

2.3.2　语义标注功能 语义标注实为运用本体的词汇来标注语料库与web资源，通过添加语义元数据，使其内容被人或机器所理解。语义标注所要评估的内容是覆盖率、标注工具的效用性、标注结果的准确率。①覆盖率。覆盖率是指本体中描述应用领域的概念在语料文本词汇中所占的比例。覆盖率越高，说明本体描述领域内概念的广度越高，全面性越好。②标注工具的效用性。检测标注工具是否支持各种类型、各种介质资源的自动标识，是否提供了本体概念和关键词标注，是否描述了元数据的标准与通用性，标注流程是否方便，且对于应用用户是否适用。③标注结果的准确率。是指正确的标注结果数占标注数量的比率。准确率越高，语义标注功能越强，可以为进一步的语义检索奠定基础。

2.3.3　语义检索功能　基于本体的信息检索，旨在利用本体中的概念实现对用户信息需求及资源的语义理解与分析，实现概念层面的检索，提高查询的精确率。其功能评估包含以下内容：①查准率。指系统所检索出的术语中有多大比例的术语是相关的，而不考虑它没有检索出的相关术语。精确度越高，就越能有效地确保系统已识别的术语是正确的。②召回率。召回率是系统检索出的相关术语占总相关术语的比例，即检测有多大比例的术语是系统应该识别而实际上识别了的，而不考虑有多少不合格的识别术语。召回率越高，就越能确保系统没有错过正确的术语。③自然语言处理能力。检测系统识别用户检索语言的能力，即问答系统根据上下文的语义联系具有深层语义理解的能力。比如，对一词多义现象的处理，对开放域的答案抽取水平，所涉及的词法分析、句法分析、语义理解等基础处理能力。④用户满意度。是指用户对输出端结果的满意程度，即输出的结果是否为用户所提问题的答案，涉及答案的详细程度、输入端与输出端的时间间隔及人机界面操作的便捷性等。

2.3.4　本体用于推理 本体描述语言起源于人工智能领域对知识表示的研究，因此本体的描述语言不仅仅需要具有良好定义的语法和语义与充分的表达能力，更需要有效的推理支持：①工具的有效性。推理工具是否支持多版本的语言规范，是否可以方便地访问标准语言的类及属性，是否支持基本的对list的处理，是否可以实现类的层级访问和使用，是否可以实现自动或半自动推理等。②概念的可满足性。是否存在相应的解释使得概念成立。③实例检测。是指检测某个概念所对应的所有实例的集合。

3　结语

我们所构建的本体评估指标体系着重于本体生命周期管理，便于用户更直观地理解本体的建设过程，并对本体进行阶段性评估。用户使用该评估指标体系时，需依据评估的需求与目的，定义本体各指标的权重，在此基础上进行量化评估。对于无法量化的指标，需采取用户调查、专家打分、黄金本体参照、描述评价等多种方法配合，尽可能使评价客观化。