石油文化数据库与数据管理论文

1云数据管理技术

云数据管理技术的一个有效管理方案就是NoSQL系统，即非关系型数据库，NoSQL数据库相对于传统的关系型数据库更适合处理高并发读写、海量数据处理、高扩展性和可用性的应用需求。目前主流的NoSQL数据库主要有BigTable、HBase、Dynamo、Cassandra、MongoDB、CouchDB、Redis、Riak、Membase等。本文以NoSQL系统的典型代表MongoDB数据库为例进行研究。MongoDB是为了Web应用而设计的数据库管理系统，MongoDB能够提供高读写吞吐量、易于伸缩，还能进行自动故障转移，能够解决传统关系型数据库面向Web纯动态网站的高并发读写、海量数据的高效访问、高可扩展性和高可用性时的困境，因此得以推广。MongoDB的设计定位是在具有key/value存储方式的高性能和高度扩展性的同时，具备传统的关系数据库管理系统的丰富功能，集两者的优势于一身。MongoDB使用数据结构松散的BSON（BinaryJSON）格式,面向文档存储数据,使用自动分片（Auto-Sharding）实现海量数据存储,支持全类型索引,使用的查询语言语法类似面向对象査询语言,可以实现类似关系数据库单表查询的绝大部分功能，支持主/从（Master/Slave）和复制集（ReplicaSet）两种数据复制机制。

2数据库建设基本流程

利用实地调研、个人采访的方法获取石油文化纸本文献，然后通过输入设备对这些资源进行数字化，调研、收集、保存、整理网上已的石油文化数字资源，将两种来源途径的石油文化资源放入原始库待处理。通过信息的抽取、分类等方法，对数据信息进行整合，构建数据模型，利用相应软件设计，形成有效信息库。通过前台网页，实现信息与信息检索。图1所示是石油文化数据库建设基本流程。

3基于MongoDB的数据库设计

3.1MongoDB数据库

MongoDB是最受欢迎的开源NoSQL数据库之一,因其高效的性能和丰富的使用功能在生产中有非常广泛的应用。MongoDB是一个面向文档的数据库。数据库有两个要素构成：文档和集合。（1）文档：是MongoDB的核心概念，是键值对的有序集。文档的键和值不再是固定的类型和大小。其功能类似关系数据库中的一条记录。（2）集合：就是一组文档。集合是动态模式的，即一个集合中的文档可以是各式各样的。但集合之间不能进行连接查询。（3）数据库：由集合构成。一个数据库可以包含有0个或者多个集合。文档、集合、数据库三者关系如图2所示。

3.2石油文化数据库设计模型

虽然一个集合中的文档可以是各种各样的，但为了提高管理和查询的访问效率，还是要根据应用情况适当进行分类，考虑应用不同集合来存放相关文档。石油文化资源类型多样化，有文字、图片、图像、音视频资料等，根据实际操作需要，本数据库共建立了3个集合，分别为：用户users集合、资源s1集合，资源Content集合。但Content集合属于嵌入式集合。（1）用户集合users用户包括普通用户和管理员，用户集合主要保存用户的姓名、密码、操作权限等信息。具体如下表1所示。（2）资源s1集合资源集合是本数据库核心内容，主要用于存放关于石油文化的数字资源，可以是文字、图像、声音视频等信息。用集合s1保存资源基本信息（如资源名称、资源创建时间、访问次数，等等），用集合Content用来保存资源具体数据（资源类型，资源内容等）。由于Mon-goDB不能进行集合间连接查询，并且考虑到文字、图像及声音视频之间的关联，因此利用MongoDB的em-bed（嵌入）方法，把资源内容Content作为内嵌文档保存，以达到一次查询的效果。具体如下表2所示。

4结语

本文构建了一种基于云数据管理技术的数据库模型，接下的工作是进一步探讨数据库实现及应用。云数据管理技术所表现出来的可扩展性和松耦合的数据模式以及在易用性、高度伸缩性、支持海量数据等方面所表现出来的优势，其发展前景值得期待，值得科研工作者深入研究。

作者：苏海英 吴良海 单位：广东石油化工学院