基于Hadoop云存储系统在设计院的应用研究

【 摘 要 】 近年来，三维设计、协同设计在设计院中逐渐推广使用，设计院面临着文件和数据量的快速增长，现有的文件存储设施已不能适应业务增长的需求。本文首先描述了云计算和云存储的概念，分析了云存储的体系结构和技术优势，提出了基于Hadoop构建的云存储系统模型，并应用于数据备份、归档及数据共享等领域，满足了设计院对海量数据存储、数据共享和数据挖掘等要求。

【 关键词 】 设计院；云计算；云存储；Hadoop；海量数据

The Research for the Application of the Cloud Storage Technology in Design Institute

Huang Bin Xu Yong Lv Yan

（China Aviation Planning And Construction Development Co.. Ltd. Beijing 100120）

【 Abstract 】 In recent years, the three-dimensional design and collaborative design are gradually applied in the design institute to address the rapid growth of the file and the amount of data, because the existing file storage facilities can not meet the needs of business growth. This paper first describes the concept of cloud computing and cloud storage, then analyzes cloud storage architecture and technological advantages, and build Hadoop-based cloud storage system model, finally applied to data backup, archiving and data sharing to meet the mass data storage, data sharing and data mining requirements in the design institute.

【 Keywords 】 design Institute; cloud computing; cloud storage; hadoop；mass data

0 引言

目前，随着设计院项目和规模的发展，三维设计及BIM技术的普及，各类应用的日益多元化，协同设计的推广和使用，企业数据量日益增加，如邮件、图片、音频、视频及设计图纸等非结构化数据爆炸性增长，并且对数据访问带宽和并行访问速度提出了更高的要求。现有的存储系统硬件成本高，扩展能力差，数据并行访问效率低，难以满足企业快速变化的业务增长需求。因此，为企业提供一种更高性能、更低成本、更好可靠性的易于管理的存储平台，才能够帮助企业用尽可能低的成本应对日益增长的数据存储需求。

1 云计算与云存储

1.1 云计算定义

云计算（Cloud Computing）是一种新近提出的计算模式，维基百科给云计算下的定义：云计算是通过Internet提供动态的、易扩展的、虚拟化的计算资源的一种计算方式，用户不需了解“云”中基础设施的细节，不必具有响应的专业知识，也无需进行直接的控制。

中国云计算网将云计算定义为：云计算是分布式计算（Distributed Computing）、并行计算（Parallel Computing）和网格计算（Grid Computing）的发展，或者说是这些科学概念的商业实现。

虽然云计算没有统一的明确定义，综上所述定义，可以总结出云计算的一些本质特征，即分布式计算和存储、高可扩展性、用户友好性、易于管理等。

1.2 云存储定义

云存储概念是在云计算概念上延伸和发展出来的一个新的概念。云存储是指通过集群、网络和分布式文件系统等技术，通过应用软件将网络中大量各种不同类型的存储设备组合起来协同工作，共同对外提供数据存储和数据访问功能的系统。

云存储不是传统的存储系统，其本质是一种特殊形式的架构服务，它可以理解为配置了大容量存储空间的云计算系统，更准确地说，云存储是一个由网络设备、存储设备、服务器、应用软件、公用访问接口、接入网、和客户端程序等多个部分组成的复杂系统，各部分以存储设备为核心，通过应用软件对外提供数据存储和业务访问服务。

1.3 云存储体系结构

云存储系统的结构模型由四层组成，自下而上分别为数据存储层、数据管理层、应用接口层和数据访问层，如图1所示。

（1）数据存储层

数据存储层将不同类型的存储设备连接起来，实现海量数据的统一存储，同时实现对存储设备的集中管理、状态监控以及容量的动态扩展，实质是一种面向服务的分布式存储系统。

（2）数据管理层

数据管理层为上层提供不同服务间公共管理的统一视图。通过设计统一的用户管理、安全管理、副本管理及策略管理等公共数据管理功能，将底层存储与上层应用无缝衔接起来，实现多存储设备之间的协同工作，以更好的性能对外提供多种服务。

（3）应用接口层

应用接口层是云存储平台中可以灵活扩展的、直接面向用户的部分。根据用户需求，可以开发出不同的应用接口，提供相应的服务，例如数据存储服务、空间租赁服务、公共资源服务、多用户数据共享服务、数据备份服务等。

（4）数据访问层