EDI技术在集装箱运输市场应用研究

摘要:在信息技术高速发展的知识经济时代,EDI技术在航运市场的应用不但得到了肯定,而且已经形成了全球性的EDI网络。该文主要分析数据仓库系统的结构和建立,其次对基于EDI信息的集装箱运输市场系统进行分析。目的在于对于EDI技术如何进一步加工提炼信息增值服务,为众多港航EDI用户的日常运作提供更多的信息支持。

关键词:EDI技术;数据仓库系统;市场分析系统

中图分类号:TP311文献标识码:A文章编号:1009-3044(2009)22-pppp-0c

EDI是英文Electronic Data Interchange三个单词的首字母或者这个词组的缩写。从字面意义上看,EDI的定义很广泛,包括了计算机通信和数据处理的方方面面。在航运市场,尤其是在集装箱运输市场的EDI信息增值服务方面,为规范其日趋激烈的竞争,在增加相关信息的透明度方面做出了比较成功的努力。比如ED工中心、航运企业组织等,建立了集装箱运价/运量报备体系、借助集装箱运价指数的编制设计了一些企业统计数据机制、定期了集装箱运输市场分析报告等,但这些做法虽然对提高市场信息透明度起到了一定的积极作用,却仍然普遍存在信息不全面,干扰信息过多等缺陷。由于EDI系统传送的信息是最全面和最精确的,因此,如何进一步提炼EDI信息并加以分析,就成了解决这些缺陷,建立基于EDI信息的集装箱运输市场分析系统的核心内容。

1 数据仓库系统的建立

1.1 数据仓库概述

数据仓库,又叫信息仓库,是一个面向主题的、集成的、非易失的且随时间变化的数据集合,用来支持企业或组织决策分析的数据的集合。数据仓库概念提出的意义主要在于建立一种数据存储体系结构,把分散的、不利于访问的数据转换成集中、统一、随时可用的信息,从而可以集成不同形式的数据,并为数据分析产品提供系统开放性。数据仓库为不同来源的数据提供一致的数据视图,一旦与数据挖掘、联机分析处理等数据分析方法相结合,就能使数据得到更充分的利用。

1.2 数据仓库的结构

数据仓库是在原有关系型数据库基础上发展形成的,但不同于数据库系统的组、织结构形式,它从原有的业务数据库中获得的基本数据和综合数据被分成一些不同的层次。一般数据仓库的结构组成如图1所示。包括当前基本数据(current detail data)、历史基本数据(older detail data)、轻度综合数据(lightly summarized data)、高度综合数据(highly summarized data)和元数据(meta data)。

1) 当前基本数据:是最近时期的业务数据,是数据仓库用户最感兴趣的部分,数据量大。

2) 历史基本数据:来自当前基本数据,即当前基本数据随时间的推移,由数据仓库的时间控制机制转为历史基本数据,一般被转存于一些转换介质中,如磁带等。

3) 轻度综合数据:是从当前基本数据中提取出来的,设计这层数据结构时会遇到“综合处理数据的时间段选取,综合数据包含哪些数据属性和内容”等问题。

4) 高度综合数据层:是最高一层,这一层的数据十分精练,是一种准决策数据。

5) 元数据:整个数据仓库的组织结构是由元数据来组织的,它不包含任何业务数

据库中的实际数据信息。

1.3 数据仓库系统

从概念上而言,数据仓库系统包括数据仓库(DW)、数据仓库管理系统(DWMS)和数据仓库工具集三大部分(如图2)。

但数据仓库并非一个简单的由各种数据合并而成的超大型数据库,而是一种专为联机分析应用和决策支持系统DSS提供数据源与决策工具的结构化数据环境。它涉及数据的抽取、转换、装载、数据存取、元数据管理、查询、报表、分析工具及相应的开发方法学。数据仓库存储的供查询和决策分析用的集成化数据包括三个方面的基本功能:数据获取、数据存储和管理、信息访问。它把领域内相关的数据项收集、归纳、集成起来,解决了数据冲突、表达不一致等问题,面向复杂的数据分析―支持决策过程,可并行地提供实时的信息服务。因此,数据仓库系统(DWS)由源数据、数据仓库(Dw)及其管理系统(DWS)和分析工具三部分组成,它的应用是一种典型的C/S结构,客户端的工作包括客户交互、格式化查询及结果和报表生成等;服务器端完成各种辅助决策的SQL查询、复杂的计算以及其它各种综合功能。

2 运输市场分析系统的建立

基于EDI信息的集装箱运输市场分析系统有三层结构模式,即基础数据层、数据管理层和分析应用层。基础数据层即外部港航EDI数据库,主要针对集装箱运输市场的EDI数据,包括船舶信息、船公司信息、集装箱信息、订舱信息、运费信息、货物信息、堆存信息等几大类信息。数据管理层以数据仓库作为应用的基础,这种管理模式有利于克服传统数据库管理模式的不足,能够高效、有序地管理庞大复杂的EDI数据,又不影响系统的效率和数据库的更新能力。分析应用层则以集装箱运输市场分析的应用平台为主,主要进行对集装箱运输市场统计分析的查询服务。如下图3所示:

因为港航EDI信息的数量非常之大,而且往往都是杂乱无章,有用信息与无用信息混合在一起,使得通过EDI获得数据首先要经过第一步的数据净化,即先提取出有用信息,剔除无用甚至垃圾信息,再将干净的数据装载入数据仓库之中。外界港航EDI提供的信息有船舶信息、集装箱信息、港口信息、堆场信息以及提单信息等等。但其中对于集装箱运输市场分析有用的只有一部分,比如船期表(IFTSAL)中包含的船名代码、船名、吨位、可载箱数等,集装箱交接单(CTNJJD)中的箱号、箱尺寸、船名、航次等,这样就需要先把这些信息进行加工处理,必须先从数据库中采集各类数据,重整结构后归类存放于数据仓库中,再根据各类数据的特性重新组合和调整这些数据。因此EDI数据的抽取、转换和载入(ETL)可包括四个部分:

l) 抽取外界港航EDI数据库中的有用数据:船舶名称、船舶公司名、船舶所属航次、船舶离港日期、船舶离港地点、船舶载箱数、集装箱箱重、尺寸、状况、交货港、卸货港、中转港、订舱信息、拒绝订舱信息、运费、集装箱进场日期、出厂日期等。对无用的数据进行剔除:集装箱残损程度等。

2) 对抽取的数据进行转换,保证类型和结构的统一,比如:日期和时间格式的统一等。

3) 把调整后的数据装入数据仓库:对从外界港航EDI数据库中抽取、转换的数据进行分析、汇总、统计后载入集装箱运输市场数据仓库。

4) 刷新数据仓库中主题库信息:以“市场规模”、“市场供需”、“供需平衡”和“市场服务”为四大主题。

3 集装箱运输市场分析系统的实现

基于EDI信息的集装箱运输市场分析系统的实现以三层结构模式的第三层,即分析应用层为主。通过一个集装箱运输市场统计指标查询体系,使得用户可以直接获得集装箱运输市场的统计信息,使信息精简、规范、清楚;系统开发的总体任务是使集装箱运输市场分析数量化。

以集装箱运输市场统计指标用户查询作为集装箱运输市场分析模型应用平台的人机界面。主界面采用菜单形式,一共分为市场规模、供需情况、供需平衡和市场服务四个主菜单,然后分别加入开辟航线数、每月航班数、投入运力、当年累计集装箱进出口箱量和市场运力集中度、运力结构、分航线进出口箱量及比重和船舶箱位利用率、不平衡系数、平均运价、船舶运力比重和平均箱重、分箱型比重、分箱种比重这十四个子菜单。本系统需要完成的功能主要即集装箱运输市场统计指标的查询,在集装箱运输市场统计指标体系中包括了对市场规模、供需情况、供需平衡和市场服务四部分的查询。

4 结束语

目前集装箱运输市场在EDI信息增值服务方面仍然存在着缺陷,比如:透明度不够高、干扰信息过多等。该文就是针对干扰信息过多的缺陷,把重点放在如何进一步提炼EDI信息使其增加实用性的问题上,对基于EDI信息的集装箱运输市场进行分析研究。以市场供需关系为前提,从市场规模、供需状况、供需平衡和市场服务四个方面考虑,分别建立了三套面向集装箱运输市场、集装箱运输企业和港口企业的集装箱运输市场指标体系,并在此基础上构造了一个基于EDI信息的集装箱运输市场分析系统,使得对EDI信息进一步进行提炼分析处理变成可能。

参考文献:

[1] 郑广,李建政,张义军.应用数据仓库技术实现民航决策支持系统[J].计算机工程与应用,2002,5:249-252.

[2] 王新洲,柳宗伟,陈顺清.城市人口地理信息系统建设模式探讨[J].武汉大学学报,2001,26(3):226-230.

[3] 徐涛.数据挖掘技术在绿化决策中的应用[J].管理信息系统,2000,(6):18-21.

[4] 冯建生,王秀芝.数据挖掘技术在宝钢配矿系统中的应用[J].计算机应用与软件,2001(3):24-26,39.