数学建模数据处理方法范文

时间:2023-12-27 17:20:16

数学建模数据处理方法

数学建模数据处理方法篇1

关键词:地层尖灭;GTP退化;三维建模

三维地质建模是三维GIS在地学领域的应用。广义的三维地质建模是三维地质模型生成、可视化、空间分析和应用的集合体。由于地质体本身的复杂性:侵入体、断层、褶皱、地层尖灭、层序交错等情况的存在,使得地质体自动三维建模存在很大困难。

1、钻孔数据处理

为了便于自动建模计算,专门设计钻孔点数据结构表,该表包含钻孔的编号、名称、地理坐标、地层编号及其他钻孔信息。钻孔点位钻孔中各地层的分界点,是进行三维建模的基础数据。由于钻孔中的地层是自地表乡下递增的顺序编号的,

因此设定钻孔轨迹线上分界点的编号为该点邻接的地层编号,这将给地质建模的构造和自动建模带来极大的便利。

由于钻孔数据存在编号重复、地层缺失等情况,使地质体建模很难自动完成,因此,为实现地质剖面的自动绘制,引入了虚拟钻孔来补充缺失地层,保持地层的完整性。虚拟钻孔是相对真实钻孔而言,在建模过程中,根据需要在特定位置添加的假想性质的钻孔。根据地质勘察人员的经验,选取适当的模型参数,对已有钻孔数据进行插值加密,然后用所有钻孔数据与虚拟钻孔数据比对处理,完成虚拟地层的补充。

2、建模方法的研究

近年来国内外在三维地质体建模方法上做了很多研究,提出了几十种数据处理和建模方法。

目前广泛推荐的地质建模方法:

(a)以DEM为基础,根据地质数据的多层性,建立多层的地下DEM模型;

(b)基于三棱柱体体元的数字地层模型。解决了不同剖面之间轮廓线的分叉问题以及对应和拼接等问题,有效地显示三维层状地层的结构 ;

(c)以广义三棱柱(GTP)作为建模的基本体元,根据钻孔数据的特点和知识推理规则,进行断层等复杂地质构造的推理和自动建模,避免了不必要的人为干预,扩展了钻孔数据建模的适用范围和表现能力。

然而,对于复杂地质构造(断层、尖灭等),目前还没有有效的自动建模方法,本文采用基于GTP退化模型构建三维地质体。

尖灭是地层中常见的现象,即岩层的厚度在沉积盆地边缘变薄以至消失。对于地址建模中涉及到地层尖灭的问题,本文采用一种基于GTP退化模型的三维地质体尖灭够模方法,它是在一般GTP的建模基础上,对生产的模型进行进一步的优化处理,生产比较准确的地质模型。

基于GTP退化模型构建地质体模型的步骤:首先,对原始的钻孔数据进行处理,检查数据的完整性及添加虚拟地层数据,即每个钻孔必须包含所有地层的信息,信息不完整的钻孔上虚拟一点进行补充;其次,对新生成的数据进行地质体建模,生产具有拓扑关系的GTP模型;最后,对生成的GTP模型进行优化处理,GTP模型优化主要分为四种:无退化模型、单点退化模型、两点退化模型、三点退化模型。

为提高建模的准确性,对不同的GTP退化模型,将会有不同的建模方法,主要有2种:GTP边退化模型和GTP面退化模型。

3、应用实例

该方法在多项岩土勘察工程中进行了应用,以鹏利广场项目为例,该场地呈不规则四边形,场地宽83米,长265米,勘探孔按建筑物边角线布置,共布设钻孔36个,实际钻孔深度为25米,35米,36米及50米。采用基于GTP退化模型建立了该区域的三维实体模型,如图1所示。

4、总结

(1)针对复杂地质体现象,采用虚拟钻孔和虚拟地层的方法对钻孔数据进行处理,保证钻孔层序上的完整性。

(2)采用基于GTP退化模型进行三维地质体的构建,该方法能很好解决工程实际中复杂地质体建模问题,是三维模型更加精确。

参考文献:

1. 吴立新,史文中. 地理信息系统原理与算法[M],北京:科学出版社,2003.

2. 侯恩科,吴立新. 三维地学模拟几个方面的研究现状与发展趋势[J],煤田地 质与勘探,2000,28(6):5-7.

3. 吴立新,史文中,Christopher Gold. 3D GIS 与 3D GMS 中的空间构模技术[J],地理与地理信息科学,2003,19(1):5-11.

4.龚健雅, 朱欣焰, 朱庆等. 面向对象集成化空间数据库管理系统的设计与实现. 武汉测绘科技大学学报. 2000, 25(4): 289-293.

5.曹代勇,李青元,朱小弟等. 地质构造三维可视化探讨[J]. 地质与勘探,2001,37(4):60-62

6.程朋根,龚健雅,史文中. 基于似三棱柱体的地质体三维建模与应用研究[J].武汉大学学报(信息科学版),2004,29(6):602-607.

7.陈凌钧,金建荣,汪国昭. 三维重建的统一算法――模拟退火法[J],计算机学报,1997,20(12):1133-1136.

数学建模数据处理方法篇2

关键词:数学建模;MATLAB;数学模型;数值计算

21世纪的今天,我们生活在“大数据”时代里,数据信息隐藏于各行各业,如互联网、股市、勘探、军工、商业等,可以说我们每天都在跟数据打交道,因此高效的数据处理方式显得尤为重要。数学建模是联系实际问题与数学之间的桥梁,建模的思想与以往解决问题的思路有很大的不同,我们以往求解数学问题时,都有明确的目标和已知条件,我们只要通过合理的方法,进行多次的数学运算,便能得到问题的解析解,但在现实生活中,很多实际问题是很难得到解析解的,甚至求解的问题和结果的范围都是模糊不清的,数学建模主要就是解决这样的问题,我们以实际问题出发,根据已有的经验,对已有的数据进行相关的分析、处理,通过合理的简化,建立合适的模型,再求解模型,最终会得到结果,这种方法行之有效,在实际生活中,通过建模已经解决了大量难题,近年来,随着科技的飞速发展,很多数学软件应运而生,如MATLAB、Mathematic、Maple等,目前应用最为广泛的数学软件便是MATLAB,它是1984年由美国MathWork公司推出的商业数学软件,用于算法开发,数据可视化、数值计算的高级计算语言和交互式环境,凭借计算功能强大、操作简便的特点在数学软件中脱颖而出,使得很多人在建模中选择该软件。

为了说明MATLAB软件能够提高数学建模的效率和质量,本文将以2014年高教杯全国大学生数学竞赛A题为例,来演示MATLAB软件在数学建模中的作用,下面首先对数学建模做简要介绍。

1 数学建模简介

1.1 数学建模与数学模型

数学建模一词出现的时间并不是很长,大概可以追溯到30年前,它的出现是基于科学技术的进步,尤其近半个世纪以来,随着计算机技术的进步和发展,数学建模便应运而生,并得到迅速的发展,直到现在已经大致形成了体系,在我国,数学建模比赛也有20多年的时间了,建模参考书籍越来越多,内容越来越完备,不同的书籍对数学建模的定义虽然有所不同,但大致可以归纳位:对实际问题进行分析,做出简化假设,分析其内在规律,并运用数学符号和数学语言将规律描述出来,再用适当的数学工具,得到一个数学结构,该结构称为数学模型,建立数学模型的过程叫做数学建模。

应用数学去解决实际问题时,建立数学模型是至关重要的一步,也是比较困难的一步,建立数学模型的过程,就是把一个实际问题进行合理的简化,并对相关信息进行调查、收集、整理,分析出问题的内在规律,并用数学符号将这种隐含的规律表达出来,然后运用恰当的数学方法对其进行分析、计算,最终解决问题,这一步对建模者的数学基础要求比较高,要求建模者有较为完善的数学体系,并且还要有敏锐的想象力和洞察力,数学建模的作用越来越受到数学工程界的普遍认可,它以成为现代科技者的必备技能之一。

1.2 数学建模的一般步骤

下面结合数学建模的几个环节和数学建模实例,简要介绍MATLAB在数学建模中的一般步骤,模型准备:在建模前要了解问题的实际背景,搜索问题信息,明确求解目的,从而确定用何种数学方法和建立何种数学模型;模型假设:根据实际对象的特征和建模的目的,抓住问题的主要因素,对问题进行合理简化,用精确的语言提出恰当的假设;模型建立:在假设的基础上,利用合理的数学工具刻画各变量、常量之间的数学关系,建立相应的数学结构;④模型求解:利用获取的数据 和已有的数学方法,来求解上一步的数学问题,对模型的参数进行相应计算⑤模型分析:对所建立的模型的思路进行阐述,对所得的结果进行数学上的分析;⑥模型检验:将模型与实际情况进行比较,以此来检验模型的准确性、合理性,如果不符合实际情况需重新建立模型;⑦模型的推广:在现有的模型基础上,对模型进行更加全面的考虑,使模型更能反映实际情况。

2 建模实例

由于MATLAB软件具有很强的数据处理和数据可视化功能,同时具备有操作方便的特点,所以当把MATLAB软件运用在数学建模里时,必将提高数学建模的质量和效率,并能起到事倍功半的效果,下面以2014年高教杯全国大学生数学竞赛A题为例来说明MATLAB软件在数学建模里的重要作用。

2014年高教杯全国大学生数学竞赛题目A题是嫦娥三号软着陆轨道设计与优化问题,嫦娥三号是中国国家航天局嫦娥工程第二阶段的登月探测器,包括着陆器和玉兔号月球车,嫦娥三号在高速飞行的情况下,要保证准确地在月球预定区域内实现软着陆,关键问题是着陆轨道与控制策略问题。在卫星着路的过程中,不考虑主减速段,完全由姿态调整发动机控制水平运动的阶段为粗避障和精避障段,为了节省燃料,应尽量减少卫星在空中的悬停时间。题目中附件三、附件四分别是距月球表面2400米和100米的高程图,根据高程图中的数据信息,我们可以确定最佳的降落位置。我们可以运用MATLAB软件对于高程图的进行处理,首先用MATLAB软件软件中imread命令将其转化为矩阵形式,然后分别做出月球表面立体的三维图和等高线二维平面图,建立数值地形的不同区域,我们可以通过三维图很直观的观察到月球表面具体地形、地貌,通过等高线二维图形,我们可以清楚地看到月球表面地势高低变化成度,从而确定卫星降落地最佳地点。本文只以100米高程图作为例子演示,具体地操作程序以及输出结果如下:

g=imread(‘附件4距100m处的高程图.tif’);

% 用imread函数读取图片信息,注意路径要以电脑中图片的实际路径为准

gg=double(g);

% 将图片中的信息转化为数值矩阵信息以便以MATLAB软件进行后期处理

gg=gg-1/255;

% 将彩色值转为0-1的渐变值以便于观察

[x,y]=size(gg);

% 取原图大小

[X,Y]=meshgrid(1:y,1:x);

% 以原图大小构建网格

mesh(X,Y,gg);

% 呈现三维地貌图

contour(X,Y,gg);

% 呈现月球表面等高线图

grid on

3 结论

从本文数学建模实例可以看出,在建模时,当需要对图片、表格、数据进行处理时,我们可以运用MATLAB软件进行解决,MATLAB凭借其丰富的库函数和工具箱,能够非常方便的解决这些问题,并且将数据可视化,结果清晰明了,显示出其他软件无法比拟的优势,除此之外,MATLAB软件在数据分析、数值计算以及规划、预测等多方面数学问题都占有绝对的优势,因此,我们提倡将MATLAB软件引入教学中去,让更多的学生在建模前了解其相关知识,进行软件操作,这不仅能够激发学生的建模积极性,而且可以使学生掌握一项技能,同时也提高学生动手实践能。

参考文献

[1] 卓金武.MATLAB在数学建模中的应用(第二版)北京航空航天大学出版社 2014

数学建模数据处理方法篇3

(昆明理工大学津桥学院,昆明 650106)

(Oxbridge College,Kunming University of science and Technology,Kunming 650106,China)

摘要:以昆明理工大学津桥学院的虚拟校园建设为例,来说明用Sketchup软件建立三维模型的流程、技术方法。主要对三维模型构建中的数据收集,建筑物的细节建模等所遇到的技术要点进行阐述。通过实践表明该方法在小范围区域应用效果良好,对大范围区域三维建模有参考价值。

Abstract: This paper takes the virtual campus construction of Oxbridge College, Kunming University Science and Technology as the example to expound the process and technology methods of establishing three-dimensional model based on Sketchup. This paper mainly describes the data collection, the details modeling of the building and other key points of the technology in the construction of 3D model. Through the practice, the result of this method shows that the application effect of this method is good in the small-scale positional, and provides reference value for 3D modeling in large-scale positional.

关键词 :数字校园;Sketchup;三维建模

Key words: digital campus;sketchup;3D modeling

中图分类号:TP391.9 文献标识码:A 文章编号:1006-4311(2015)25-0168-02

基金项目:云南省教育厅科学研究基金项目(2013C159),昆明理工大学津桥学院国家大学生创新创业训练计划项目。

作者简介:时盛春(1983-),女,江苏扬州人,昆明理工大学津桥学院,讲师,硕士,主要研究方向为测量数据处理。

0 引言

随着“数字地球”的提出,很多高校建立了数字校园,但很多是基于二维的,不能直观表达校园信息[1],三维的数字校园建模是校园可视化的一个重要方面,通过建立视觉效果逼真的三维虚拟校园,可以将真实的校园景观全方位、立体化地展现在用户面前[2],用户可通过互联网对学校进行浏览、查询,促进了学校对外的宣传[3]。

Google Sketchup功能强大且易学,比其他三维建模软件优势明显:效率高、命令少、界面简洁,建模思路简单明了,能快速的建立三维模型,完全避免其他三维建模软件的复杂性[4]。Sketchup自带材质纹理功能,可以实现快速渲染贴图,提高工作效率。本文以昆明理工大学津桥学院为例,使用Google Sketchup软件,探讨建立三维虚拟校园模型的流程、技术方法。

1 校园三维建模的流程

以津桥学院的1:500的CAD地形图作为建模的底图结合专业建模软件Sketchup进行建模,将津桥学院每个独立建筑物分块建模,最后整合成整体的三维模型。然后将已经处理好的津桥学院实际的纹理材质贴入到Sketchup软件中建立好的津桥学院三维建筑模型进行纹理材质贴图。最后将建立好的树木、道路、草坪、路灯等模型,整合到数字校园三维模型中。(图1)

2 数据获取与处理

建模过程需要两种数据,一是地理数据,主要为建模区域CAD地形图数据(DWG格式)以及建筑物高度数据;二是建筑物表面、树木、道路等纹理材质数据。

2.1 地理数据

本文将1:500地形图作为建模底图,是使用测绘仪器在实地进行测量,接着利用CAD软件进行绘制得到,高度数据也是同样使用测绘仪器利用三角测量得到的。虽然利用测绘仪器进行实地测量会花费很多时间,而且受外界(如天气,地形等)的影响,但是通过此类方法测量得到的数据相对来说是比较精确的。对于阳台、窗户、楼门等长、宽、高等信息则采用钢卷尺量取得到。

2.2 纹理数据

纹理数据通过两种方法获取:①通过高清数码相机对建筑物表面拍照获取实际材质纹理,但是在实地拍摄的时候,建筑物前面的绿化会造成很大的干扰,所以在拍摄时候要选择合适的角度,以减轻在后续通过Photoshop处理时候的难度。②Sketchup软件亦有自带材质纹理,建筑物等表面纹理采用相机获取,对于道路、树木、路灯、草坪等采用Sketchup自带纹理材质。

建筑物表面的材质纹理通过相机拍照获取,利用Photoshop对拍摄的照片进行去除杂色,包括去除绿化所影响的部分,然后进行色调的调整,以及后续的旧修补和镜头变形,得到纹理图(透明纹理和无缝纹理)。最后在Sketchup中进行材质优化。

图2是处理材质的流程图。

3 三维模型的建立

3.1 建筑物几何三维模型建立

按照图1的建模流程建立津桥学院三维模型,首先需要对收集到的1:500津桥学院地形图数据进行处理,删除不需要或无用的图层,如文字标注、高程点、装饰图层等,仅保留建筑物、道路、花坛等有用图层;对于留下的图层进行拓扑处理,检查的面状地物是否闭合,并删除重叠地块;将处理好的地形底图数据(dwg格式)导入Sketchup中。

由于Sketchup软件不支持海量数据显示,在建模过程中模型数据量不能过大,会影响运行的速度,通过分块建模,即将各个建筑物作为一个独立对象进行建模、贴图等,以减少模型的数据量,最后再将各模型与绿化带、操场、空地等整合在一起。

对独立建筑物进行建模之前,在Sketchup中根据CAD地图找到建筑物的位置,然后在Sketchup中建模:根据地形数据找到相应建筑的底层位置——在Sketchup使用推/拉工具建立建筑物主体初步模型——窗户、阳台等建筑物表面模型的建立。建模图形如图5、图6所示。

3.2 纹理映射

本实验中纹理材质数据来自高清数码相机拍照获取和Sketchup软件自带纹理材质设计工具。对于高清数据相机拍照获得的数据由于拍照时光线、位置等因素使得纹理数据无法使用,需要在Photoshop中对其进行处理,方可进行纹理贴图。在Sketchup中双击建筑物组件,既可进行贴图操作。对于场景中的树木、路灯、道路等采用Sketchup自带纹理进行纹理映射。建筑物纹理映射效果图如图7。

3.3 三维景观整合

将分块建立的每个独立模型以及各个点状的模型(如:数木、路灯等)结合地形底图依次把建筑物摆放在地形图相对应的位置上,实现昆明理工大学津桥学院的三维虚拟校园景观,成果图如图8。

4 结论

本文基于Sketchup构建了津桥学院虚拟三维校园模型,介绍了数字校园三维可视化方式的具体实现过程。虚拟三维校园模型可通过其他三维平台(ArcGIS,3D MAX,VRML等)实现资源共享。研究成果可以应用到数字工厂、房地产开发等小范围的三维建模[5],该技术对数字城市、自然保护区等大范围的三维建模也有重要的参考价值。

参考文献:

[1]吴庆双,王楠.安徽师范大学三维虚拟校园系统建设研究[J].重庆文理学院学报:自然科学版,2012,31(1):62-67.

[2]郭雨龙,蔡先华.基于Google Sketchup的三维虚拟校园的建立[C].第十三届华东六省一市测绘学会学术交流会论文集,2011,06.

[3]兰玉芳,付金霞,徐霞,马文勇.基于Sketchup与Arcgis的校园3D GIS的设计与实现[J].遥感技术与应用2013,28(2):346-352.

[4]黄海峰,易武,曾怀恩,等.利用Google Sketchup快速构建滑坡三维模型[J].地球与环境[J].2010,38(3):333-337.

数学建模数据处理方法篇4

【关键词】数据挖掘 知识获取 数据库

数据的迅速增加与数据分析方法的滞后之间的矛盾越来越突出,人们希望在对已有的大量数据分析的基础上进行科学研究、商业决策或者企业管理,但是目前所拥有的数据分析工具很难对数据进行深层次的处理,使得人们只能望“数”兴叹。数据挖掘正是为了解决传统分析方法的不足,并针对大规模数据的分析处理而出现的。数据挖掘通过在大量数据的基础上对各种学习算法的训练,得到数据对象间的关系模式,这些模式反映了数据的内在特性,是对数据包含信息的更高层次的抽象。

一、数据挖掘

数据挖掘是从数据仓库中提取出可信的、新颖的、有效的并能被人理解的模式的高级处理过程。所谓模式,可以看作是我们所说的知识,它给出了数据的特性或数据之间的关系,是对数据包含的信息更抽象的描述。如:成绩优秀的学生学习都非常刻苦;发烧的人是因为患了感冒等。模式的表示方法很多,可以利用图形、文字、表达式等方式表示;所谓处理过程是指数据挖掘是一个多步骤的对大量数据进行分析的过程,包括数据预处理、模式提取、知识评估及过程优化。知识提取往往需要经过多次的反复,通过对相关数据的再处理及知识学习算法的优化,不断提高学习效率。

二、数据挖掘的技术算法

在数据挖掘的处理过程中,数据挖掘引擎是最为关键的,而决定数据挖掘引擎的算法主要有以下几类:

(一)数据挖掘的信息论方法

该类方法是利用信息论原理,计算数据库中各字段的信息量,建立决策树或者决策规则树。比较重要的有ID3方法和IBLE方法。

(二)数据挖掘的集合论方法

粗集方法:在数据库中将元素看成行对象,列元素看成属性(分为条件属性和结论属性)。等价关系定义为不同对象在某个属性上相同,这些等价关系的对象组成的集合称为该等价关系的等价类。条件属性上的等价类E与结论属性上的等价类之间有三种关系:下近似,Y包含E;上近似,Y和E的交非空;无关,Y和E的交为空。对下近似建立确定性规则,对上近似建立不确定性规则(含可信度),对无关情况不存在规则。

概念树方法:数据库中记录的属性字段按归类方式进行抽象,建立起来的层次结构称为概念树。

(三)数据挖掘的仿生物方法

神经网络方法:神经网络通过学习待分析数据中的模式来构造模型,一般可对隐类型进行分类,用于非线性的、复杂的数据。神经网络由“神经元”的互连或按层组织的结点构成。通常,神经模型由三个层次组成:输入、中间层和输出。每一神经元求得输入值,再计算总输入值,由过滤机制比较总输入,然后确定其自己的输出值。可通过连接一组神经元来模型化复杂行为。当修改连接层的“连接度”或参数时,神经网络就进行了“学习”和“训练”。这里,神经网络用恰当的数据仓库示例来训练。目前,神经网络以MP和Hebb学习规则为基础,建立了三大类多种神经网络模型。

三、数据挖掘技术的应用

首先介绍一个著名的实例:SKICAT。然后结合实际具体探讨数据挖掘技术在Bayesian中的应用。

(一)天文数据分析中的数据挖掘

数据挖掘在天文学上有一个非常著名的应用系统:SKICAT[外3]。它是美国加州理工学院(CIT)与天文科学家合作开发的用于帮助天文学家发现遥远的类星体的一个工具。SKICAT既是第一个获得相当成功的数据挖掘应用,也是人工智能技术在天文学和空间科学上第一批成功应用之一。利用SKICAT,天文学家已发现了16个新的极其遥远的类星体,该项发现能帮助天文工作者更好地研究类星体的形成以及早期宇宙的结构。

(二)Bayesian网络中的数据挖掘

Bayesian网是由变量及其关联组成的有向图。它主要用于处理实际应用中遇到的不确定信息。图中还带有各变量的概率分布,定量的概率信息被表示为条件概率表中在决策前对实际问题的先验的理解与把握。

然而,针对实际问题建立一个应用于决策的Bayesian网络时存在两个问题。首先,我们常常是凭个人对问题的经验与理解来建立模型的,因此建立的模型很难反映问题的客观实际。其二,在确定Bayesian网中的条件概率表时,我们需要用定量的数值以支持计算,但实际中,人们很难给出一个具体概率值,一般的应用往往是根据经验,这就要求我们有一个合理的方法,从大量杂乱无序的数据中将它们找到,并填入条件概率表中去。

而数据挖掘技术恰恰为我们提供了一系列有效的方法来寻找隐藏于大规模数据之中的有用数据,以解决以上两个问题。在Bayesian建模中,我们需要找到各变量之间的关联,这种关联与关系数据库理论中的函数依赖(Functional Dependence)近似,后者表示了关系表中各属性(Attribute)之间的依赖关系,而前者表示Bayesian网中各变量是关系表中的属性时,两者的表示含义是一致而和谐的。因而,只要在关系表的元组中发掘出函数依赖,便可以认清Bayesian网中各变量之间的关系,从而给建模予以理论依据,并且在数量上以具体值作为技术支持。

将数据挖掘中函数依赖的挖掘与Bayesian网技术结合起来[外4],将带来以下好处:简化Bayesian网的结构; 根据所挖掘出的函数依赖的置信度,可以使Bayesian网中各结点关联更加清晰且有理可寻。

四、总结

数学建模数据处理方法篇5

一、引言

《中华人民共和国高等教育法》第四十四条明确规定“高等学校的办学水平、教育质量,接受教育行政部门的监督和由其组织的评估”;2010年7月颁布的《国家中长期教育改革和发展规划纲要(2010―2020年)》[ 1 ]中明确提出高校要“改进管理模式,引入竞争机制,实行绩效评价,进行动态管理”;2013年11月12日中国共产党第十八届中央委员会第三次全体会议通过《中共中央关于全面深化改革若干重大问题的决定》[ 2 ]指出要“深入推进管办评分离,强化国家教育督导,委托社会组织开展教育评估监测。健全政府补贴、政府购买服务等制度”。以上一系列政策法律是政府和民间机构开展大学绩效评估的依据,开展高校投入产出效率的研究对于高校的改革与发展具有重大意义。

对于高校投入?a出效率评价的研究,学术界采用的方法大致可以分为参数方法和非参数方法两大类。其中非参数方法主要是数据包络分析方法(DEA)和自由处置壳方法(FDH)[ 3 ]。本文主要采用DEA方法对高校投入产出效率进行分析评价。DEA方法最早是由美国运筹学家Charnes、Cooper和Rhode[ 4 ]提出的一种效率测度法,称为CCR模型。它不需要建立变量之间严格的函数关系,且在多投入多产出的效率测度上具有优势[ 5 ]。它不设置指标的权重,可避免各高校在报送指标数据时因受名次趋动将权重大的指标数值报大,有效避免了指标因权重设置而导致的结果偏差。近年来,有许多不同的DEA模型被运用于绩效管理评价和其他领域,但在实际应用过程中该方法也存在不足之处:只能选取可量化的指标作为样本,许多定性指标无法纳入评价指标的范畴;所有投入产出指标具有相同重要性程度的假设,而具体的指标权重则根据对自己最有利的原则来选取,这样就可能存在多个有效决策单元,以致无法区分有效决策单元之间的差异,即DEA有效决策单元之间不能进行排序。而主成分分析方法(PCA)在指标处理上有优越性,因此在应用DEA方法之前先进行PCA分析既能有效概括投入、产出因素,同时又能避免指标之间的相关性影响[ 6 ]。TOPSIS方法的原理是对目标虚拟决策单元的理想解和负理想解进行排序,高效率的决策单元应距理想解最近,同时距离负理想解最远,因此在进行DEA分析之后进行TOPSIS分析,可以很好地解决有效决策单元之间的区分问题[ 7 ]。本文以福建省20所公办本科高校为例,参考国内外文献[ 3-12 ]建立了分析这20所高校投入产出效率的PCA-DEA-TOPSIS组合模型,以弥补单个模型的偏差和不足,减小评价结果的误差,使分析和评价结果更加客观和符合实际情况。

二、指标选取、样本选择及数据来源

在高校绩效评价中,确立高校投入产出效率评价指标和相关数据的收集是绩效分析的核心内容。指标样本选取的不同可能会影响研究结果的准确度和可信度。因此,科学研究和确定评价指标体系是第一步。目前,国家尚没有任何一个权威机构发布或出台高校投入产出效率水平的衡量指标,本文根据《教育部关于印发〈普通高等学校基本办学条件指标(试行)〉的通知》(教发〔2004〕2号)[ 13 ]的要求并参考以往经典研究成果中应用频率较高的高校投入产出效率评价指标[ 14 ],从中筛选出33个反映高校投入产出的指标作为本文研究的样本。其中:经费收入及发展潜力指标3个、办学条件指标12个、服务社会(社会效益)指标10个、产出指标4个、社会影响力指标4个,详见表1。

各高校基本办学条件指标和监测办学条件指标的投入必须达到国家规定的办学条件和教学工作合格评估的标准,应该避免投入不足或盲目投入,造成教学硬件条件不达标或重复配置及资源浪费。各高校在投入水平基本相同的条件下,产出效率越高效益越好。

三、数据收集

截至2015年末,福建本科高校共计35所。其中:公办本科高校20所,占57.14%;民办高校8所,占22.86%;独立学院7所,占20%。本文收集了2015年福建省20所公办本科高校33个指标数据作为研究样本(具体数据表略),分析研究福建省公办本科高校投入产出效率及其变动情况。本文采用的数据,除了高校占地面积、在校人数、毕业率和就业率由这些高校相关部门提供外,其余数据全部来自福建省教育评估研究中心《福建省普通高校2016年度系列研究报告》[ 15 ]。

四、研究方法与实证分析

(一)采用主成分分析法(PCA)提取投入产出指标的主成分

首先利用SPSS17.0对17个投入指标进行标准化处理,接着对处理过的投入指标进行主成分分析,得到6个主成分,可解释总样本的86.2%。这6个主成分表达式如下:

最后将所得到的投入指标中的6个主成分值作为投入指标,将产出指标中的3个主成分值作为产出指标。这9个指标的值如表2所示。

(二)采用数据包络分析(DEA)进行投入产出效率分析

1.数据预处理

从表2可以看出,主成分分析法提取的这些成分数据有正有负,而DEA模型要求指标都为正数。因此,为了应用DEA进行投入产出效率分析,必须对这些数据进行正向化处理。

正向化处理过的数据如表3所示。

2.DEA模型求解及分析

为了对技术有效性和规模有效性进行判断,本文采用投入导向型的数据包络分析模型并应用DEAP-Version2.1软件在表3的数据条件下对福建省20所公办本科高校的投入产出效率进行分析测算,得到高校综合效率、纯技术效率、规模效率和规模报酬增减情况,如表4所示。在此基础上再分别进行综合效率分析、纯技术效率分析和规模效率分析。

(1)综合效率分析

由表4可知,20所高校中18所高校的综合效率为1,这18所高校产出与投入指标的松弛变量为0,反映了这些高校在投入产出方面DEA是有效的。也就是说,这18所高校的投入与产出比例合适,充分地使用了现有资源并取得了较好的效益。这18所高校的纯技术效率和规模效率都为1,满足了技术有效性和规模有效性,同时它们处于规模报酬不变的阶段,说明投入产出间的比例为最佳。而集美大学、闽江学院的投入产出综合效率分别为0.984、0.927,它们的投入产出规模报酬都递增,所以它们在投入产出方面为非DEA有效。说明如果投入的数量以相同的百分比增加,产出增加的百分比将大于投入增加的百分比,因此这两所高校在现有资源配置效率的情况下,能够获得更高效率的产出效益。这两所大学的综合效率都在0.9以上,综合效率等于纯技术效率和规模效率的乘积。综合效率出现非有效的情况,是由纯技术效率非有效或者规模效率非有效造成的。据此,可以根据具体的情况对纯技术效率或者规模效率进行调整,从而达到综合效率的有效性。

(2)纯技术效率分析

纯技术效率是在考虑规模收益时的技术效率,是考察高校在短期内不考虑规模因素的基础上,资源的实际利用情况。根据表4可以看到只有闽江学院1所高校的纯技术效率是小于1的,但这所学校的纯技术效率也达到0.9以上,其余19所高校的纯技术效率都等于1。因此,从纯技术效率分析角度来看,这20所高校的教学条件及资源配置达到现有办学规模所需要的条件,可以有效确保教学、实验实训课程正常开展和教科研目标任务的完成,不存在盲目重复配置和严重资源浪费问题。

(3)规模效率分析

规模效率是在考虑规模收益时的效率,是衡量一个组织的生产规模是否处在最适合规模的标准。规模效率值等于总技术效率除以纯技术效率。当规模效率值等于1时,表示该高校处于固定规模报酬状态;当规模效率值小于1时,表示该高校处于规模报酬递增或者递减的低效率状态。从表4中可知,厦门大学、福建师范大学、福建农林大学等18所高校处于固定规模报酬状态;闽江学院、集美大学两所高校处于规模报酬递增状态。

(三)采用TOPSIS法对高校投入产出效率进行分析测算

首先用DEA模型将主成分分析所得的9个主成分进行正向化后的数据作为高校投入和产出指标,计算20所高校的值,其结果如表5所示。从表5可以知道厦门大学、福建农林大学、福建师范大学、福建医科大学、福建工程学院处于DEA有效,而闽江学院、集美大学处于DEA弱有效。

其次利用SPSS17.0软件对投入、产出指标分别计算特征值、累积方差贡献率、方差贡献率和因子荷载矩阵,进而计算出主成分的特征值和权重,求得投入指标的综合得分(Z1)模型和产出指标的综合得分(Z2)模型,模型分别如下:

Z1=0.373F1 + 0.13638F2 + 0.11624F3+

0.09015F4+0.7635F5+0.6877

Z2=0.70483F7+0.12205F8+0.6329F9

所得结果如表6所示。

最后利用DEA模型得到表5的?兹和表6的投入综合得分、产出综合得分来做TOPSIS分析?y算,得到最终的评价结果。

五、研究结论

分析结果表明,福建省20所公办本科高校的投入产出效率厦门大学高居第一名,福州大学排名第二,福建农林大学排名第三。得到的其他高校的投入产出效率排名也与福建省教育评估中心公布的高校综合绩效情况基本一致,比较符合实际情况。本文将PCA-DEA-TOPSIS的组合模型首次应用于高校投入产出效率评价,通过建立绩效评价指标体系,收集了可影响高校投入产出效率的33个指标数据作为研究样本,在DEA模型的基础上,创建了基于PCA-DEA-TOPSIS的分析评价模型,对福建省20所公办本科高校投入产出效率进行了实证分析。首先,利用主成分分析(PCA)方法评价高校有效的投入和产出指标;其次,综合运用数据包络分析模型(DEA)进行效率分析,得到高校综合效率、纯技术效率、规模效率及规模报酬增减情况;最后,利用TOPSIS法对福建省20所高校投入产出效率进行分析测算得出最终数据。基于PCA-DEA-TOPSIS的组合模型既吸收利用了传统的主成分分析法和包络分析法的优点,又创新地将TOPSIS法首次运用于高校的投入产出效率分析和评价,有效弥补了传统分析法的不足,具有一定的新颖性和独特性,对当前高校绩效评价具有一定的参考价值和实践指导意义。

六、建议

(一)建立完善的高校数据信息管理体系

建议由省级教育行政主管部门负责收集辖区内本科高校的相关数据资料,并明确各项指标的内涵、标准和范围;各公办本科高校则按要求的时间及时报送本单位指标的数据和相关支撑材料,确保真实准确;在报经教育主管部门审核通过后作为高校绩效评价的基础资料和数据依据,减少主观性偏差对评价结果的影响。

(二)政府购买服务,建立第三方评估模式

建议由省级教育行政主管部门定期组织社会中介机构对本省高等教育的办学绩效进行评估,做到中立、客观和管办分离;利用已有的高校投入产出效率的研究成果,形成一套包括评估程序、衡量指标、评价方法和评价结果公布等内容的完善的第三方评估模式;遵循一定的评估规则,公开、公平和公正地对高校的办学效益进行评估;按年度向社会公布各高校运行整体绩效情况和对比信息,为用人单位选择毕业生、考生择校以及与高校合作办学、捐资助学等单位和个人提供可靠的参考信息和数据,让他们更好地了解大学的办学质量和影响力,营造公开、透明和公平竞争的良好环境。同时,接受高校和社会公众的监督。

(三)重视高校绩效评价结果的利用

数学建模数据处理方法篇6

数学建模是一种数学的思考方法,是运用数学的语言和方法,通过抽象、简化建立能近似刻画并"解决"实际问题的一种强有力的数学手段。建立教学模型的过程,是把错综复杂的实际问题简化、抽象为合理的数学结构的过程。要通过调查、收集数据资料,观察和研究实际对象的固有特征和内在规律,抓住问题的主要矛盾,建立起反映实际问题的数量关系,然后利用数学的理论和方法去分析和解决问题。

工具/原料

调查收集的原始数据资料

Word公式编辑器

步骤/方法

数学建模建模理念为:

一、应用意识:要解决实际问题,结果、结论要符合实际;模型、方法、结果要易于理解,便于实际应用;站在应用者的立场上想问题,处理问题。

二、数学建模:用数学方法解决问题,要有数学模型;问题模型的数学抽象,方法有普适性、科学性,不局限于本具体问题的解决。

三、创新意识:建模有特点,更加合理、科学、有效、符合实际;更有普遍应用意义;不单纯为创新而创新。

当我们完成一个数学建模的全过程后,就应该把所作的工作进行小结,写成论文。撰写数学建模论文和参加大学生数学建模时完成答卷,在许多方面是类似的。事实上数学建模竞赛也包含了学生写作能力的比试,因此,论文的写作是一个很重要的问题。建模论文主要包括以下几个部分:

一、摘要800字,简明扼要(要求用一两字左右,简明扼要(字左右句话说明题目中解决的问题是什么、用什句话说明题目中解决的问题是什么、么模型解决的、求解方法是什么、么模型解决的、求解方法是什么、结果如何、有无改进和推广)。有无改进和推广)。

二、问题的重述简要叙述问题,对原题高度压缩,切记不要把原题重述一遍。

三、假设1.合理性:每一条假设,要符合实际情况,要合理;2.全面性:应有的假设必须要有,否则对解决问题不利,可有可无的假设可不要,有些假设完全是多余的,不要写上去。

四、建模与求解(60~70分)1.应有建模过程的分析,如线性规划、非线模型中目标函数的推导过程,每一个约束条件的推导过程,切记不要一开始就抬出模型,显得很突然。2.数学符号的定义要确切,集中放在显要位置,以便查找。3.模型要正确、注意完整性。4.模型的先进性,创造性。5.叙述清楚求解的步骤。6.自编程序主要部分放在附录中(所用数学自编程序主要部分放在附录中。7.结果应放在显要的位置,不要让评卷人到处查找。

五、稳定性分析、误差分析、1、微分方程模型稳定性讨论很重要。2、统计模型的误差分析、灵敏度分析很重要。

六、优缺点的讨论1.优点要充分的表现出来,不要谦虚,有多少写多少2.对于缺点适当分析,注意写作技巧,要避重就轻。大事化小,小事化了。

七、推广和改进这是得高奖很重要的一环,如有创新思想即使不能完全完成也不要放弃,要保留下来。

八、文字叙述要简明扼要、条理清楚、步骤完整,语言表达能力要强。

九、对题目中的数据进行处理问题对题目中数据不要任意改动,因问题求解需要可以进行处理。如何处理,应注意合理性。1.先按题给条件作一次。2.发表自己见解,合理修改题目。

注意事项

建模过程中要注意时间的分配

数学建模数据处理方法篇7

[关键词]矿产勘查;地质矿产;GIS应用

中图分类号:TG333.7 文献标识码:A 文章编号:1009-914X(2016)14-0347-01

前言:地理信息系统即GIS是指在计算机系统的基础上,运用信息技术和图层处理技术,对收集的地表空间信息进行分析、处理、显示,并利用建模对地理资源、环境等方面进行规划、研究、分析和预测等的人机决策管理系统。地理信息系统(GIS)应用现状目前,具有强大的空间分析功能和空间数据库管理能力的地理信息系统GIS软件纷纷问世,基本平台软件等在各行各业得到广泛应用.GIS可以通过对图形操作实现对空间对象进行分析,在矿产勘查评价过程中实现人机交互,并且可以将评价结果进行可视化展示,为矿产资源多源信息的集成管理提供了非常好的解决方法。GIS已经成为当前地质学家矿产资源勘查的重要手段。

1. GIS在矿产资源勘查中的具有的优势

传统的矿产资源勘查主要是根据专家经验,对预测区域的地、物、化、遥等资料进行分析判断,并利用手工的方法,在图纸上定性圈定矿产预测靶区。应用此方法的矿产勘查评价,仅是处理数据信息,不能进行图形信息处理,另外,勘查评价过程难以将空间对象的复杂关系利用可视化呈现,评价结果的表达不够精确。相比于传统得到矿产资源勘查方法,GIS 在矿产资源勘查中的具有的优势主要包括如下三点。

1.1 GIS综合了多种学科知识

GIS作为一项新兴科学技术应用,不仅包括地理学、地图学、信息科学方面的知识,而且包括了测量学、管理科学和计算机等方面的学科知识,具有极强的综合性。

1.2 GIS具有多种功能

GIS不仅具有空间数据的获取、存储、显示,而且具有空间数据的编辑、处理、分析、输出和应用等功能。

1.3 GIS是完整的解决空间问题的系统

GIS是完整的解决空间问题的系统。它不仅改变了矿产资源勘查的体系,而且简化了勘查过程,从而提高了矿产资源勘查的效率。GIS的这些优势使其可以应用在地质调查、地质矿产预测、地质矿产资源勘查评价等方面。GIS不仅会改变地质工作者的思维方式,而且对矿产资源勘查的研究方法产生深远的影响。

2.GIS在矿产资源勘查中的预测方法

目前,GIS矿产资源预测,主要是利用GIS的基本空间分析功能,研究地质矿产实体的空间关系,对未知地段找矿远景作直观评价,比如通过控矿因素的叠置分析,可以圈出找矿有利地段,其方法可以概括如下四个方面。

2.1数据采集编码

通过对地理、地质、矿产、物探、化探等方面的数据采集和分类,并对属性数据进行编码,将获得的图形进行分层处理,将属性数据与图形数据进行连接匹配,建立多源地学的空间数据库。

2.2探索规律法

根据矿产勘查预测的目标,研究成矿地理区域特征和矿产的特点,得出预测区域的成矿规律,并通过定性的研究确定成矿因子变量,确定评价因子。

2.3建立模型法

在空间数据库和评价因子的前提下,利用空间叠加、数据检索,模型处理等方法,产生矿产勘查预测的专题图层和属性,并建立综合的找矿模型。

2.4空间分析法

利用GIS的空间分析功能和数学预测模型,对专题图层和属性进行可视化分析,得出成矿的地段,并通过建模方法对优选的成矿区域进行资源量估计。?

3.矿产资源勘查GIS 评价工作流程

在GIS没有成为矿产资源勘查的主要手段之前,国内外常用的评价流程,是通过地质、矿质等方面的资料收集,建立空间数据库,并通过成矿信息提取,成矿理论的应用进行矿区预测和圈定。GIS出现之后,由于其多源、多时态、多层次空间信息等方面优势和高效的空间信息分析功能,其逐渐成为矿产资源勘查潜力评价的主要手段。

矿产资源勘查评价流程,第一是通过多源地学方面的信息,比如地质、化探、遥感等方面的信息,建立空间数据库。第二,利用GIS空间分析功能和评价模式,结合矿产地质对比数据和成矿规律研究,对收集的资料进行信息分析和挖掘,第三,基于GIS 技术,对不同数据源信息建立图层,并进行归类,对矿源信息进行空间叠加,进行综合分析和研究,最终圈定矿产勘查的靶区。矿产资源勘查GIS评价工作流程如图1所示。[2]

4.GIS 在矿产资源勘查潜力评价应用

GIS 在矿产资源勘查潜力评价应用主要包括建立基于GIS的数据库、信息要素的提取与模型的建立、矿产资源勘查潜力预测三个方面。

4.1建立基于GIS的空间数据库

我国最早建立的关于矿产勘查的数据库主要是对非空间数据进行管理。目前数据库主要是进行空间数据信息的管理,这些信息不仅包括矿产资源的空间位置,而且包括其可视化分布情况。通过GIS 手段对空间信息进行规范和标准化后,可以建立矿产资源勘查评价的数据库。?空间数据库建立后,可以实现属性和图形信息之间的相互检索的活动,即可以根据地质图形检索地质体的属性信息,也可以根据地质体的属性信息检索地质图形的相应信息。另外,还可以根据属性的组合条件进行查询和检索。比如根据地质图空间数据库中的地层、岩性、构造等属性信息检索出相应的地质体特征,还可以通过地质图形的矿床、钻孔、断层、河流、地层、岩体等检索出它们的属性。空间数据库一旦建立就可以储存在计算机内,并可以根据勘查需要不断进行检索和查询,数据库的建立极大的提高了矿产资源勘查潜力评价的工作效率。

4.2信息要素的提取与模型的建立

信息要素提取是指利用GIS的空间分析功能,把地学数据信息以图层或属性的形式表现,对地学数据信息中的潜在成矿信息进行发掘,提取矿产资源位置和规模的信息。矿产资源勘查潜力评价模型主要基于GIS技术建立,根据矿产资源勘查目标或问题,使矿产资源的概念模型表达为具象化的可操作要素。。矿产资源勘查潜力的评价模型包括反映矿床成矿模型、综合标志找矿模型、矿床地质环境模型和社会经济模型等内容。GIS可以在潜力评价模型的建立过程中表达各种要素,例如在矿床模型中,利用GIS可把模型的要素表示为成矿地质背景、矿床成矿要素、成矿产物、成矿标识等. 矿产资源勘查潜力预测,主要是利用GIS对矿带、地质、地球物理和地球化学图进行分析,利用组合图进行潜力评价和预测。

结语

地质勘探在我们的生活中扮演着重要角色,随着科学技术的进步和生产力水平的不断提高,矿产资源的工业价值和利用程度也将不断提高。鉴于矿产资源在经济发展中的重要作用,我国已经将矿产资源勘查潜力评价作为制定国家矿产资源战略、加强资源宏观调控的重要举措。虽然我国将GIS技术应用于矿产资源潜力评价,并取得了一些成果,但是仍存在欠缺,我国GIS 在理论和应用方面都有很大的进步空间,我们应当致力于对地质勘探技术的研究,为人民提供丰富的资源.

参考文献

[1]邬伦,刘瑜,张晶,等.地理信息系统D原理、方法和应用[M].北京:科学出版社,2012.

数学建模数据处理方法篇8

关键词:深度学习;金融风险管理;卷积神经网络;深度置信网络;堆栈自编码网络

一、引言

金融市场上的主体都面临着收益和损失的不确定性,金融产品和工具的多样化趋势,都体现着风险管理的重要性。全球市场在过去的几十年间发生了数次规模巨大的金融危机事件,例如影响全球股市的1987年的黑色星期一事件、1997年的亚洲金融危机、2008年的美国次贷危机以及全球金融危机。各家公司也都面临着各种风险。无处不在的风险日益成为悬在金融市场主体上的一把“达摩克利斯之剑”。与此同时,计算机技术发展迅速,数据信息的多样性以及数据分析技术的应用,给具有大数据特征的金融风险管理分析带来了机遇和挑战,人工智能开始逐步应用于金融风险管理领域,引导着行业的变革。而在演进的发展过程中,深度学习是解决人工智能应用能够发展的关键。金融市场是一个嘈杂的、具有非参数特点的动态系统,对金融数据进行分析与预测是一项极具挑战性的工作。但是,传统的计量方程模型或者是带有参数的模型已经不具备对复杂、高维度、带有噪音的金融市场数据序列进行分析建模的能力,而且传统的人工神经网络方法也无法准确分析建模如此复杂序列的数据,同时传统的机器学习的方法又十分依赖建模者的主观设计,很容易导致模型风险。这些方法在应用过程中存在着过拟合、收敛慢等问题。而深度学习方法为金融数据分析提供了一个新的思路。近年来,深度学习被广泛应用到人工智能任务中(如AlphaGo),并在图像处理、人脸识别、语音识别、文本处理等方面取得一系列成果。因此,随着金融数据复杂程度的提高,带来了对其分析需求的提升,因而深度学习的应用已经成为了金融风险管理领域的研究前沿,也必将在金融风险管理领域产生颠覆性的变革。

二、深度学习在金融风险管理领域主要应用研究

深度学习是通过人工神经网络发展而衍生的,包含复杂多层次的学习结构,其建立是基于模仿人类大脑的学习机制。深度学习模型通过对每一数据特征的学习,继而将新的特征输入到下一层中,在这个过程中新的特征是通过对学习到的数据特征进行特定的特征变换得到的,提升了模型的预测效果。堆栈自动编码器和深度置信网络模型是由自动编码器和受限玻尔兹曼机串联而组成的(Najafabadietal.,2015),在针对大量数据时,这类结构具备对其进行无监督学习(HintonandSalakhutdinov,2006);在运用深度置信网络时,其算法主要包括马尔科夫链蒙特卡罗算法、Gibbs采样算法、受限玻尔兹曼机评估算法、重构误差、退火式重要性抽样等。卷积神经网络最早被用于图像识别领域,使其技术上在特征提取技术方面迈了一大步,应用原理为通过应用卷积核于局部特征提取得到新的模糊图像。在深度学习模型中,存在传统反向传播算法和梯度下降法计算成本较高的问题,为了进一步更好地应用深度学习模型,解决这些问题,Hintonetal.(2006)提出了贪心逐层算法,大大地减少了训练学习过程所需的时间。Raikoetal.(2012)发展了一种非线性变换方法,极大地提升了学习算法的速度,从而有利于寻找泛化性更好的分类器。Collobert(2011)发展了一种快速并且可以扩展的判别算法,使其用于自然语言解析,仅仅使用很少的基本文本特征便能得到性能,并且与现有的性能相差不大,而且大大提高了速度。学习率自适应方法如自适应梯度方法(Duchietal.,2011),可以提升深度结构中训练的收敛性并且除去超参数中存在的学习率参数;LeRouxetal.(2008,2011)提出了在学习场景中能提升训练过程速度的算法。这一系列算法改进,极大地改善了模型的预测效果,为深度学习在金融领域的发展奠定了基础。

(一)深度卷积神经网络在金融风险管理中的应用。

在金融风险管理领域,深度卷积神经网络主要应用于预测及评估风险。不同于传统方法,深度学习模型不需要对收益率的分布进行假设和方差的估算。李卓(2017)提出了深度学习VaR测算方法,基于损失序列本身构建深度学习模型,研究发现此方法相较于ARCH族模型下的VaR计算更为精确。基于此,韩正一(2016)拓宽了银行风险监测和管理的方法和思路,应用最新的人工智能技术,即深度神经网络方法,于信贷风险监测领域,优化模型的训练方法,经过测试发现效果显著。Sirignano(2016)以深度神经网络为基本结构,基于真实事件的发生概率建立了深度学习模型,通过模拟价格的深层信息的D维数据空间局部特征生成一个低维的价格空间,从而对价格进行预测。该模型不仅能够应用与分析样本外时间的最优卖出价格和最优买入价格的联合分布,也能够对限价指令簿的其他行为进行建模分析,适用于对任一D维空间数据进行分析建模。他进一步指出,因为深度神经网络可以较好地提取限价指令簿的深层信息,故在应用于风险管理中,能较好地处理尾部风险,其研究具有特别的意义。

(二)深度置信网络在金融风险管理中的应用。

深度置信网络在金融风险管理中的应用主要是对风险进行度量和预警。为了解决有监督学习问题,使受限波尔兹曼机能够较大程度地提取数据的行为特征,卢慕超(2017)提出了基于分类分区受限波尔兹曼机的深度置信网络,利用单户企业财务数据,建立了财务危机预警模型,相较于其他方法预测更为准确。丁卫星(2015)基于深度置信网络模型,训练生成了一个五层的深度学习交易欺诈侦测系统,经过对数据的一系列处理,检验了模型的交易欺诈识别效果。

(三)堆栈自编码网络在金融风险管理中的应用。

杨杰群(2015)认为深度学习是处理股指期货的有效方法,将深度学习网络用于股指期货的预测中进行研究,基于自动编码器等算法建立深度学习网络模型,并进行对比分析,最终根据交易抉择设计了用于交易的网络预测系统。另外,对金融产品与工具的有效管理,能够有效地避免一些金融市场上的非系统性风险。FehrerandFeuerriegel(2015)基于递归自动编码器预测模型,利用2004年1月至2011年6月期间的股票数据,测试对已披露财务信息的反应。他们重点研究了特殊的新闻文本信息和异常收益率之间的相关关系,基于此模型对其进行预测。还有部分文献中,重点研究分析财务文本与风险信息的相关关系,对其进行风险预测。从银行、国家、欧洲三个层面,基于银行破产事件、政府干预行为等来研究分析文本信息中隐藏的银行危机信息,基于深度神经网络结构来挖掘其中的关系。

三、深度学习在金融风险管理领域中的应用贡献及挑战

(一)深度学习在金融风险管理领域中的应用贡献。

传统方法在应用于具有复杂数据特征的金融风险管理领域容易出现以下问题:第一,传统建模方法往往难以挖掘复杂的数据特征,传统方法无法准确地反映金融市场特征,容易忽略很多外因,如政策变化、经济发展水平、行为人预期及心理变化等与市场相关的因素,这些因素增加了发现金融风险隐藏的经济理论逻辑的困难(尚玉皇和郑挺国,2016);第二,传统模型由于过度依靠研究者的主观设计,包含了主观因素,导致设计具有不完整性的特征。另外,传统的线性方法需要强烈的“线性”假设,而传统的机器学习方法无法较好地处理噪音信号。这些问题制约了对金融市场中数据的准确预测与分析。通过梳理已有相关国内外研究文献,在金融风险管理领域中,深度学习的贡献主要分为两个方面:一是深度学习具备强大的挖掘学习能力,能够更为准确地挖掘隐藏于数据深层的规律,更适用于具备规模大、维度高以及流数据的数据特征的金融市场,深度学习的应用不但推动了该领域中的预测方法的改进,还优化了适用于深度网络、解决无效训练问题的算法,带来了传统实证应用研究方法的进步;二是深度学习在金融风险管理领域数据分析方法的成果也推动了相关经济理论的发展与完善。

(二)深度学习在金融风险管理领域中的应用挑战。

金融科技的不断发展给金融风险管理领域带来了机遇,同时深度学习在金融风险管理领域也面临着诸多挑战。第一,深度学习的应用面临着程序出错的风险,如果发生,那么基于此的数据分析就容易得到有误的结论。在金融风险管理过程中,基于对大量数据分析的结果,进而对风险进行预测和评估分析。如果程序发生了错误,研究者就无法做出正确的风险管理决策,进而遭受损失;第二,深度学习模型的正确运用需要研究者对深度学习模型具备深刻的理解,并且能够结合在金融风险管理领域的专业理论知识。由于模型的构建与优化较为复杂,研究者对金融市场及风险管理理论的准确认识极为重要,不了解相关理论知识,而单纯应用深度学习无法发挥模型的作用;第三,深度学习模型的发展及推广应用使得许多金融传统业务的运作模式发生了改变,使金融监管面临着新的挑战。现有的金融监管体系下难以界定由于金融科技故障进而导致的风险事件责任。这些都使得深度学习模型的应用存在一些问题。

四、在金融风险管理领域中合理运用深度学习的对策建议

在金融风险管理领域正确地运用深度学习模型有利于提升金融数据的处理速度、极大减少人力成本,进而推动金融风险管理过程的改进。同时,其应用也会存在着挑战。为此,探讨如何合理运用深度学习模型的问题具有深刻的意义。首先,需要正确认识金融系统中的深度学习运用,完善模型程序设计的原则及流程,尽量降低程序出现错误的概率;其次,完善深度学习的应用体系,制定相关的维护技术措施、人力措施,引进及培养相应领域的人才,加快转型;最后,完善深度学习在金融风险管理领域应用的监督措施,确保出现由于人工智能应用导致的重大问题或隐患时,具备相应的准则来界定风险处置责任。深度学习模型的应用在相关领域的完善也必将推动金融风险管理领域的快速发展。

主要参考文献:

[1]于孝建,彭永喻.人工智能在金融风险管理领域的应用及挑战[J].南方金融,2017(9).

[2]苏治,卢曼,李德轩.深度学习的金融实证应用:动态、贡献与展望[J].金融研究,2017(5).

[3]于振,丁冰冰,刘永健.深度学习在农村金融行业风险管理中的应用研究[J].科技资讯,2017.15(15).

[4]刘建伟,刘媛,罗雄麟.深度学习研究进展[J].计算机应用研究,2014.31(7).

[5]卢慕超.基于深度置信网络的商业银行信用风险预测实证研究[D].太原理工大学,2017.

[6]李卓.基于深度学习的VaR测算研究[D].兰州财经大学,2017.

[7]韩正一.基于深度神经网络的银行信贷风险监测模型研究及实验[D].郑州大学,2016.

[8]杨杰群.基于深度学习之股指期货交易[D].中国科学技术大学,2015.

上一篇:如何搭建供应链管理体系范文 下一篇:景观规划设计的意义范文