属性依赖理论及其在神经网络中的应用

摘 要:神经网络的优化方法一般仅局限于学习算法、输入属性方面。由于神经网络拟合的高维映射存在复杂的内在属性依赖关系,而传统的优化方法却没有对其进行分析研究。以函数依赖理论为基础,提出了属性依赖理论,阐述了属性依赖的有关定义,证明了相关定理;并且与径向基函数(RBF)神经网络结合,提出了基于属性依赖理论的RBF神经网络结构优化方法(ADO-RBF)。最后通过实例证明了该方法在实际应用中的可行性。

关键词:函数依赖;属性依赖;属性空间;高维映射;复合型神经网络

中图分类号: TP138

文献标志码:A

Attribute dependency theory and its application on neural network

FANG Liang-da1, YU Yong-quan1,2

(

1. Faculty of Computer, Guangdong University of Technology, Guangzhou Guangdong 510090, China;

2. Department of Computer Science, Guangdong Baiyun University, Guangzhou Guangdong 510450, China

)

Abstract:

Neural network optimization methods are generally confined to learning algorithms and input attributes. Due to the higher dimensional mapping which neural network fits contains complex intrinsic attribute dependencies. And the traditional optimization methods have not conducted the analytical study to it. The article puts forward the attribute dependency theory based on functional dependency theory and elaborates the definition of the attribute dependency theory and infers its theorem. Combining with the RBF neural network, it proposes a new neural network optimization method based attribute dependency theory (ADO-RBF).

Neural network optimization methods are generally confined to learning algorithms and input attributes. Due to the high-dimensional mapping that neural network fits contains complex intrinsic attribute dependencies, the traditional optimization methods have not conducted the analytical study on it. The article put forward the attribute dependency theory based on functional dependency theory, elaborated the definition of the attribute dependency theory, and proved related theorem. Combining the Radius Basis Function (RBF) neural network, a new neural network optimization method based on attribute dependency theory (ADO-RBF) was proposed.

Key words:

functional dependency; attribute dependency; attribute space; high-dimensional mapping; composite neural network

0 引言

由于神经网络的自学习能力,使得神经网络在低维空间的映射逼近能力较强,并且逐步地代替数学公式来拟合低维空间上的函数。但是,随着社会的发展需要,高维空间上的映射拟合已经成为了人工智能的重要研究方向之一,并且在这方面已经取得许多研究成果。例如,文献[1-3]基于改进神经网络的参数的学习公式的思想,分别提出了结构简单的分式线性神经网络、SEFNN学习算法和多目标微粒群学习算法,为神经网络的精确性和复杂性的寻优问题提供了一种新的解决方法。文献[4] 提出了基于Hebb规则的分布式神经网络学习算法。文献[5-9]基于神经网络集成方法,提出了各种改善多个神经网络集成结构的方法,提高神经网络的泛化能力与仿真精度。文献[10]基于改进神经网络的内部神经元,提出了一种分式过程神经元网络,该模型是基于有理式函数具有的对复杂过程信号的逼近性质和过程神经元网络对时变信息的非线性变换机制构建的,其基本信息处理单元由两个过程神经元成对偶组成,逻辑上构成一个分式过程神经元,是人工神经网络在结构和信息处理机制上的一种扩展。文献[11]中提出一种基于主成分分析和神经网络的高维映射拟合方法,利用主成分分析法提取样本中的输入维度主成分,实现样本的输入维度的最优压缩,有效减少输入层神经元个数,提高神经网络的学习速度和拟合精度。文献[12]提出了一种基于人工免疫原理的径向基网络函数映射模型,使用新的克隆选择算法和免疫抑制策略,通过中间层可行解的抽取算法EAHLFS,能在聚类数目未知的情况下,生成径向基网络的中间层,与传统的基于聚类算法的径向基神经网络函数映射模型比较,AIP-RBF具有更快的收敛速度和更高的求解精度。文献[13]提出了高维多输入分层神经网络,将一部分输入节点移至其某些隐层,减少连接权值,能够在同样的时间内达到比原神经网络更好的学习效果。

但是,上述文献仅仅从学习算法、集成网络方面对神经网络进行改进,并没有考虑从样本数据中的各类属性对内部网络结构进行优化。本文结合样本中各类属性之间的关系,通过对函数依赖理论的分析与研究,提出了属性依赖理论,并在此理论基础上,提出一种新的神经网络优化方法ADO-RBF。

1 属性依赖的基本理论

1.1 映射及其属性的基本概念

定义1 设X(xi∈X)和Y(yj∈Y)是两组属性的集合,如果存在某种对应法则f,对于X中的任何一个元素,在Y中都有唯一的元素和它对应,这样的对应f叫作从集合X到集合Y的映射,记作Y=f(X)[14]。当X,Y都属于高维属性集合时, f称为从集合X到集合Y的高维映射。

其中xi为该映射的外输入属性,yj为外输出属性。为了方便表示,设Xi={xi},Yj={yj},称为单元属性集。

由于在高维映射中存在各种子映射。例如定义1中的Y=f(X)包含了Yj=fj(X)(YjY,fj∈f)。所以存在子映射,使得输出属性yj作为该映射的输入属性。

1.2 属性依赖的基本概念

在数据库领域中,E.F.Codd给出了函数依赖的定义[15],但是他只定义了属性之间是否存在依赖关系,却没有定义两者之间的依赖关系程度。本文在此基础上,给出高维空间中数据之间的依赖关系程度的定义。

定义2 设S为样本空间的属性集合,X和Y是S中的任意子集,存在某种映射f,使得Y=f(X)成立,则称Y属性依赖于X,或者X属性决定Y (记作XY)。

定义3 当XY且YX,则称XY是非平凡的属性依赖。

定义4 当XY且YX,则称XY是平凡的属性依赖。

注意:若不特别声明,则讨论的XY是非平凡的属性依赖。

定义5 属性空间(Ω,F,μ)是一个总测度为1的测度空间,即μ(Ω)=1。

其中Ω是一个非空属性集合,称作属性空间。

F是属性空间Ω的幂集的一个非空子集,F的集合元素也是一个属性集合,并且满足以下条件:

1) Ω∈F;

2) 若Xn∈F,n=1,2,…,则∪∞n=1Xn∈F

μ称为属性测度,是一个从属性集合F到[0,1]的函数,μ:F[0,1]。每个属性集都被此函数赋予一个0~1的数值,且μΩ(Ω)=1。

┑4期 搅即锏:属性依赖理论及其在神经网络中的应用

┆扑慊应用 ┑30卷

定义6 如果XY,且存在直接映射f,使得Y=f(X)成立,则称Y直接属性依赖于X(记作XDY),并且称d(X,Y)为XDY的直接属性依赖度,其取值范围为[0,1]。

其中,当d(X,Y)=0时,X\DY;当d(X,Y)=1时,称Y完全直接属性依赖于X(记作XFDY);当0

在属性依赖中,存在最小直接依赖集Z,使得ZFDY。即对于Z的任意非空真子集Zi(即ZiZ,Zi≠),都使得ZiPDY成立。其中(Z,X,μ)为属性空间,而d(X,Y)=μZ(X)。

直接属性依赖度函数满足下列条件。

1)非负性。对于任意两个属性集合X和Y,有d(X,Y)≥0。

2)规范性。如果Y完全直接属性依赖X,则d(X,Y)=1。

3)左侧可加性。设X1,X2,…,Xn是两两互无交集的属性集合,即i,j≤n,i≠j,Xi∩Xj=,则有:

d(∪ni=1Xi,Y)=∑ni=1d(Xi,Y)(1)

4)右侧可乘性。设Y1,Y2,…,Yn是两两互无交集的属性集合,即i,j≤n,i≠j,Yi∩Yj=,则有:

d(X,∪ni=1Yi)=∏ni=1d(X,Yi)(2)

由直接属性依赖的定义,可以推出直接属性依赖的一些重要定理。

定理1 当Y≠潦,d(,Y)=0。

证明 令Xn=(n=1,2,…),则∪ni=1Xi=,且i,j∈N,i≠j,Xi∩Xj=,由左侧可列可加性(1)可得:

d(,Y)=d(∪ni=1Xi,Y)=∑ni=1d(Xi,Y)=∑ni=1d(,Y)

由于d(X,Y)≥0,故由上式可知当Y≠潦,d(,Y)=0。

定理2 d(X,)=1。

证明 令Yn=(n=1,2,…),则∪ni=1Yi=,且i,j∈N,i≠j,Yi∩Yj=,由右侧可列可加性(2)得:

d(X,)=d(X,∪ni=1Yi)=∏ni=1d(X,Yi)=∏ni=1d(X,)

由于d(X,Y)≤1,故由上式可知d(X,)=1。

从定理1、2可以看出:当左侧属性集合为空时,左侧属性无法直接决定右侧属性;当右侧属性集合为空时,任意左侧属性集合(包括空属性集)都可以直接决定右侧属性。

定理3 设X,Y,Z是属性集合,若XY,则有:

d(Y-X,Z)=d(Y,Z)-d(X,Z)(3)

d(X,Z)≤d(Y,Z)(4)

证明 由XY可得Y=X∪(Y-X),且X∩(Y-X)=,再由条件3)可得:

d(Y-Z,Z)=d(Y,Z)-d(X,Z)

式(3)得证。

又由定义5,可得d(Y-X,Z)≥0,因此:

d(X,Z)≤d(Y,Z)

式(4)得证。

证毕。

定理4 设X,Y,Z是属性集合,若YZ,则有:

d(X,Z-Y)=d(X,Z)d(X,Y)(5)

d(X,Y)≥d(X,Z)(6)

证明 由XY可得Y=X∪(Y-X),且X∩(Y-X)=,再由条件4)可得:

d(X,Z-Y)=d(X,Z)d(X,Y)

式(5)得证。

又由定义5,可知0≤d(Y-X,Z)≤1,所以:

d(X,Y)≥d(X,Z)

式(6)得证。

证毕。

定理5 d(X∪Y,Z)=d(X,Z)+d(Y,Z)-d(X∩Y,Z),当X∪Y=潦,d(X∪Y,Z)=d(X,Z)+d(Y,Z)。

证明 因X∪Y=X∪(Y-X∩Y),且X∩(Y-X∩Y)=,X∩YY,故由条件3)与定理3得:

d(X∪Y,Z)=d(X,Z)+d(Y-X∩Y,Z)=d(X,Z)+

d(Y,Z)-d(X∩Y,Z)

证毕。

定理6 d(X,Y∪Z)=d(X,Y)•d(X,Z)d(X,Y∩Z),

当Y∪Z=潦,d(X,Y∪Z)=d(X,Y)•d(X,Z)。

证明 因Y∪Z=Y∪(Z-Y∩Z),且Y∩(Z-Y∩Z)=,Y∩ZZ,故由条件4)与定理4得:

d(X,Y∪Z)=d(X,Y)•d(X,Z-Y∩Z)=

d(X,Y)•d(X,Z)d(X,Y∩Z)

定义7 当XDY,YDZ,且Y∩X=,Y∩Z=,则称Z的Y一阶传递属性依赖于X(记作XT(1)YZ),并且称tY(X,Z)为XT(1)YZ的Y一阶传递属性依赖度,其取值范围为[0,1]。

其中:

t(1)Y(X,Z)=d(X,Y)•d(Y,Z)(7)

定理8 当Y∪T=潦,t(1)Y∪T(X,Z)=d(X,Y)•d(X,T)•[d(Y,Z)+d(T,Z)]。

证明 由式(3)可得,t(1)Y∪T(X,Z)=d(X,Y∪T)•d(Y∪T,Z);

再由定理1和2,得出t(1)Y∪T(X,Z)=d(X,Y)•d(X,T)•[d(Y,Z)+d(T,Z)]。

证毕。

定理9 当Y∪T=潦,t(1)Y∪T(X,Z)≤t(1)Y(X,Z)+t(1)T(X,Z)。

证明 由定理8和定义6可得:

t(1)Y∪T(X,Z)=d(X,Y)•d(X,T)•[d(Y,Z)+d(T,Z)]t(1)Y(X,Z)=d(X,Y)•d(Y,Z)

由于d(X,Y),d(X,T),d(Y,Z),d(T,Z)≤1

所以t(1)Y∪T(X,Z)≤t(1)Y(X,Z)+t(1)T(X,Z)

证毕。

定义8 对于所有Y=∪ni=1Yi,如果存在XDYi,YiDZ,Yi(Yi∩X=,Yi∩Z=),则称Z一阶传递属性依赖于X,并且称t(1)┆sum(X,Z)(简写为t(1)(X,Z))为XT(1)Z的一阶传递属性依赖度,其取值范围为[0,1],其公式如下:

t(1)(X,Z)=d(X,∪ni=1Yi)•d(∪ni=1Yi,Z)(8)

当t(X,Z)=0时,X\TZ;当t(X,Z)=1时,称Z完全一阶传递属性依赖于X(记作XFT(1)Z);当t

定义9 对于Y(Yi,YjY,Yi∩Yj=,Yi∩X=,Yi∩Z=),如果存在某一种排列p1,p2,…,pn(pi,pj∈{1,2,…,n},pi≠pj),使得XDYp1,Yp2DYp3,…,Ypn-1DYpn,YpnDZ,则称Z n阶传递属性依赖于X,并且称t(n)┆sum(X,Z)(简写为t(n)(X,Z))为XTZ的n阶传递属性依赖度,其取值范围为[0,1],其公式如下:

t(n)(X,Z)=∑nk=1[∏nj=1d(X,Yj)•∏ni=1,i≠j,i≠kd(Yi,Yi+1)•

d(Yk,Z)]当t(X,Z)=0时,X\T(n)Z;当t(X,Z)=1时,称Z完全n阶传递属性依赖于X(记作XFT(n)Z);当t

显然,XDY等价于Y 0阶传递属性依赖于X,其d(X,Y)为XT(0)Z的0阶传递依赖度。

1.3 复杂高维映射及属性依赖

从客观世界分析所得,一般的高维映射不仅仅是简单的多维输入对应多维输出的关系,而更多的是映射中的属性之间也存在依赖关系。其情况分别如下(以下例子假设基本初等函数与一次的四则运算[17]为直接映射关系)。

1)高维映射中存在各种子直接映射。例如定义1中的B=f(A)包含了Bj=fj(A)(BjB,fj∈f)。而所有的外输入属性ai都直接决定于bj,即∑id(Ai,Bj)=1。例如(a,b)(c,d)=(a-b,a+b)。

2)高维映射中外输入属性仅传递决定外输出属性。即存在AiA,BjB,使得n≥1,d(Ai,Bj)=0,t(n)(Ai,Bj)≥0。例如(a,b)=(a,sin a)(c,d)=(b2,a2)。上述例子中,{a}D{b}D{c},即{a}T(1){c}。

3)高维映射中外输入属性既不直接决定又不传递决定外输出属性。即存在AiA,BjB,使得n≥0,t(n)(Ai,Bj)=0。例如(a,b)(c,d)=(sin a,cos a),显然,{b}\{c,d}。

4)高维映射中的某个外输出属性决定某个外输出属性。即存在Bi,BjB,Bi≠Bj,使得d(Bi,Bj)≥0。例如(a,b)(c,d)=(a+b,sin c)。上述例子中,{a}D{c}D{d},即{a}T(1){d}。

从上述情况分析可知:情况1)是最简单的多维输入对应多维输出的关系;情况2)表明了存在输出属性不直接依赖于某些输入属性的映射关系;情况3)阐述了某些输入属性与输出属性并不存在映射关系;情况4)说明了输出属性之间存在直接依赖映射关系。由于一般情况下,拟合高维映射采用的方法都是黑盒系统(例如神经网络、模糊系统等),但是当高维映射存在情况2),3),4)等的非简单直接依赖关系时,黑盒系统无法精确地拟合出该高维映射。因此,需结合属性依赖原理,分析高维映射中内在的属性依赖关系,然后再采用复合型神经网络对高维映射进行拟合。

1.4 高维映射的属性类型分析

由1.3节可知,当拟合具有直接依赖性质的高维映射时,神经网络才具有较好的精确度。因此,本节以高维映射中的属性依赖关系为基础,分析各个属性的类型。

定义10 设A(ai∈A)和B(bj∈B)是两组属性的集合,如果存在直接属性依赖,使得{ci}DD,(DA∪B,ci∈A∪B,ciD),则称ci为该高维映射中的直接输入属性。

定义11 设A(ai∈A)和B(bj∈B)是两组属性的集合,如果存在直接属性依赖,使得CD{dj},(CA∪B,di∈A∪B,diC),则称ci为该高维映射中的直接输出属性。

定义12 设A(ai∈A)和B(bj∈B)是两组属性的集合,如果直接属性依赖,使得CD{ei}DD(C,DA∪B,ei∈A∪B,eiC∪D),则称ei为该高维映射中的转换属性。

由图1可知,外输入属性、外输出属性、直接输入属性、直接输出属性和转换属性5者之间的关系。

图片

图1 各类型属性之间的关系

1.5 属性依赖与函数依赖的关系与区别

由定义5~8可知,属性依赖理论引入了属性直接依赖度与传递依赖度两个概念。尽管函数依赖理论中不存在依赖度的定义。实际上可以看出,两者的依赖度函数可分别定义为(X,Y)[0,1];(X,Y){0,1}。例如,存在二元关系{UserNo,UserName},一般可以通过用户编号,准确地知道该用户的姓名。但是由于用户姓名会出现重名的情况,如果仅仅知道用户姓名,则不能够精确获取该用户的编号信息。由函数依赖理论可得,UserNoUserName,其相应的直接函数依赖度为d({UserNo},{UserName})=1,d({UserName},{UserNo})=0;而由属性依赖理论,可得出UserNo┆塥DUserName,其相应的直接属性依赖度为d({UserNo},{UserName})=1,d({UserName},{UserNo})=0.9。由此可见,函数依赖是属性依赖的特殊化,而属性依赖是函数依赖的细化。

2 直接依赖性的复合型神经网络生成方法

由于神经网络是拟合高维映射的主要方法之一,由1.3节可知,一般的高维映射不仅是简单的多维输入对应多维输出的关系,而是具有复杂属性依赖性的映射关系;又因为神经网络在拟合具有传递依赖性的高维映射能力较差,所以需要复合型神经网络结构拟合复杂的映射关系。复合型神经网络的生成流程见图2。

图片

图2 复合型神经网络生成流程

2.1 分析高维映射中的属性依赖关系

分析高维映射中的属性依赖关系这是生成方法的第一步,包括:

1) 分析高维映射中的属性所属的类型(包括直接输入属性、直接输出属性、转换属性3类);

2) 分析各个属性之间的关系;

3) 给每个单元属性集的直接依赖关系赋予相应的直接依赖度。

2.2 提取具有直接依赖性的单输出属性集子映射

由定理6、9可以看出,当输出属性集合包含越多属性时,该系统的精确度越低。因此,本节根据上一步所分析的单元属性集的依赖关系,依照属性依赖理论(定理5),提取出具有直接依赖性的单输出属性集子映射。通过将具有相同的单输出属性集的子映射关系提取出来,同时计算多输入属性集与单输出属性集的直接依赖度。

例如,存在某个高维映射f,其单元属性集的直接依赖关系分别为{A1}D{B1},{A2}D{B1},{A2}D{B2},{B1}D{B2}为,其中A1,A2为外输入属性;B1,B2为外输出属性。子映射的直接依赖度分别为d({A1},{B1})=0.68;d({A2},{B1})=0.3;d({A2},{B2})=0.2;d({B1},{B2})=0.75。

根据属性依赖理论分析可得:{A1,A2}D{B1},{A2,B1}D{B2}(其中{A1,A2}={A1}∪{A2},{A2,B1}={A2}∪{B1})。并且由于任意的单元属性集交集为空集,由此可得d({A1,A2},{B1})=0.98;d({A2,B1},{B2})=0.95。

2.3 合并融合度高的子映射

该步骤的主要思想就是对具有融合度较高的子映射集合进行组合,构造一个新的子映射,即简化复合型神经网络的内在结构,提高其效率。例如存在一个映射关系(a,b)(c)=(a+b)(d)=(sin c),其中包含的2个直接依赖关系如下: f1:{a,b}D{c}, f2:{c}D{d},但是由于f1与f2的融合度较高,因此存在一个复合子映射: f3:{a,b}T{d}(其中d=sin (a+b))。虽然f3为传递依赖的子映射,但仍可采取神经网络方法对其进行拟合。

2.4 构建复合型神经网络

该步骤的主要思想就是将2.3节中所得出的子映射采用神经网络进行拟合,然后将所有的神经网络进行结合,构建一个复合型的神经网络结构。由2.2节所得出的子映射关系:{A1,A2}D{B1},{A2,B1}D{B2},因此,需要构造2个子神经网络模型分别对应f1:A1×A2B1, f2:A2×B1B2。其中f1、 f2分别为所需拟合的高维映射f的子映射。在神经网络训练阶段,因为采用样本数据进行训练,所以各神经网络模型可以同时进行训练。但是进行识别计算时,必须依据依赖关系内在的拓扑结构进行映射计算。上述映射关系对应的拓扑结构如图3。

图片

图3 映射关系的拓扑结构

复合型神经网络在进行识别计算时,应先将A1,A2代入子神经网络模型f1计算得出B1;然后将f1的输出元B1与原有的输入元A1结合代入子神经网络模型f2进行第2次运算,得出B2;最后将B1和B2结合成{B1,B2}作为复合型神经网络的外部输出。

2.5 复合型神经网络的外部结构与内部结构

由复合型神经网络的外部结构(如图4)与内部结构(如图5)可见,复合型神经网络并没有改变原神经网络的外部输入―输出关系,仅仅改变了其内部关系,而且对神经网络的结构、采取的训练算法,甚至是否采取神经网络方法也没有作规定。对于具有复杂属性依赖性的高维映射,可以采用多种系统(模糊推理系统、数学公式、混沌系统等)对其内在的子映射进行拟合。因此,属性理论不仅对如何构造最优复合型神经网络提供了理论依据,而且对复合型系统的建模提供了具有严格理论基础的方法。

图片

图4 复合型神经网络的外部结构

图片

图5 复合型神经网络的内部结构

2.6 神经网络的优化算法的复杂度分析

本文以采取监督选取中心法训练的RBF神经网络为研究对象,分析普通RBF与基于属性依赖理论的RBF(ADO-RBF)的时间复杂度。

一般神经网络算法分为2个阶段:训练阶段与识别阶段。

设Tt(m,n),Rt(m,n)为拟合m-n维映射的普通RBF的训练算法和识别算法的时间复杂度,ct为普通RBF中间层的中心数,it为训练的迭代次数;Ta(m,n),Ra(m,n)为ADO-RBF的训练算法和识别算法的时间复杂度,k为ADO-RBF的神经网络个数,m1,m2,…,mk为ADO-RBF输入层的输入维度,c1,c2,…,ck分别为ADO-RBF中间层的中心数,n1,n2,…,nk为ADO-RBF输入层的输出维度,i1,i2,…,ik为训练的迭代次数,s为样本个数。

经过分析,普通RBF的训练阶段分为修改权系数、学习中心、学习误差3个步骤,并且每个步骤的时间复杂度皆为O(s•i•m•n•c),因此Tt(m,n)=O(s•m•n•it•ct)。由于ADO-RBF为复合型神经网络,因此其时间复杂度Ta(m,n)=Os•∑kj=1ij•mj•nj•cj。由于经过2.1~2.5节方法分析后的复合型神经网络必定满足:

j∈N,j≤k,mj≤m,ij≤it,cj≤ct(10)

∑kj=1nj=n(11)

由式(10)和(11)可得Ta(m,n)=O(s•∑kj=1ij•mj•nj•cj)≤O(s•m•n•it•ct)=Tt(m,n)。因此,在训练阶段,ADO-RBF优于普通RBF。

而在识别阶段,Rt(m,n)=O(i•m•n•c),Ra(m,n)=O(∑kj=1ij•mj•nj•cj)。同理,Ra(m,n)=O(∑kj=1ij•mj•nj•cj)≤O(i•m•n•c)=Rt(m,n)。因此,在识别阶段,ADO-RBF也优于普通RBF。

综上所述,ADO-RBF的运算时间比普通RBF要少。

3 实验和结果分析

为了验证神经网络的直接属性依赖优化法的性能,本文采用某公司中的软件项目估算系统作为例子,结合RBF神经网络,将结果与普通RBF神经网络进行比较。其中RBF的学习方法采用监督选取中心进行,并且中心个数为49个,样本数据为49个。

在软件项目估算中,存在nг关系,包含12个属性,分别为:1)项目序号;2)项目名称;3)项目规模;4)需求变更率;5)需求人员技能;6)原型化程度;7)编码人员技能;8)测试用例总数;9)评审工作量;10)测试人员技能;11)生产率;12)遗留缺陷密度[19]。其中{A1,A2,…,A10}为外输入属性集,{A11,A12}为外输出属性集,A11为转换属性。经过专家的研究分析,软件项目估算系统中存在2个直接属性依赖关系:f1:{A3,A4,A5,A6,A7}D{A11},f2:{A3,A4,A8,A9,A10,A11}D{A12} [19],其直接依赖度分别为:d({A3,A4,A5,A6,A7},{A11})=1,d({A3,A4,A8,A9,A10,A11},{A12})=1。由此可得出复合型神经网络中的2个子模型f1与f2。由于2个子模型的融合度较低,因此直接采用2.4节中的复合型神经网络进行历史曲线拟合与估算。

图6是ADO-RBF和RBF对软件项目估算训练数据集的拟合性能比较,评价标准是误差的绝对值之和。可以看出,RBF对训练数据的拟合程度并不理想,而 ADO-RBF不仅拟合程度高于RBF,而且学习效率也优于 RBF(普通RBF的训练时间为15.39@s,而ADO-RBF为13.39@s)。

图片

图6 拟合性能比较

4 结语

本文提出了属性依赖的概念、基本原理及其在神经网络的应用,通过严格的定义与公式推演证明了相关的定理,并通过实例证明该理论在实际应用的可行性。属性依赖是函数依赖的进一步推广,其适用范围并不局限于数据库领域,其他领域(例如神经网络、主成分分析等)也适用。但当前理论尚存在某些问题,需要进一步完善,包括:单元属性集之间的直接依赖度的统计确定方法;具有循环依赖性的属性关系图的拓扑求解方法;属性集的主成分分析法等。

神经网络的属性依赖优化方法与其他的神经网络优化方法不同,它以新的概念和理论作为支撑,并且容易与其他方法有机地结合使用。本文结合实例,采用了该优化方法建立软件项目估算模型,具有较高的估计精度。

参考文献:

[1]杨国为,王守觉,闫庆旭. 分式线性神经网络及其非线性逼近能力研究[J].计算机学报,2007,30(2):192-199.

[2]李宁,谢振华,谢俊元,等. SEFNN:一种基于结构进化的前馈神经网络设计算法[J].计算机研究与发展,2006,43(10):1713-1718.

[3]马铭,周春光,张利彪,等. 一种优化模糊神经网络的多目标微粒群算法[J].计算机研究与发展,2006,43(12):2104-2109.

[4]田大新,刘衍珩,李宾. 基于Hebb规则的分布神经网络学习算法[J].计算机学报,2007,30(8):1379-1388.

[5]凌锦江,周志华. 基于因果发现的神经网络集成方法[J].软件学报,2004,15(10): 1479-1484.

[6]王正群,陈世福,陈兆乾. 优化分类型神经网络线性集成[J].软件学报,2005,16(11):1902-1908.

[7]李凯,黄厚宽. 一种基于聚类技术的选择性神经网络集成方法[J].计算机研究与发展,2005,42(4):594-598.

[8]刘宇,覃征,卢江,等. 多模态粒子群集成神经网络[J].计算机研究与发展, 2005,42(9):1519-1526.

[9]李艳来,王宽全,张大鹏. 多层前馈式神经网络的HJPS训练算法[J].计算机研究与发展,2005,42(10):1790-1795.

[10]许少华,何新贵,王兵. 一种分式过程神经元网络及其应用研究[J].计算机研究与发展,2006,43(12):2088-2095.

[11]汪蔚,王荣杰,胡清. 基于PCA和神经网络的故障诊断技术[J].计算机工程,2008,34(7):184-185.

[12]蒋华刚,吴耿锋. 基于人工免疫原理的RBF网络预测模型[J].计算机工程,2008,34(2):202-205.

[13]邢进生,刘人境. 基于加工工序的高维多输入层神经网络及应用[J].系统工程理论与实践,2004,24(2):64-67.

[14]JACOBSON N. Lectures in abstract algebra I: Basic concepts[M]. Berlin:Springer-Verlag,1951.

[15]DATE C J. An introduction to database systems[M].8th ed. New Jersey:Addison Wesley,2003.

[16]FELLAR W. An introduction to probability theory and its applications [M]. 3rd ed. New Jersey:Wiley,1968.

[17]阿黑波夫, 萨多夫尼齐, 丘巴里阔夫. 数学分析讲义[M]. 王昆扬,译.北京:高等教育出版社,2006.

[18]CORMEN T H, LEISERSON C E, RIVEST R L. Intruduction to algorithms[M]. 2nd ed. Cambridge:The MIT Press,2002.

[19]CAPERS J. Estimating software costs[M]. New York: McGraw Hill,2007.

[20]ASH R B, DOLEANS-DADE C A. Probability and measure theory[M]. 2nd ed. Salt Lake City:Academic Press,1999.

[21]ENDERTON H B. A mathematical introduction to logic[M]. 2nd ed. Salt Lake City:Academic Press,2001.

[22]HAYKIN S. Neural networks and learning machines[M]. 3rd ed. New Jersey:Prentice Hall,2008.