基于行列式和稀疏性约束的NMF的欠定盲分离方法

摘 要：

非负矩阵分解（NMF）要求分解得到的左矩阵为列满秩，这限制了它在欠定盲分离（UBSS）中的应用。针对此问题，提出基于带行列式和稀疏性约束的NMF的欠定盲分离算法――DSNMF。该算法在基本NMF的基础上，对NMF得到的左矩阵进行行列式准则约束，对右矩阵进行稀疏性约束，平衡了重构误差、混合矩阵的唯一性以及分离信号的稀疏特性，实现了对混合矩阵和源信号的欠定盲分离。仿真结果表明，在源信号稀疏性较好和较差两种情况下，DSNMF都能取得良好的分离效果。

ス丶词：

欠定盲分离；非负矩阵分解；稀疏性；行列式准则

ブ型挤掷嗪牛 TN911

文献标志码：A

英文标题

Algorithm for underdetermined blind source separation based on DSNMF

び⑽淖髡呙

LU Hong1, ZHAO Zhijin1,2, YANG Xiaoniu2

び⑽牡刂(

1. College of Communication Engineering, Hangzhou Dianzi University, Hangzhou Zhejiang 310018, China;

2. State Key Laboratory of Information Controlling Technology in Communications System, No.36 Research Institute of China Electronic Technology Corporation, Jiaxing Zhejiang 314033, China

英文摘要

)

Abstract:

The decomposed left matrix of Nonnegative Matrix Factorization (NMF) is required to be full column rank, which limits of its application to Underdetermined Blind Source Separation (UBSS). To address this issue, an algorithm for UBSS based on determinant and sparsity constraint of NMF, named DSNMF, was proposed in this paper. On the basis of standard NMF, determinant criterion was used for constraining the left matrix of NMF, while sparsity was used for constraining the right one. In this way, the reconstruction error, the uniqueness of mixing matrix and the spasity of original sources can be equipoised, which leads to the underdetermined blind separation of mixing matrix and original sources. The simulation results show that DSNMF both works well for good and poor sparsity of sources separation.

英文关键词

Key words:

Underdetermined Blind Source Seperation (UBSS); Nonnegative Matrix Factorization (NMF); sparsity; determinant criterion

0 引言

非负矩阵分解（Nonnegative Matrix Factorization, NMF）是D.D.Lee和H.S.Seung1999年在《Nature》杂志上发表的一种新的矩阵分解方法［1］。其基本思想是在非负限制下将矩阵V∈Rm×N分解成两个矩阵W∈Rm×n和H∈Rn×N的乘积，并使分解结果尽可能地满足V≈WH，其中W和H中的元素非负。其数学模型可表示为：

V=WH(1)

在实际应用中，人们往往对分解结果W和H施以除非负性之外的如稀疏性［2］、正交性［3］ 和平滑性［4］等限制，从而使分解结果更加合理。NMF及其拓展方法广泛应用于数据挖掘、模式识别、目标检测、文本聚类、稀疏表示与编码和盲源分离等领域［5-8］。

盲源分离（Blind Source Separation, BSS）指在不知道源信号和传输信道参数的情况下，仅利用混合信号，恢复出源信号的过程，其数学模型可以表示为：

X=AS(2)

其中:S=s1,s2,…,snT∈Rn×N是n个N维信源信号构成的信源矩阵，X=x1,x2,…,xmT∈Rm×N是m个N维观测信号构成的观测矩阵，A∈Rm×n为未知混合矩阵。BSS的目标是，在A未知的条件下根据已知的X估计未知的S。根据混合矩阵A的类型，BSS问题可分为超定（m>n）、正定（m=n）和欠定（m

X=WH(3)

使得W和H分别是A和S的估计。并且在BSS问题中，许多情况下源信号取值是非负的，如像素信号、信号能量等，在非负约束下式(3)与式(1)是一致的。

信号的稀疏性是自然界许多信号的基本属性，是指信号在绝大多数的采样点取值较小或为零，少数的采样点取值明显较大或偏离零，如像素信号、机械故障信号等。虽然某些信号在时域表现非稀疏，但进行小波变换或傅里叶变换之后，往往在变换域表现出稀疏性。因此，稀疏性作为一个重要的先验条件被广泛用于解欠定盲分离（Underdetermined BSS，UBSS）问题［9-10］。

NMF模型中，矩阵V的列向量可以解释为W矩阵中所有列向量（即基向量）的加权和，权重系数为H矩阵中对应列的元素。通过NMF算法由V分解得到W，若W是唯一的，那么由方程理论可知W必为列满秩的Вm≥n）。гUBSS问题中，A为行满秩的，欠定系统不可逆，因此，仅有分解元素的非负约束，基本NMF算法难以获得唯一的W。针对这一问题，Cichocki等人提出HALS算法［11］，采用将重构误差分层处理的方法，使每一层分解信号在迭代后都尽可能地稀疏。在源信号稀疏性良好的情况下，该算法可以获得较好的分离结果，但对于源信号稀疏性不好的情况，分解结果偏离了方向，无法得到正确的分离结果。因此，本文针对此问题提出一种基于带有行列式和稀疏性约束的非负矩阵分解的盲分离方法，记为DSNMF。该方法在基本NMF的基础上对分解得到的W和H分别进行行列式准则约束和稀疏约束，使之符合UBSS中A和S的特性，获得了较好的欠定盲分离效果。

┑2期

卢宏等：基于行列式和稀疏性约束的NMF的欠定盲分离方法

┆扑慊应用 ┑31卷

1 基本原理

1.1 行列式准则

定义 设P(W)是由矢量w┆1,…,w┆i,…,w┆n张成的空间，如果W是方阵，那么P(W)的体积可记为vol(P)=det(W)；如果W不是方阵，那么vol(P)=det(WWT)［12］。

行列式准则：如果矢量w┆1,…,w┆i,…,w┆n张成的空间为P(W)В且有vol(P)ё钚。则这些矢量是唯一的。

将观测点x┆l(l=1,2,…，N)Э闯墒怯瑟nЦ龇歉夯旌鲜噶w┆1,…,w┆i,…,w┆n的线性加权和，那么式(3)可写成：

x┆l=∑ni=1w┆iHil; 1≤l≤N(4)

其中：w┆i为归一化的列矢量。那么在给出观测信号矩阵X，混合矢量个数nШ头歉涸际的条件下，NMF的目标就是找到构成W的列矢量。在没有其他约束的情况下，X可分解成无数组W与H的乘积。假设式(4)中n=2В图1所示的散点是由W中两列矢量加权得到的，a1、a2是散点图边缘的两条单位矢量，a1′、a┆2 ′是由NMF得到的一组可能的解。г谒有能够加权得到图中散点的单位向量组中，由a1、a2Я礁隽惺噶空懦傻钠叫兴谋咝械奶寤是最小的，且a1Ш酮a2是唯一的。

因此，利用NMF和行列式准则能够得到构成W的唯一一组混合矢量。

图片

图1 二维基于行列式准则的最小体积法

1.2 稀疏测度分析

如果源信号是稀疏的，那么在式(3)NMF模型中，应使分解得到的HЬ哂邢∈栊裕也就是说NMF应使得Hе芯】赡芏嗟脑素取值为零或接近于零，即Hе蟹橇阍素尽可能地少。那么，数学上该问题可以归结为l0范数优化问题：

min J(H)=H0=Аi,jHij0

s.t.V=WH(5)

其中:l0范数表示稀疏测度，АH0П硎揪卣H中非零元素的数目，即：

Hij0=1,Hij≠0Hij0=0,Hij=0 オ

虽然求解式(5)可以使H最稀疏，但解并不唯一，且对噪声极为敏感，鲁棒性差，难以有效求解，为此文献［13］提出采用l1范数测度稀疏性，那么式(5)改写为：オ

Иmin J(H)=H1=∑i,jHij1

s.t. V=WH (6)

文献［14-15］证明了在H稀疏的情况下，l1范数优化问题与l0范数优化问题是等价的，但l1范数更容易求解，鲁棒性好。因此本文采用l1范数作为稀疏测度方法。

2 基于

带行列式和稀疏性约束NMF的欠定盲分离

2.1 基本NMF算法

任意给定非负矩阵V∈Rm×N，运用NMF可以将V分解为非负矩阵W∈Rm×n和非负矩阵H∈Rm×N的乘积，且有V≈WH。由于分解过程的非负限制，分解结果WH很难与V相等，难以达到无损分解，只能使二者尽可能相等，那么，NMF问题就转化为如下的最优化问题：

min D(VWH)

Иs.t. Wik,Hkj>0,∑iWik=1,1≤k≤n(7)

其中：D(VWH)是V与WH的距离函数，即重构误差。定义基于欧几里得距离的目标函数 ［16］如下：

D(VWH)=12V－WH2=12Аi,j(Vij－(WH)ij)2

s.t. Wik,Hkj>0,АiWik=1,1≤k≤n(8)

从而问题转化为带约束的非线性规划问题。

2.2 DSNMF算法

将行列式准则（Determinant Criterion， DC）约束与稀疏性约束同时引入式(8)，以平衡重构误差、混合矩阵W的唯一性和分离信号H的稀疏性。记优化目标函数为F(VWH)，其数学表达式如下：

F(VWH)=αDD(VWH)+αWvol(P(W))+αHJ(H)

Иs.t. Wik,Hkj>0,ИАiWik=1,1≤k≤n(9)お

其中：vol(P(W))=detWWT表示对混合矩阵W行列式准则约束；J(H)=Аk,jHkj1表示对分解得到的信号稀疏性的约束；Е联D、αW和αH为平衡参数，通常取αD=1/（m×N），│联W=1，αH=c/（n×N），cП硎疽怀J，通常取1，在源信号稀疏性较强时可适当增大，如取10、100等。最小化F(VWH)可得到W和H。式(9)对于单独的W和H都是凸函数，但是同时对于W和H来说却不是凸函数。因此，采用与文献［16］相似的梯度下降法，交替更新W和H。更新规则为：

Wik=Wik－ηWF(VWH)WikHkj=Hkj－ηHF(VWH)Hkj (10)

ИF(VWH)Wik=［－VHT+WHHT］ik+αW det (WWT)WikおF(VWH)Hkj=［－WVT+WTWH］kj+αHJ(H)Hkj(11)オ

И det(WWT)Wik=det(WWT)［(WWT)－1W］ik(12)オ

选择学习速率［16］：

ηW=Wik［WHHT］ik，ηH=Hkj［WTWH］kj(13)

将式（11）、式（13）代入式（10）可以得到混合矩阵元素和源信号分量的乘性迭代更新规则：

Wik=Wik(［VHT］ik［WHHT］ik+ε－αWdet(WWT)［(WWT)－1W］ik［HTHW］ik+ε)お

Hkj=Hkj［WTV］kj－αH［WTWH］kj+ε(14)お

其中：ε是一很小的正常数，防止分母出现为零的情况。每一步迭代之后将W和H负元素置零，且使用Wik=Wik/∑kWik对W的列向量进行归一化，Ъ幢疚奶岢龅DSNMF欠定盲分离方法。

3 性能仿真与分析

3.1 算法性能评价

采用分离信号和源信号的重构信噪比(Signal to Noise Ratio, SNR)作为对于盲分离算法性能的评价指标［9］。

SNR=10 lgS2－S2(15)

其中：S和分别是源信号和被分离出的源信号，通过归一化使之具有相同的能量，SNR越大信号分离效果越好。

3.2 两组实验

实验一 源信号稀疏性较好的欠定盲分离。取自NMFLAB实验工具箱的4个稀疏源信号［17］，如图2(a)所示，选取随机的混合矩阵为：

A=0.454B50.791B20.663B40.456B80.454B50.212B00.383B00.791B20.766B00.573B60.642B80.406B7(16)

即取m=3,n=4,N=1B000В混合信号如图2(b)所示。取Е联D=13×1B000，αW=1，αH=1004×1B000，运用DSNMF算法对混合信号进行分离。当F(VWH)值小于10－6时停止迭代，Щ指闯隼吹脑葱藕湃缤2(c)所示。图2(d)给出了源信号s1、s2、s3和s4的SNR值， 20次实验得到的源信号s1、s2、s3和s4的平均SNR值分别为21.26@、17.85@、16.68@、20.25@dB。可见，在源信号稀疏性较好时，本文算法性能良好。オ