二项分布熵的性质

摘要：本文证明了二项分布的熵有如下性质：设X～B(n, p)，对确定的n，当p2 1时，熵随着p的增加而减少，当p=12时，熵达到最大值；对确定的p，熵随着n的增加而增加。对两个有相同n或p的二项分布，方差相等时，它们的熵也相等；方差较大的二项分布对应的熵也较大。

关键词：概率论；二项分布；熵；方差

中图分类号： O21 文献标识码：a DoI: 10.3969/j.issn.1003-6970.2012.02.049

The Characters of Entropy of Binomial Distribution

DING Yong

(Deptartment. of Mathematics, Nanjing Medical University, Nanjing 210029)

【Abstract】this paper discusses the characters of entropy of binomial distribution. Suppose n and p are the parameters in binomial distribution. for any certain n, whenp12, the entropy will increase with p decreases, whenp=12, the entropy achieves its maximum value. For any certain p, the entropy will increase with n increases. For two binomial distribution which have equalized n or p, equalized variance will lead to the same entropy, bigger variance will lead to larger entropy.

【Keywords】Probability theoty; Binomial distribution; entropy; Variance

0 引 言

1948年香农给出了信息熵（以下简称为“熵”）的定义并开创了一门新学科：信息论[1]。近年来，由于数字计算机的广泛应用和通讯系统的能力极大提高，如何更有效地利用和处理信息，成为日益迫切的问题。人们越来越认识到信息的重要性，信息熵的方法也得到大量的应用[2-9]，从而推动其它新兴学科的进一步发展。

二项分布是离散型概率分布中最常见的分布，本文讨论二项分布熵的性质。

1 引 理

以下证明中用到如下公式：

参考文献

[1] Shannon C E A.Mathematical theory of communication[J]. Bell Syst Tech J.1948（27）：379-423, 623-656

[2] 王海燕.信息论基础[M].东南大学出版社.南京.2003

[3] 张明.最大信息熵理论在地貌瞬时单位线中的应用[J].水文. 2000, 20(3):13-14,62

[4] Fuhrman S, Cunningham M J, Wen X L, Zweiger G, Seilhamer J J and Somogyi R. The application of Shannon entropy in the identification of putative drug targets[J]. Biosystems. 2000, 55(1): 5-14

[5] P.Harremoes.Binomial and Poisson distributions as maxi- mum entropy distributions[J]. IEEE Transactions on information theory. 2001，47：2039-2041

[6] Xie X L, Guo M C, Zhang H I, et al. The entropy of two alleles population[J].J of Biomathematics. 2003,18(4): 482-486

[7] 王园,吉国力,魏磊.信息熵在临床定量诊断分析中的研究及应用[J].厦门大学学报(自然科学版).2004，43(增刊): 353-356

[8] J. Zhao, E. Boerwinkle, M. Xiong. An Entropy-Based Statistic for Genomewide Association Studies. [J].The American Journal of Human Genetics. 2005, 77(1): 27-40

[9] 王锐,陈洪,张彦琦,等. 信息熵在基因调控网络构建中的应用[J]. 激光杂志, 2008, 29(1): 94～95