首页 > 信息论 > 为什么假定背景噪声是高斯噪声?

为什么假定背景噪声是高斯噪声?

今天温习香农经典文章关于连续信源的一段,结果又恍然大悟(咦,为什么要说又?):为什么当我们不知道背景噪声的性质的时候,假设它是高斯噪声,即服从高斯(正态)分布的噪声。因为是噪声,我们又假定我们不能从一次采样中预测另一个采样的值,也就是不相关(“”)。

注:我以前有一个印象,白噪声就是高斯噪声,错。“白”是指任意两个不同时刻上的随机取值都是不相关的;高斯噪声是指概率密度函数服从高斯分布的噪声。更多分析见这里。为行文简洁,下面提到白噪声都是高斯白噪声。

高斯白噪的概率分布密度函数是(下引公式和图片,不另说明的,均来自维基百科):

这个函数的图示如下:

一般的一维白噪(比如电话背景噪声)是这个样子:

白噪声的频谱也是高斯分布(因为傅立叶变换是一种线性变换),见下图(来自空明流转blog,by lingjingqiu。第一个序列是时域幅度,第二个是它的频域幅度)。也就是,它在时域和频域都不可压缩。我以前有一种误解,白噪的频谱分布为常数,错。


白噪声的功率谱分布大体如下图,是常数。(那是不是说可以在功率域对白噪压缩呢?我的理解是不可以,因为时域到功率域的变换是有损变换,知道功率域分布,无法还原时域分布。而傅立叶变换是可逆的。)

这里有两个关键概念:1)“不知道”;2)“不可压缩”。

“不知道”,用信息论的语言就是我们对这个信息源的不确定性(uncertainty)最高,从度量的角度,也就是它的统计熵(entropy)最大。香农论证未知噪声的性质,就是基于这个熵最大原则(详后)。

“不可压缩”,在信息论也有严格定义,也就是信号本身的长度接近于它的最小描述长度(minimal description length, MDL)。通俗的说,就是一个信号 杂乱无章,毫无规律的可言,对它唯一的描述方法就是照葫芦画瓢原样给出,不存在更简洁的描述方式。这个MDL,就是柯尔莫哥洛夫复杂性Kolmogorov complexity),或者称为算法熵(algorithmic entropy)。

先说香农的统计熵。香农说,如果我们对一个信号什么不知道,除了它的平均功率是σ,那它的熵最大,按如下定义,其中p(x)是信号的概率分布



约束条件是平均功率为σ和p是概率分布:

拉格朗日乘子法,将约束化入目标函数,我们要最大化(对不同的p):

这等价于要求

同时调整常数项以满足约束函数,由此获得p的定义:

非常简洁。原来看似复杂的白噪定义,可以从一些很基本的假设(“不知道”+“功率受限”)推导出来。

那如果我们连功率受限也不知道呢?香农没有讲,我相信搞信息论的肯定有研究过的。我这里重新发明一下轮子。去掉和功率有关的约束项,我们要满足

(图来自wolframalpha)

也就是p(信号的幅度分布)是一个x的常数分布(uniform distrbution),也就是说每个x的取值等概率。如果我们不知道x的范围,那这个常数要无穷小。高斯噪声的时域幅度分布是瑞利分布(Rayleigh distribution)[出处]。幅度分布为常数的信号频域分布如何?傅立叶分析我已经都还回老师了,这里斗胆试一下。因为傅立叶变换是线性的,幅度分布为常数的信号,频谱分布也是常数(注意,如果幅度为常数的信号,频谱分布是单位脉冲函数)。这倒符合我以前的误解中的“白噪”。

下一篇讲白噪的算法熵。先挖个坑,还是那句老话,也许填,也许不填。

Advertisements
分类:信息论
  1. 2011/04/08 @ 22:26

    今天温习了一下我1998年信息论的学习笔记,里面已经讲到高斯信源是功率受限条件的熵最大信源,我都还给老师了,难怪恍然大悟

  1. No trackbacks yet.

发表评论

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / 更改 )

Twitter picture

You are commenting using your Twitter account. Log Out / 更改 )

Facebook photo

You are commenting using your Facebook account. Log Out / 更改 )

Google+ photo

You are commenting using your Google+ account. Log Out / 更改 )

Connecting to %s

%d 博主赞过: