注册 登录  
 加关注
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

周法哲的博客

重新认识我们的世界

 
 
 

日志

 
 
关于我

做过工,开过荒,教过书,扛过枪,当过干部仍在党,现任公司董事长。业余以探索天地人和谐之道为乐!

网易考拉推荐

(原创)香农真“吃香”(图)  

2009-03-23 01:50:08|  分类: 信息科学札记 |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |

众所周知,信息是知识、情报、思想、感情的基础,对人类社会和客观世界的改变有反作用。

信息论(Information Theory)是人们在长期的通信工程的实践中总结经验,由通信技术与概率论、随机过程、数理统计相结合而逐步发展起来的一门科学。

经典信息论主要指当代著名数学家香农(C.E.Shannon)的信息概念和基本理论,奠基于香农1948年发表的《通信的数学理论》等论文。经典信息论认为最基本的通信系统模型如下图所示:

(原创)香农真“吃香”(图) - 周法哲 - 周法哲的博客 

图1  最基本的通信系统

“信息论”的创始人香农(C.E.Shannon)对信息的定义是:“信息是事物运动状态或存在方式的不确定性的描述。”根据这个定义,只要事物的各种状态的出现是随机的且事先知道概率的,就可以采用随机变量的概率空间来定量测度信息,从而引入了信息量和信息熵的概念。

对于一个最基本的离散信源X,可能输出的消息符号x只有有限个或可数个,即

(原创)香农真“吃香”(图) - 周法哲 - 周法哲的博客 (1)

如果信源每次必定输出其中之一,且输出各个符号的概率是事先知道的,即先验概率为

(原创)香农真“吃香”(图) - 周法哲 - 周法哲的博客

(2) 

且这些消息符号出现的概率满足完备集条件:

(原创)香农真“吃香”(图) - 周法哲 - 周法哲的博客

(3) 

则该信源就可以用一个一维离散型随机变量X的概率空间表示如下:

(原创)香农真“吃香”(图) - 周法哲 - 周法哲的博客

(4) 

香农把输出每一个符号的信息量(严格讲是自信息量)定义为

(原创)香农真“吃香”(图) - 周法哲 - 周法哲的博客

(5) 

其中对数在通信领域里往往取以2为底的对数,底数2通常也省略不写,则信息量的单位为bit(比特)。

例如:一个信源只会输出0或1这两个消息符号,如果我们事先知道输出0的概率和输出1的概率各占一半,即该信源的概率空间为

(原创)香农真“吃香”(图) - 周法哲 - 周法哲的博客

(6) 

则由公式(5)可计算出在该信源中符号0的信息量为

(原创)香农真“吃香”(图) - 周法哲 - 周法哲的博客

(7) 

符号1的信息量为

(原创)香农真“吃香”(图) - 周法哲 - 周法哲的博客

(8) 

可见在同一个信源空间中,如果每一个符号出现的先验概率相等,则每一个符号携带的信息量也相等。

但是,一般地,信源中各符号输出的概率不见得均等,例如,如果一个信源X的概率空间为

(原创)香农真“吃香”(图) - 周法哲 - 周法哲的博客

(9) 

则由公式(5)可计算出在该信源中符号0的信息量为

(原创)香农真“吃香”(图) - 周法哲 - 周法哲的博客

(10) 

符号1的信息量为

(原创)香农真“吃香”(图) - 周法哲 - 周法哲的博客

(11) 

可见若小概率事件出现,则信息量较大。

通信系统很在乎信道的容量,比如实际中我们很在乎网络的速度,总希望我们的网络通信带宽宽一些。工程技术上就必然要考虑通信系统传输的平均信息量大小。为了测度一般信源的平均信息量,香农想了一个办法,取该信源每一个消息符号携带信息量的加权平均值,即

(原创)香农真“吃香”(图) - 周法哲 - 周法哲的博客

(12) 

似曾相识?其实学过概率论的朋友都知道这就是“数学期望”,数学上用E表示。香农在信息论里给它另起了一个名字叫信息熵,用H表示。信源X的信息熵H就是每个符号x自信息量I的数学期望,或曰信源平均每个符号携带的信息量,也叫信源X的平均信息量。信息熵一般定义为

(原创)香农真“吃香”(图) - 周法哲 - 周法哲的博客

(原创)香农真“吃香”(图) - 周法哲 - 周法哲的博客

(13) 

例如:式(9)所描述的信源空间,由上式可计算出信息熵为

(原创)香农真“吃香”(图) - 周法哲 - 周法哲的博客

(原创)香农真“吃香”(图) - 周法哲 - 周法哲的博客

(原创)香农真“吃香”(图) - 周法哲 - 周法哲的博客

(14) 

比较式(10)、(11)可见,同一个信源中,信息熵既不是符号0的信息量,也不是符号1的信息量,而是信源所有符号的平均信息量。特殊情况下,只有当信源所有符号是等概率出现时,信息熵才等于每一个符号的信息量。如式(6)所描述的信源空间。不信你算一算?

信息熵的概念还告诉我们,信源使用等概率的符号(如0和1等概率出现)传输信息,信道传输的平均信息量最大。换句话说,我们可以最充分地发挥信道的容量。这正是香农信息论的精髓所在。

基于这个精髓,科学家们设计出了许许多多的编码方法,信息论如火如荼地发展起来了,直接推动了现代通信和信息技术的突飞猛进,直到今天家喻户晓的信息网络。

香农的经典信息论关于信息载体符号(尤其是通信电信号)信息量和信息熵的理论,率先创立了一种定量计算信息传输和处理系统容量的科学方法,对当代电子信息技术的发展作出了不可磨灭的贡献。所以香农“吃香”了60年,并且今后还将继续吃香下去!

香农的经典信息论能永远“吃香”吗?它就没有局限性吗?且听周法哲下回分解。

(作者:周法哲2009-3-22于广东)

 

  评论这张
 
阅读(1201)| 评论(11)
推荐 转载

历史上的今天

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2017