注册 登录  
 加关注
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

周法哲的博客

重新认识我们的世界

 
 
 

日志

 
 
关于我

做过工,开过荒,教过书,扛过枪,当过干部仍在党,现任公司董事长。业余以探索天地人和谐之道为乐!

网易考拉推荐

(原创)意义信息与加权熵  

2009-04-01 23:59:33|  分类: 信息科学札记 |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |

上一回说过,香农的经典信息论“只计字数、不计内容”的信息量计算前提,撇开了人的主观因素和信息本身的意义,周法哲认为,只能算作“通信论”或“符号信息论”。香农的“信息量”只是事件发生概率的函数,“信息熵”只不过是平均每个符号携带的数学期望,所以充其量只能算作信息的“数据量”。

有人研究发现,同一个随机事件发生,对每一个收信人都有不同的意义。如果每一个收信人对各事件都考虑一个意义的因素,定量地给出该事件的权重,那么香农的信息熵(平均信息量)就应该修正为加权熵。于是有了加权熵的定义:

设一个随机变量X包含了一系列(q个)随机事件

(原创)意义信息与加权熵 - 周法哲 - 周法哲的博客

(1)

对于某收信人来说,每个事件权重相应的为

(原创)意义信息与加权熵 - 周法哲 - 周法哲的博客

(2)

如果事先知道每个事件发生的概率依次为

(原创)意义信息与加权熵 - 周法哲 - 周法哲的博客

(3)

且这些概率满足完备条件

(原创)意义信息与加权熵 - 周法哲 - 周法哲的博客

(4)

即所有可能的事件发生的概率总和为1,则这个随机变量X可用下述的概率空间来描述:

(原创)意义信息与加权熵 - 周法哲 - 周法哲的博客

(5)

那么,加权熵定义为

(原创)意义信息与加权熵 - 周法哲 - 周法哲的博客

(6)

特殊地,如果收信人对信源发生的每一个事件都不感兴趣,或没有意义,也就是说在收信人看来各个事件的权重都为0,即

(原创)意义信息与加权熵 - 周法哲 - 周法哲的博客

(7)

那么即使香农信息熵不为0,按照加权熵定义式(6)计算出来的意义信息量也为0。这就是我们日常生活中司空见惯的“垃圾信息”!

可见,意义信息的加权熵考虑了收信人的关注程度和事件发生对收信人的重要程度,计算出来的平均信息量与香农的信息熵相比更接近实际了一步。

但实际生活中信息的价值和效用不是仅仅用一个权重就可以描述清楚的,况且每个事件的权重也不是都可以用一个数字来定量描述的。所以采用加权熵来描述信息量的作法仍然有其局限性。

那么,究竟应该如何计算信息量呢?且听周法哲下回分解。

(作者:周法哲2009-3-29于广东)

 

  评论这张
 
阅读(1352)| 评论(11)
推荐 转载

历史上的今天

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2017