注册 登录  
 加关注
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

周法哲的博客

重新认识我们的世界

 
 
 

日志

 
 
关于我

做过工,开过荒,教过书,扛过枪,当过干部仍在党,现任公司董事长。业余以探索天地人和谐之道为乐!

网易考拉推荐

(原创)语法信息之一:概率信息  

2009-04-06 02:23:07|  分类: 信息科学札记 |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |

上一回说过,中国钟义信教授的全信息包括语法信息、语义信息和语用信息,其中最基本的语法信息只有4种:概率信息、偶发信息、确定信息和模糊信息。本文先介绍概率信息。

所谓“概率信息”是指事物的离散有限明晰状态按概率分布规律变化的外在形式,即概率型语法信息。

设这种状态变化的外在方式可用先验概率空间

(原创)语法信息之一:概率信息 - 周法哲 - 周法哲的博客

(1)

来描述,且先验概率分布符合完备集条件

(原创)语法信息之一:概率信息 - 周法哲 - 周法哲的博客

(2)

和(归一化条件)

(原创)语法信息之一:概率信息 - 周法哲 - 周法哲的博客

(3)

则不难证明其先验概率空间的信息熵可由下式计算:

(原创)语法信息之一:概率信息 - 周法哲 - 周法哲的博客

(4)

其中K为正常数,由对数的底和信息量的单位确定。若取以2为底的对数,信息量的单位为bit(比特),则K=1。

从上述可以看出,式(4)就是香农的经典信息论中信源平均信息量的计算公式。这是语法信息测度的核心,也是信息论乃至信息科学的基础。

而观测的实际结果可用后验概率空间

(原创)语法信息之一:概率信息 - 周法哲 - 周法哲的博客

(5)

来描述。这样一来,观测前后的概率空间变换可以表示为

(原创)语法信息之一:概率信息 - 周法哲 - 周法哲的博客 

(6)

观测者(信宿)实得信息量是观测前后不确定性的消除量,即信息熵之差:

(原创)语法信息之一:概率信息 - 周法哲 - 周法哲的博客

(7)

实际上后验概率分布通常是一个“0-1”型分布,即

(原创)语法信息之一:概率信息 - 周法哲 - 周法哲的博客

(8)

此外信息论领域还规定

(原创)语法信息之一:概率信息 - 周法哲 - 周法哲的博客

(9)

如果在理想情况下,信道无失真,则由式(7)可知,观测者(信宿)所收到的实得信息量为

(原创)语法信息之一:概率信息 - 周法哲 - 周法哲的博客

(10)

这就是概率型语法信息的平均信息量。

语法信息中的偶发信息究竟应该如何计算信息量呢?且听周法哲下回分解。

(作者:周法哲2009-4-4于上海)

 

  评论这张
 
阅读(662)| 评论(10)
推荐 转载

历史上的今天

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2017