注册 登录  
 加关注
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

周法哲的博客

重新认识我们的世界

 
 
 

日志

 
 
关于我

做过工,开过荒,教过书,扛过枪,当过干部仍在党,现任公司董事长。业余以探索天地人和谐之道为乐!

网易考拉推荐

(原创)语法信息之二:偶发信息及可能度  

2009-04-09 22:33:11|  分类: 信息科学札记 |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |

中国的钟义信教授的全信息包括语法信息、语义信息和语用信息,其中最基本的语法信息只有4种:概率信息、偶发信息、确定信息和模糊信息。上一回介绍了概率信息的计算,本文介绍偶发信息。

“偶发信息”是指事物的离散有限明晰状态按半随机型方式变化的外在形式,即偶发型语法信息。所谓“半随机”型方式变化,即可能的状态也是随机发生的,只不过它们的发生规律不能够用概率分布来描述。因为偶发事件是偶尔发生的,而不是大量地重复发生的,不存在统计稳定性。

偶发信息用可能度描述,可能度又叫做主观概率、经验概率、形式概率或主观置信度。

设有半随机试验X的可能状态为下述的集合:

(原创)语法信息之二:偶发信息及可能度 - 周法哲 - 周法哲的博客

(1)

对于某种可能的状态xi,观测者事先推断其发生的可能度为qi,且服从归一化约束

(原创)语法信息之二:偶发信息及可能度 - 周法哲 - 周法哲的博客

(2)

即可用先验可能度空间

(原创)语法信息之二:偶发信息及可能度 - 周法哲 - 周法哲的博客

(3)

来描述半随机试验,其中

(原创)语法信息之二:偶发信息及可能度 - 周法哲 - 周法哲的博客

(4)

叫做观测者关于X的先验可能度分布。

则不难证明其偶发信息的先验信息熵可由下式计算:

(原创)语法信息之二:偶发信息及可能度 - 周法哲 - 周法哲的博客

(5)

这就是偶发信息的基本测度公式。可以看出它与概率信息的信息熵计算方法完全类似。

而观测的实际结果可用后验可能度空间

(原创)语法信息之二:偶发信息及可能度 - 周法哲 - 周法哲的博客

(6)

来描述,其中

(原创)语法信息之二:偶发信息及可能度 - 周法哲 - 周法哲的博客

(7)

叫做关于X的后验可能度分布。实际上后验可能度分布集合中只有某一元素为1,其余均为0。

这样一来,观测前后的可能度空间变换可以表示为

(原创)语法信息之二:偶发信息及可能度 - 周法哲 - 周法哲的博客

(8)

观测者(信宿)实得信息量是观测前后不确定性的消除量,即信息熵之差:

(原创)语法信息之二:偶发信息及可能度 - 周法哲 - 周法哲的博客

(9)

这就是语法信息中偶发信息的平均信息量计算公式。

语法信息中的模糊信息究竟应该如何计算信息量呢?且听周法哲下回分解。

(作者:周法哲2009-4-4于上海)

 

  评论这张
 
阅读(483)| 评论(11)
推荐 转载

历史上的今天

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2017