設萬維讀者為首頁 廣告服務 技術服務 聯繫我們 關於萬維
簡體 繁體 手機版
分類廣告
版主:諍友
萬維讀者網 > 教育學術 > 跟帖
閃農信息熵,是針對每個字母的信息余度的測量
送交者: 拙文君 2016月11月15日09:10:59 於 [教育學術] 發送悄悄話
回  答: 信息和熵的等價性jingchen 於 2016-11-04 20:30:05

“信息和熵等價”的說法本身就是錯誤的提法。你去看看閃農信息熵的公式,就知道,閃農把一個字中出現的字母看成是隨機的變量,通過26個字母中出現一個字母的概率再通過對數表達出來。它表達的或說測量的是每個字母在字中的信息余度。信息余度越大,證明字母使用的效率越低,從通訊的角度看,該編碼系統的可壓縮性大。

所以信息熵,和信息本身不是等價關係,而是測度信息編碼系統效率的一種方法。


0%(0)
0%(0)
  你說的是申農的意思 - jingchen 11/19/16 (622)
    你就說說信息怎麼就和信息熵等“價”了? - 拙文君 11/21/16 (500)
標  題 (必選項):
內  容 (選填項):
實用資訊
回國機票$360起 | 商務艙省$200 | 全球最佳航空公司出爐:海航獲五星
海外華人福利!在線看陳建斌《三叉戟》熱血歸回 豪情築夢 高清免費看 無地區限制
一周點擊熱帖 更多>>
一周回復熱帖
歷史上的今天:回復熱帖
2015: 波士頓的老房子和常春藤
2015: 讀書3:《獨立記者》
2014: 同性戀到底是生理特質決定的還是心理變
2014: 答季牧龍 面首 中文解釋
2013: 我應該選擇Yes or No? (只能選一個)
2013: 丘成桐的錯誤全球沒有10人能懂.
2012: 安博:歷史解密 女媧的路(下)
2012: 以自由之名通往奴役之路
2011: 一草根:科學是什麼?
2011: 英文詞彙學習:decimate