信息和熵的等價性

我們處在一個信息時代， 大家都知道信息是什麼，但同時， 很少人對熵這個概念感到自在。 實際上，信息和熵這兩個概念基本上是等價的。從兩者之間等價性的討論， 可以更深刻地了解信息的內涵。

最早把信息和熵連在一起的， 是麥克斯韋.  他做了一個後來被叫做麥克斯韋妖的思維實驗， 有很多介紹，就不重複了。他的基本想法是， 如果獲得信息的成本少於信息所帶來的收入 (這裡成本和收入以熵為單位），那麼就違背了熱力學第二定律。從他的推理，信息就是熵的減少。從麥克斯韋的討論， 我們可以看到， 熵是自然界一個通用的經濟測度。

麥克斯韋的討論發生在1871年。很多年後， 爆發了二次世界大戰， 戰爭期間， 一項重要的工作是破獲對方的密碼。密碼的製作者，總想把密碼做地非常隨機， 使對方看不出規律，而破譯者則希望看出對方碼文的規律。申農提出了一種破譯密碼的一般方法[1]，我們簡單介紹一下。

隨便一句話， 比如， “I draw a picture." 好像沒什麼規律。但是 I 和 a 只有一個字母， 而 picture 有7個字母，這是偶然嗎？ 不是的。一個越常見的單詞，應該越短，這樣，句子的平均長度就會比較短，節約了人們互相交流的時間。也就是說，儘管我們覺得語言只是一些隨機的符號，但實際上包含了經濟的規律。申農就是利用這個內在的規律來破解敵方的密碼。申農之前有人證明，如果一個信號出現的頻率是 p，那麼這個信號的碼長應該大約是 -log p，這樣的編碼平均長度最短。總體而言，一個信號的加權平均長度，或信息量， 是  sum (pi*(-log pi)，而這個函數， 恰好是物理熵的一個表達方式。申農從純數學角度， 推出信息就是熵，而信息量， 則是輸送信息的最低成本， 我們又一次看到， 信息和熵，是經濟概念。

語言是思維的一種表現，我們重新來看一下詞彙的使用頻率和長度之間的關係。 有些事物， 開始的時候不常用， 代表它們的單詞也較長， 變得常用之後， 單詞也就相應縮短了。 比如說， 汽車最初叫 automobile，用的人多了， 大家就叫 car。Boy friend, girl friend 本是少男少女之間的關係， 但現在婚姻不穩定，到處是70歲，80歲的 boy friend, girl friend。最近出了一個很短的詞 bae 代表男女朋友， 不知這個詞會否流行開來。

上面的分析表明， 儘管我們沒有特意地改變語言， 隨着時代的變遷， 語言也不斷變化， 儘可能降低信息交流的成本，而這個成本的測度就是熵函數。

有人會說，信息是文字，熵是物理量，怎麼會等價呢？但文字不是傳遞信息的唯一途徑。任何一個人都可以說，“我很有錢。”所以這句話本身信息量不大，但如果這個人是大公司的老闆，或者住豪宅，開豪車，到處旅遊，所傳遞的信息量就大多了。一百多年前， 美國經濟學家范布倫 寫過一本書， 叫《休閒階級理論》，裡面講到有錢人， 特別是新近有錢的人， 必須讓別人看到你的消費 （conspicuous consumption)，否則，別人不知道你有錢。 所以，信息的價值，和所消耗的物質財富是等價的，而物質財富，又可以用熵理論來表達 [2，3]。 信息， 熵和經濟價值是三個緊密相連的概念。

參考文獻

1. Shannon, C. (1948). A mathematicaltheory of communication. The Bell SystemTechnical Journal,  27,  379-423, 623-656.

2.      Chen,J. (2015) The Unity of Science and Economics: A New Foundation of Economic Theory, Springer

3.  數學：應用和樂趣,http://blog.sciencenet.cn/blog-2912119-947721.html