|
羅夫·蘭道爾 在人類文明史上，存在一些基本的理論概念。一旦弄清這些基本概念之間的聯(lián)系，科技乃至人類文明就將出現(xiàn)飛躍。比如愛因斯坦搞清楚了質(zhì)量與能量的關(guān)系后，人類就制造出了原子彈，愛因斯坦也成為科學(xué)史上巨人。 那么，如果有人闡明了信息與能量的關(guān)系，他是否也會(huì)青史留名？答案是肯定的，這個(gè)人就是羅夫·蘭道爾（Rolf Landauer）。 撰文 | 張華 來自IBM公司的一篇論文 1927年，蘭道爾出生在德國斯圖加特的一個(gè)猶太人家庭。1934年，蘭道爾的父親去世后，母親帶著他遷居到美國紐約生活。1945年，18歲的蘭道爾從哈佛大學(xué)畢業(yè)后，在美國海軍服了18個(gè)月的兵役。兵役結(jié)束后，蘭道爾返回哈佛大學(xué)攻讀博士，1950年拿到博士學(xué)位。 1952年，蘭道爾加入IBM公司工作，成為一個(gè)上班族。他從來沒跳過槽，生活看上去波瀾不驚。但到了1961年，蘭道爾在《IBM研究通訊》上發(fā)表了一篇令他青史留名的論文，這篇論文的題目是《不可逆性與計(jì)算過程中的熱量產(chǎn)生問題》。在這篇論文中，蘭道爾指出了一件以前從來沒人發(fā)現(xiàn)的事情：經(jīng)典計(jì)算機(jī)要擦除一個(gè)經(jīng)典比特的信息，其所消耗的最小能量是kT ln2 （k 是玻爾茲曼常數(shù)，T是經(jīng)典計(jì)算機(jī)所處的外界物理環(huán)境的溫度）。 蘭道爾是怎么得到這個(gè)結(jié)論的？為了搞清楚這個(gè)問題，我們需要對信息多一些了解。 什么是信息？ 在信息論的鼻祖香農(nóng)看來，信息其實(shí)是對不確定性的消除。比如一個(gè)女生不確定一個(gè)男生是不是喜歡自己，而這男生對女生說：“今天晚上我請你看電影吧？”這句話里面就是包含信息的，因?yàn)檫@句話在一定程度上消除了不確定性。 但是，如何度量信息的多少呢？這就需要用到一些數(shù)學(xué)了。 1948年，香農(nóng)提出了“信息熵”的概念，信息熵解決了信息的度量問題。信息熵的定義如下（其中pi為每種可能性的概率）： 這個(gè)公式可以對照物理學(xué)中著名的熱力學(xué)熵公式： 這兩個(gè)公式的區(qū)別有兩點(diǎn)：首先是兩者差了一個(gè)玻爾茲曼常數(shù)K；其次是求對數(shù)的時(shí)候，信息熵是以2為底的，而熱力學(xué)熵是以自然常數(shù)e為底的。 我們可以用以下例子來理解信息熵：考試時(shí)，有一道選擇題，你對4個(gè)選項(xiàng)ABCD都不確定。那么，這時(shí)每個(gè)選項(xiàng)正確的概率是25%。于是，這時(shí)的信息熵就可以這樣用以上提到的信息熵公式來計(jì)算。 把四個(gè)pi都等于25%代入以上那個(gè)公式，就可以算出這個(gè)時(shí)候的信息熵等于2比特。 這個(gè)時(shí)候，考場里進(jìn)來一個(gè)人，這個(gè)人是你非常信任的張老師。張老師突然告訴你說：“選項(xiàng)A與選項(xiàng)B肯定不對，不用選了?！睆埨蠋熣f的話是給你信息了。那么，老師的話里包含了多少信息呢？ 現(xiàn)在對你來說，選項(xiàng)AB可以排除，那么只剩下選項(xiàng)C與D了。對你來說，C與D各自正確的概率是50%。 所以，這時(shí)你把兩個(gè)pi都等于50%代入，可以得到的信息熵等于1比特。你會(huì)發(fā)現(xiàn)，信息熵減少了。 所以，對你來說，張老師的話包含的信息量是1比特，因?yàn)?-1=1（這里涉及到一個(gè)信任問題，如果你不相信張老師的話，那么張老師的話對你來說并不包含信息）。 從信息熵到熱力學(xué)熵 有了香農(nóng)的信息熵以后，可以把它與物理學(xué)中的熱力學(xué)熵聯(lián)系起來。 在這里，需要使用高中數(shù)學(xué)中求對數(shù)的換底公式，在求對數(shù)的時(shí)候，信息熵是以2為底的，而熱力學(xué)熵是以自然常數(shù)為底的，統(tǒng)一換成以自然常數(shù)為底，兩者相差一個(gè)ln2。 所以，按照物理學(xué)的理解，3比特的信息熵，對應(yīng)的熱力學(xué)熵就是3kln2 。在這里K是玻爾茲曼常數(shù)，這個(gè)常數(shù)給出了信息熵與熱力學(xué)熵的轉(zhuǎn)化。用公式表示就是： 這其實(shí)也是當(dāng)年香農(nóng)考慮信息熵的時(shí)候的出發(fā)點(diǎn)，他正是通過玻爾茲曼的熱力學(xué)熵來類比信息論中的熵的。只不過在信息論中不需要玻爾茲曼常數(shù)，所以他當(dāng)年在定義信息熵的時(shí)候，把玻爾茲曼常數(shù)省略了。 而蘭道爾要考慮的問題則更進(jìn)了一步，他需要考慮一個(gè)真實(shí)的物理過程。在這個(gè)過程中如果想要用物理的手段擦除1比特的信息，需要多少能量呢？ 物理圖像 蘭道爾是用熱力學(xué)與統(tǒng)計(jì)力學(xué)的思維來思考這個(gè)擦除信息的過程。他的思考本質(zhì)上，就是物理學(xué)家非常熟悉的麥克斯韋妖。 英國物理學(xué)家麥克斯韋假設(shè)有一個(gè)密閉的容器，由一個(gè)沒有摩擦力的隔板分成左右兩部分，隔板上是一個(gè)由麥克斯韋妖控制的閥門。起初，箱子兩側(cè)溫度相同，當(dāng)高速分子由左向右運(yùn)動(dòng)或慢速分子由右向左運(yùn)動(dòng)時(shí)，小妖就打開閥門令其通過；而當(dāng)高速分子由右向左運(yùn)動(dòng)或慢速分子由左向右運(yùn)動(dòng)時(shí)，小妖就關(guān)閉閥門。 久而久之，高速分子都跑到了右區(qū)，慢速分子都跑到了左區(qū)，于是左邊的溫度明顯降低，而右區(qū)的溫度明顯升高。這樣，因?yàn)辂溈怂鬼f妖的存在，這個(gè)系統(tǒng)內(nèi)出現(xiàn)了溫度差，其有序性大大增加，熵就大大減少了。 很明顯，如果麥克斯韋妖存在，那么它可以使得熱力學(xué)系統(tǒng)由溫度的平衡態(tài)轉(zhuǎn)變成了不平衡態(tài)。但這是有代價(jià)的。麥克斯韋妖需要付出什么代價(jià)呢？麥克斯韋妖需要獲得信息，它必須讀取每個(gè)氣體分子的速度，然后做出判斷，判斷這個(gè)分子的速度是快還是慢（這是一個(gè)典型的是非判斷）。這個(gè)過程要求麥克斯韋妖必須具有智商（也就是具有信息處理的能力）。 所以，從這個(gè)物理圖像中很容易看出，信息熵與熱力學(xué)熵本質(zhì)上是等價(jià)的。換句話說就是，氣體熱力學(xué)熵的減少，其實(shí)是以麥克斯韋妖自身的信息熵增加為代價(jià)的。麥克斯韋妖每讀取一個(gè)分子的速度快慢，氣體分子的信息熵降低1比特，而麥克斯韋妖自身信息熵就會(huì)增加1比特，最后麥克斯韋妖的大腦就會(huì)很累，因?yàn)樗拇竽X儲(chǔ)存了大量的信息熵。 信息與能量的聯(lián)系 上面的討論可以讓蘭道爾洞察出信息與能量的關(guān)系。 在物理上，能量對熱力學(xué)熵（內(nèi)含玻爾茲曼常數(shù)）的導(dǎo)數(shù)等于溫度 蘭道爾構(gòu)造了一個(gè)模型，來解釋這個(gè)問題。為了敘述方便，我們把蘭道爾的思想翻譯為如下模型。 首先，我們構(gòu)造一個(gè)盒子，把這個(gè)盒子分為左右兩部分。然后假設(shè)有一個(gè)氣體分子，如果我們不確定它到底是在左邊還是右邊，那么與本文一開始寫到的做選擇題的情況類似，相當(dāng)于有兩個(gè)選項(xiàng)（選左邊或者右邊），這時(shí)的信息熵是1比特。 現(xiàn)在，假設(shè)在箱子的右邊有一個(gè)活塞，活塞可以通過等溫壓縮把氣體分子推到左邊。在這個(gè)過程結(jié)束后，我們能夠確定氣體分子一定處于盒子的左邊，所以，氣體分子的信息熵就等于0。 因此，從信息論的角度來說，在活塞運(yùn)動(dòng)的過程中，相當(dāng)于擦除了1比特的信息。而從物理學(xué)的角度來說，活塞的運(yùn)動(dòng)是需要消耗能量的，在等溫壓縮的過程中，可以通過本小節(jié)的微分公式算出，活塞做了kT ln2 的功。這就是蘭道爾原理的基本思想：經(jīng)典計(jì)算機(jī)要擦除一個(gè)經(jīng)典比特，其所消耗的最小能量是kT ln2。當(dāng)然蘭道爾用了比較長的篇幅來論證這個(gè)能量是最小的，我們在這里就不展開論證了。
信息熵是香農(nóng)在1948年提出來的，而且很快就成了信息科學(xué)的主流科學(xué)術(shù)語。目前5G時(shí)代的計(jì)算網(wǎng)速的理論依據(jù)也是以信息熵為基礎(chǔ)的，香農(nóng)的公式刻畫了信息傳遞的效率與帶寬以及噪聲的關(guān)系。毫無疑問，香農(nóng)奠定了信息論的基礎(chǔ)。 而1960年蘭道爾需要考慮的問題是本質(zhì)上是信息熵與能量到底是什么關(guān)系。他考慮的問題看起來很奇怪，在他之前確實(shí)沒有人考慮過這個(gè)問題：如果我們想要擦除1比特的信息，最少需要消耗多少能量？從信息論的角度來說，比如給你一個(gè)U盤，U盤里存了一張照片，你要?jiǎng)h除這張照片（不能毀滅U盤），你肯定要給U盤接上電腦，那么電腦肯定要花電費(fèi)，必須要消耗能量才能把這個(gè)照片刪除。因此，蘭道爾原理也解釋了電腦在工作的時(shí)候?yàn)槭裁磿?huì)發(fā)熱，因?yàn)殡娔X一直在擦除信息。其實(shí)，對于人腦也一樣，人腦也是一個(gè)內(nèi)存，如果要忘記某件事某個(gè)人，也必須要消耗能量。因此，蘭道爾的思想還是很有價(jià)值的。 原始論文： https://ieeexplore./abstract/document/5392446/ 參考鏈接： http://www.sohu.com/a/224458314_100115417 《科學(xué)美國人》諾獎(jiǎng)得主經(jīng)典文集 開啟預(yù)售 |
|
|
