|
仙農(nóng) 張奠宙 (華東師范大學(xué)) 仙農(nóng)，C．E．(Shannon， Claude Elwood)1916年4月30日生于美國密歇根州蓋洛德(Gaylord)．?dāng)?shù)學(xué)、信息論． 1916年4月30日，仙農(nóng)出生于美國密歇根州的蓋洛德，他于1932年入密歇根大學(xué)就讀，1936年畢業(yè)后去麻省理工學(xué)院任電機(jī)工程和數(shù)學(xué)助教．1939年獲得麻省理工學(xué)院的波勒斯研究席位(Boweles Fellow)，全力從事中繼和轉(zhuǎn)換網(wǎng)絡(luò)理論的研究．一年后，以優(yōu)異的研究成果在該院取得電機(jī)工程技術(shù)碩士和數(shù)學(xué)博士學(xué)位．1940—1941年間，由美國國家研究委員會資助去普林斯頓大學(xué)從事研究工作．此后即以數(shù)學(xué)家身分加入貝爾電話實驗室．仙農(nóng)的主要科學(xué)工作都是在這里完成的．1956年回到麻省理工學(xué)院任訪問教授，但仍兼任貝爾電話實驗室的顧問直至1972年．從1958年起，仙農(nóng)就任麻省理工學(xué)院的冬納(Donner)科學(xué)教授．1980年退休． 仙農(nóng)有許多學(xué)術(shù)榮譽(yù)．1956年當(dāng)選為美國國家科學(xué)院院士，以及美國藝術(shù)和科學(xué)學(xué)院的院士．他曾獲得佛蘭克林研究所的巴蘭亭獎?wù)?Ballantine Medal，1955)，美國工業(yè)電子工程協(xié)會頒發(fā)的凱萊獎(Mervin J．Kelly Award，1955)，美國全國科學(xué)研究合作獎 (National Research Corporation Award，1956)，萊伯曼紀(jì)念獎(Morris Leibmann Memory Award，1958)，美國電機(jī)和電子工程協(xié)會的榮譽(yù)獎?wù)?Medal of Honor，IEEE，1966)，美國技術(shù)協(xié)會的哈維獎(Harvey Prize)，仙農(nóng)被選為比利時皇家科學(xué)院和荷蘭皇家藝術(shù)科學(xué)學(xué)院的院士．他還是牛津大學(xué)等許多高等學(xué)府的榮譽(yù)博士． 仙農(nóng)早在30年代末就作出了重要的工作．1938年他還是研究生，就發(fā)表了經(jīng)典性論文“中繼與開關(guān)電路的符號分析”(Sym-bolic analysis of relay and switching circuits)，在該文中他指出了符號邏輯的真值表和電路的0，1二進(jìn)位制運(yùn)算表是一致的，以及如何按布爾代數(shù)的命題，用開關(guān)電路構(gòu)造一個與之相應(yīng)的“邏輯機(jī)”．后來的“邏輯代數(shù)”、“開關(guān)代數(shù)”、“布爾代數(shù)與自動機(jī)”等研究，都可溯源于這項工作．有關(guān)的工作后來都反映在他和J．麥克卡賽(McCarthy)合編的文集(文獻(xiàn))中．大約也是在這時，仙農(nóng)造了一個新名詞“比特(bit)”，后來被人們廣泛地用作度量“信息”的單位． 仙農(nóng)的主要貢獻(xiàn)是創(chuàng)立了經(jīng)典信息論．他在貝爾電話實驗室從數(shù)學(xué)上和技術(shù)上研究“通信”、“信息”、“消息”等概念，其頂點則是1948年在《貝爾系統(tǒng)技術(shù)雜志》上發(fā)表“通信的數(shù)學(xué)理論”．這篇分兩期刊出、長達(dá)80余頁的文章成了信息論的開端．論文很難讀．1949年，由W．韋佛(Weaver)注釋后出版了單行本． 信息論在1984年取得成功并不是偶然的．這時，數(shù)學(xué)上的概率論、數(shù)理統(tǒng)計、數(shù)理邏輯、運(yùn)籌學(xué)，工程上的通信技術(shù)、電子技術(shù)、自動控制技術(shù)等都在逐漸成熟．計算機(jī)出現(xiàn)了，統(tǒng)計力學(xué)、量子力學(xué)、生物學(xué)提供了重要的科學(xué)方法．仙農(nóng)正是站在前人的肩膀上看到了曙光． 仙農(nóng)首先采用嚴(yán)密的數(shù)學(xué)方法，對信源、信息、信息量、信道、編碼、解碼、傳輸、接收、濾波等一系列基本概念，進(jìn)行嚴(yán)格的數(shù)學(xué)描述和定量度量，使得信息研究由粗糙的定性分析階段進(jìn)入精密的定量階段，并因此而發(fā)展成一門真正的科學(xué)學(xué)科． 對莫爾斯電報編碼的研究將會導(dǎo)致用概率觀念考察信息．比如，在英文電報中，“字母E的出現(xiàn)概率比Q大得多，序列TH出現(xiàn)的概率比XP大得多．”由此仙農(nóng)進(jìn)一步注意到：“通信的基本問題是在消息的接收端精確地或近似地復(fù)現(xiàn)發(fā)送端所挑選的消息．通常的消息是有意義的，……而通信的語義方面問題和工程問題是沒有關(guān)系的．”“重要的是，一個實際信息總是從可能消息的集合中選擇出來的．”這就是說，仙農(nóng)認(rèn)識到兩個要點：(1)通訊工程與語義無關(guān)；(2)通信系統(tǒng)所處理的信息本質(zhì)上是隨機(jī)的．于是他想到“信息是可用來消除不肯定的東西”，并嘗試采用概率方法給信息量下精確定義．設(shè)信息源有n個不同的符號。x1，x2…xn，它們出現(xiàn)的概率分別為p1(x1)，p2(x2)…pn(xn)．仙農(nóng)引入信息熵的概念： 其中K是某一常數(shù)，它表示信息源的某種不確定程度，成為信息量的一種量度．信息熵借用了19世紀(jì)熱力學(xué)第二定律中熱力熵的想法．這里，仙農(nóng)不把信息看作有意義的消息，而是當(dāng)作信息源中各元素符號組合成消息時的自由度，即各元素符號相繼出現(xiàn)的不肯定程度．顯然，自由度越大，信息量也越大．比如，如果a的后面只能出現(xiàn)b，沒有自由選擇的機(jī)會，那么消息a和ab的信息量是一樣的．所以，用不肯定度(或自由度，或混亂程度)來刻畫信息量，是很自然的事．正是這一革命性的思想，成了經(jīng)典信息論的基石．信息量的定義中的對數(shù)若以2為底，其單位被仙農(nóng)稱為比特，而當(dāng)取10或e為底時，相應(yīng)的單位稱為迪西特(decit)與奈特(nat)． 仙農(nóng)用隨機(jī)觀念考察通信理論，確實是一項重大的突破．20世紀(jì)初蓬勃發(fā)展的概率論和數(shù)理統(tǒng)計為信息論提供了合適的數(shù)學(xué)工具．他指出：“離散信源是一個一個符號地產(chǎn)生消息的．相繼符號的選擇是根據(jù)某些概率，而通常這些概率取決于前面符號的選擇及待選的符號．任何一個能產(chǎn)生由一組概率控制的符號序列的物理系統(tǒng)，或物理系統(tǒng)的數(shù)學(xué)模型都可稱為隨機(jī)過程．”這樣一來，平穩(wěn)隨機(jī)過程、統(tǒng)計相關(guān)理論等數(shù)學(xué)成果迅速轉(zhuǎn)移到通信過程的研究領(lǐng)域中來．仙農(nóng)描述的通信系統(tǒng)是： 信源：由一個消息符號表X和X上的概率分布p(x)表示． 編碼：把信源消息變?yōu)榭上蛐诺垒斎氲男盘柕倪\(yùn)算．?dāng)?shù)學(xué)上指函數(shù)fn：Xn→Un。 信道：由輸入(拍發(fā))信號集合U，輸出(接收)信號集合V，轉(zhuǎn)移概率分布矩陣p(u v)構(gòu)成．其中p(u v)為拍發(fā)u條件下接收為v的概率． 譯碼：把信道接收信號還原為信源消息的運(yùn)算，即gn：Vn→Xn。 仙農(nóng)對信息論的又一貢獻(xiàn)，是對信道最大容量的描述和研究．信道容量是指每秒在信道中可通過C個單位．今有每秒輸出H個單位的信源，他提出的一個結(jié)論是：在沒有噪聲干擾的情況下，符號傳輸?shù)钠骄俾视幸粋€上限C/H，它可以逼近，但不能超越．為了將這一定理推廣到具有噪聲干擾的實際情形，仙農(nóng)將兩種不肯定性加以區(qū)別．一種是由誤發(fā)和噪聲干擾產(chǎn)生的“不需要的”不肯定性，另一種是信源本身所具有的“需要的”不肯定性．于是，有用的信息應(yīng)為信源的不肯定性減去噪聲帶來的模糊性．仙農(nóng)指出：當(dāng)C＞H時，傳輸誤差可以變得很??；而當(dāng)C小于H時，誤差就難以控制了．因此，“不需要的”不肯定性必須大于或等于H－C．最后，至少有一種編碼能降低噪聲引起的模糊程度，使之非常接近H－C．仙農(nóng)給出了這一重要定理的嚴(yán)格表述： 信息論基本定理．已知一個具有容量C＞0的平穩(wěn)無記憶通道，以及取自一個遍歷信源的任意信號(數(shù)據(jù))，則對任一ε＞0和正數(shù)R(0＜R＜C)，必存在充分長的編碼信號(a1，a2…an)，它以傳輸速率R傳遞數(shù)據(jù)，同時譯碼錯誤的概率小于ε． 仙農(nóng)的信息論研究先處理離散的隨機(jī)變量，而后很容易地推廣到連續(xù)的情形，幾乎無需作重大修改． 仙農(nóng)在1948年發(fā)表的原始論文，并未期望對通信系統(tǒng)會有廣泛的工程技術(shù)應(yīng)用．然而人們很快就意識到仙農(nóng)所提供的工具對實際通信十分有效．例如，通信中常有一些信息是多余的．我們在打電報時，總是努力壓縮字?jǐn)?shù)以減少多余．但是仙農(nóng)指出，信息的多余往往是有用的，消滅多余倒未必有利．英語中的多余度約為百分之五十．例如，一條消息“To err is human”(人孰無過)經(jīng)傳輸后接收為“Too err is fuman”，一般有些知識的人都能讀懂，可是如果拍發(fā)“Yanks beat reds”而接收成“Yanks beat rebs”，雖然只錯一個字母(d變成b)，意思卻沒法猜了．這是因為兩條消息的多余度不同． 仙農(nóng)在1948年發(fā)表的原始論文，“猶如一顆重磅炸彈起爆，震憾了科學(xué)界”．全新的思想，獨創(chuàng)的方法，一時成為人們爭相仿效的典范．它不僅在理論上十分精致和漂亮，而且為許多工程技術(shù)問題的解決提供了新工具，帶來了新的希望，具有很高的實用價值．然而，也有一些情況不大正常．1956年，仙農(nóng)曾這樣說：“近幾年來，信息論簡直成了最時髦的學(xué)科．它本來只是通信工程師所采用的一種技術(shù)手段，但現(xiàn)今竟然在普通雜志和科學(xué)刊物上都會占有重要地位．……它已名過其實．許多不同學(xué)科的同事們，或因慕其名，或希望尋求科學(xué)分析的新途徑，都把新興理論引入各自的領(lǐng)域．總之，現(xiàn)在信息論已經(jīng)名聲在外．這種聲譽(yù)固然使我們本學(xué)科的人感到愉快和興奮，但也孕育著一種危險……信息論決不是通信工作的萬靈藥方，而對其他人則更是如此．要知道，一次就能打開全部自然奧秘的事情，是十分罕見的．否則，人們一旦知道僅僅用幾個像信息、熵、多余度這樣一些動人字眼并不能解決全部問題的時候，就會大失所望．那種人為的繁榮就會在一夜之間突然崩潰．” 仙農(nóng)的忠告在50年代后半期受到重視，使信息論的發(fā)展走上更健康的軌道．過去的幾十年，現(xiàn)代的信息技術(shù)在仙農(nóng)的基礎(chǔ)上迅猛發(fā)展，諸如信號的數(shù)學(xué)化、微波技術(shù)、衛(wèi)星通信都成為巨大的產(chǎn)業(yè)．由于電子計算機(jī)的長足發(fā)展和迅速普及，信息科學(xué)正向醫(yī)學(xué)、生物學(xué)、遺傳工程、語言學(xué)、心理學(xué)、管理科學(xué)、經(jīng)濟(jì)學(xué)等幾乎所有的社會科學(xué)和自然科學(xué)的各個學(xué)科滲透、溶合，甚至滲入到人們的日常生活之中，這種情形，在數(shù)學(xué)史乃至整個科學(xué)史上都是十分罕見的． 仙農(nóng)在40—50年代達(dá)到科學(xué)事業(yè)的高峰，以后仍繼續(xù)有科學(xué)成果發(fā)表，也有一些較重要工作．例如，1959年的論文提出了保真度準(zhǔn)則下的離散信源編碼定理，以后發(fā)展成“信息率失真論”，成為頻帶壓縮和數(shù)據(jù)壓縮的理論基礎(chǔ)．1967年還看到他和別人合作發(fā)表文章．此后他漸漸退出歷史舞臺．1980年退休之后，住在波士頓安度晚年． |
|
|
