控制論和信息論

一、   控制論的產(chǎn)生

二十世紀40年代末，維納創(chuàng)立了控制論，申農(nóng)創(chuàng)立了信息論。隨著自動化系統(tǒng)和自動控制理論的出現(xiàn)，對信息的研究開始突破原來僅限于傳輸方面的概念?？刂普撟鳛橐粋€相對獨立的科學(xué)學(xué)科的形成卻起始于本世紀20~30年代，而1948年美國數(shù)學(xué)家維納出版了《控制論》一書，標(biāo)志著控制論的正式誕生。從控制的觀點揭示了動物與機器的共同的信息與控制規(guī)律，研究了用濾波和預(yù)測等方法，從被噪聲湮沒了的信號中提取有用信息的信號處理問題，建立了維納濾波理論。美國數(shù)學(xué)家申農(nóng)是維納的學(xué)生，這年發(fā)表了《通信的數(shù)學(xué)理論》和《在噪聲中的通信》兩篇著名論文，提出信息熵的數(shù)學(xué)公式，從量的方面描述了信息的傳輸和提取問題，創(chuàng)立了信息論。

維納1894年11月26日生于密蘇里州的哥倫比亞，1964年3月18日卒于斯德哥爾摩。維納少年時是一位天才的神童，他11歲上大學(xué)，學(xué)數(shù)學(xué)，但喜愛物理、無線電、生物和哲學(xué)，14歲考進哈佛大學(xué)研究生院學(xué)動物學(xué)，后又去學(xué)哲學(xué)，18歲時獲得了哈佛大學(xué)的數(shù)理邏輯博士學(xué)位。1913年剛剛畢業(yè)的維納又去歐洲向羅素、哈代、和希爾伯特這些數(shù)學(xué)大師們學(xué)習(xí)數(shù)學(xué)，正是多鐘學(xué)科在他頭腦里的匯合，才結(jié)出了控制論這顆綜合之果。1919年維納在麻省理工學(xué)院任教。在研究勒貝格積分時，就從統(tǒng)計物理方面萌發(fā)了控制論思想。第二次世界大戰(zhàn)期間，為了對付德國的空中優(yōu)勢，英美兩國極待提高他們的防空體系的性能。維納兩次參加了美國研制防空火力自動控制系統(tǒng)的工作，當(dāng)時高射炮發(fā)射出的炮彈的速度比德國的飛機快不了多少，而飛機駕駛時有一定隨機性，這就要求高射炮在描準時不能再直接對準目標(biāo)或只是有個大約的提前量，而是要預(yù)測飛機將要飛到的精確位置，以使擊中目標(biāo)。這就產(chǎn)生了自動控制問題。維納概率論和數(shù)理統(tǒng)計等數(shù)學(xué)工具用于火炮控制系統(tǒng)提出了一套最優(yōu)預(yù)測方法。但這只能給出一種可能性最大預(yù)測，并不能給出百分之百的擊中率。為此他開始把早年學(xué)的動物學(xué)知識用了起來。

1943年維納與別格羅和羅森勃呂特合寫了《行為、目的和目的論》的論文，從反饋角度研究了目的性行為，找出了神經(jīng)系統(tǒng)和自動機之間的一致性。這是第一篇關(guān)于控制論的論文。這時，神經(jīng)生理學(xué)家匹茨和數(shù)理邏輯學(xué)家合作應(yīng)用反饋機制制造了一種神經(jīng)網(wǎng)絡(luò)模型。第一代電子計算機的設(shè)計者艾肯和馮.諾依曼認為這些思想對電子計算機設(shè)計十分重要，就建議維納召開一次關(guān)于信息、反饋問題的討論會。1943年底在紐約召開了這樣的會議，參加者中有生物學(xué)家、數(shù)學(xué)家、社會學(xué)家、經(jīng)濟學(xué)家，他們從各自角度對信息反饋問題發(fā)表意見。以后又連接舉行這樣的討論會，對控制論的產(chǎn)生起了推動作用。《控制論》一書的副標(biāo)題是“關(guān)于在動物和機器中控制和通信的科學(xué)”。

二、   控制、控制論和控制論的發(fā)展

1、控制——為了‘改善’某個或某些對象的功能員發(fā)展需要獲得并使用信息，以這種信息為基礎(chǔ)而選出的加于該對象的作用。其含義有：

a)   施加這種作用的目的為了改善對象，以達到預(yù)期目標(biāo)；

b)  控制就是加在某個對象上一種作用；

c)  這種作用是通過信息的選擇、使用而實現(xiàn)的。

2、控制論——即一般控制論，是一門研究各類系統(tǒng)的調(diào)節(jié)和控制規(guī)律的科學(xué)。

控制論一詞Cybernetics，來自希臘語，愿意為掌舵術(shù)，包含了調(diào)節(jié)、操縱、管理、指揮、監(jiān)督等多方面的涵義，維納以它作為自己創(chuàng)立的一門新學(xué)科的名稱，正是取它能夠避免過分偏于哪一方面，“不能符合這個領(lǐng)域的未來發(fā)展”和“紀念關(guān)于反饋機構(gòu)的第一篇重要論文”的意思。維納給控制論下的定義是“設(shè)有兩個變量，其中一個是能由我們進行調(diào)節(jié)的，而另一個則不能控制。這時我們面臨的問題如何根據(jù)那個不可控制變量從過去到現(xiàn)在的信息來適當(dāng)?shù)卮_定可以調(diào)節(jié)的那個變量的最優(yōu)值。以實現(xiàn)對于我們最為合適、最有利的狀態(tài)?！?/SPAN>

控制論是自動控制、通訊技術(shù)、計算機科學(xué)、數(shù)理邏輯、神經(jīng)生理學(xué)、統(tǒng)計力學(xué)、行為科學(xué)等多種科學(xué)技術(shù)相互滲透形成的一門橫斷性學(xué)科。它研究生物體和機器以及各種不同基質(zhì)系統(tǒng)的通訊和控制的過程，探討它們共同具有的信息交換、反饋調(diào)節(jié)、自組織、自適應(yīng)的原理和改善系統(tǒng)行為、使系統(tǒng)穩(wěn)定運行的機制，從而形成了一大套適用于各門科學(xué)的概念、模型、原理和方法。

3、控制論的發(fā)展

控制論是多門科學(xué)綜合的產(chǎn)物也是許多科學(xué)家共同合作的結(jié)晶?？刂普撜Q生后，得到了廣泛地應(yīng)用與迅猛地發(fā)展，大致經(jīng)歷了三個發(fā)展時期。

第一個時期為本世紀50年代，是經(jīng)典控制論時期。這個時期的代表除了生物控制論外，有我國著名科學(xué)家錢學(xué)森1945年在美國發(fā)表的《工程控制論》。

第二個時期是60年代的現(xiàn)代控制論時期。導(dǎo)彈系統(tǒng)、人造恒星，生物系統(tǒng)研究的發(fā)展，使控制論的重點從單變量控制到多變量控制，從自動調(diào)節(jié)向最優(yōu)控制，由線性系統(tǒng)向非線性系統(tǒng)轉(zhuǎn)變。美國卡爾曼提出的狀態(tài)空間方法以及其它學(xué)者提出的極大值原理和動態(tài)規(guī)劃等方法，形成了系統(tǒng)測辨、最優(yōu)控制、自組織、自適應(yīng)系統(tǒng)等現(xiàn)代控制理論。

第三時期是70年代后的大系統(tǒng)理論時期?？刂普撚晒こ炭刂普摗⑸锟刂普撓?B>經(jīng)濟控制論、社會控制論和人口控制論等發(fā)展。1975年國際控制論和系統(tǒng)論第三屆會議，討論的主題就是經(jīng)濟控制論的問題。1978年的第四屆會議，主題又轉(zhuǎn)向了社會控制論。電子計算機的廣泛應(yīng)用和人工智能研究的開展，使控制系統(tǒng)顯現(xiàn)出規(guī)模龐大，結(jié)構(gòu)復(fù)雜，因素眾多，功能綜合的特點，從而控制論也向大系統(tǒng)理論發(fā)展。在1976年國際自動控制聯(lián)合會的學(xué)術(shù)會上，專題討論了“大系統(tǒng)理論及應(yīng)用”問題?？刂普撘残纬闪斯こ炭刂普摗⑸锟刂普?、社會控制論。其中生物控制論又分化出神經(jīng)控制論、醫(yī)學(xué)控制論、人工智能研究和仿生學(xué)研究。社會控制論則把控制論應(yīng)用于社會的生產(chǎn)管理、效能運輸、電力網(wǎng)絡(luò)、能源工程、環(huán)境保護、城市建議，以至社會決策等方面。維納在1950年出版的《人有人有的用處——控制論和社會》一書中著重論述了通信、法律、社會政策等等與控制論的聯(lián)系。阿希貝1958年發(fā)表的《控制論在生物學(xué)和社會中的應(yīng)用》一文，認為運用非線性系統(tǒng)的控制理論，可以研究社會系統(tǒng)。

為了解決控制和決策中的非數(shù)值問題，和適應(yīng)80年代以后智能機研究的需要，以及要解決知識信息處理的問題，遂產(chǎn)生了知識工程，并已研制成專家系統(tǒng)、自然語言理解系統(tǒng)和智能機器人等。

三、   控制論的基本概念和基本思想

控制論強調(diào)系統(tǒng)的行為能力和系統(tǒng)的目的性。維納提出了負反饋概念和功能模擬法。

行為——系統(tǒng)在外界環(huán)境作用（輸入）下所作的反應(yīng)（輸出）。人和生命有機體的行為是有目的、有意識的。生物系統(tǒng)的目的性行為又總是同外界環(huán)境發(fā)生聯(lián)系，這種聯(lián)系是通過信息的交換實現(xiàn)的。外界環(huán)境的改變對生物體的刺激對生物系統(tǒng)來說就是一種信息輸入，生物體對這種刺激的反應(yīng)對生物系統(tǒng)來說就是信息的輸出。控制論認為任何系統(tǒng)要保持或達到一定目標(biāo)，就必須采取一定的行為。輸入和輸出就是系統(tǒng)的行為。

反饋——系統(tǒng)輸出信息返回輸入端，經(jīng)處理，再對系統(tǒng)輸出施加影響的過程。

反饋分正反饋和負反饋。負反饋是控制論的核心問題。

正反饋——反饋信息與原信息起相同的作用，使總輸入增大。系統(tǒng)目標(biāo)偏離。加劇系統(tǒng)不穩(wěn)定。

負反饋——反饋信息與原信息起相反的作用，使總輸入減小。系統(tǒng)目標(biāo)偏離減小。系統(tǒng)穩(wěn)定。

控制論的研究表明，無論自動機器，還是神經(jīng)系統(tǒng)、生命系統(tǒng)，以至經(jīng)濟系統(tǒng)、社會系統(tǒng)，撇開各自的質(zhì)態(tài)特點，都可以看作是一個自動控制系統(tǒng)。在這類系統(tǒng)中有專門的調(diào)節(jié)裝置來控制系統(tǒng)的運轉(zhuǎn)，維持自身的穩(wěn)定和系統(tǒng)的目的功能。控制機構(gòu)發(fā)出指令，作為控制信息傳遞到系統(tǒng)的各個部分（即控制對象）中去，由它們按指令執(zhí)行之后再把執(zhí)行的情況作為反饋信息輸送回來，并作為決定下一步調(diào)整控制的依據(jù)。這樣我們就看到，整個控制過程就是一個信息流通的過程，控制就是通過信息的傳輸、變換、加工、處理來實現(xiàn)的。反饋對系統(tǒng)的控制和穩(wěn)定起著決定性的作用，無論是生物體保持自身的動態(tài)平穩(wěn)（如溫度、血壓的穩(wěn)定），或是機器自動保持自身功能的穩(wěn)定，都是通過反饋機制實現(xiàn)的?？刂普摼褪茄芯咳绾卫每刂破?，通過信息的變換和反饋作用，使系統(tǒng)能自動按照人們預(yù)定的程序運行，最終達到最優(yōu)目標(biāo)的學(xué)問。它是自動控制、通訊技術(shù)、計算機科學(xué)、數(shù)理邏輯、神經(jīng)生理學(xué)、統(tǒng)計力學(xué)、行為科學(xué)等多種科學(xué)技術(shù)相互滲透形成的一門橫斷性學(xué)科。它研究生物體和機器以及各種不同基質(zhì)系統(tǒng)的通訊和控制的過程，探討它們共同具有的信息交換、反饋調(diào)節(jié)、自組織、自適應(yīng)的原理和改善系統(tǒng)行為、使系統(tǒng)穩(wěn)定運行的機制，從而形成了一大套適用于各門科學(xué)的概念、模型、原理和方法。

四、控制論的基本方法

控制論是具有方法論意義的科學(xué)理論?？刂普摰睦碚摗⒂^點，可以成為研究各門科學(xué)問題的科學(xué)方法，這就是撇開各門科學(xué)的質(zhì)的物點，把它們看作是一個控制系統(tǒng)，分析它的信息流程、反機制和控制原理，往往能夠?qū)ふ业绞瓜到y(tǒng)達到最佳狀態(tài)的方法。這種方法稱為控制方法。

控制論的主要方法有控制方法、信息方法、反饋方法、功能模擬方法和黑箱方法等。

信息方法——是把研究對象看作是一個信息系統(tǒng)，通過分析系統(tǒng)的信息流程來把握事物規(guī)律的方法。

反饋方法——則是動用反饋控制原理去分析和處理問題的研究方法。所衷腸反饋控制就是由控制器發(fā)出的控制信息的再輸出發(fā)生影響，以實現(xiàn)系統(tǒng)預(yù)定目標(biāo)的過程，正反饋能放大控制作用，實現(xiàn)自組織控制。但也使偏差愈益加大，導(dǎo)致振蕩。負反饋能糾正偏差，實現(xiàn)穩(wěn)定控制，但它減弱控制作用、損耗能量。

功能模擬法——用功能模型來模仿客體原型的功能和行為的方法。所謂功能模型就是只以功能行為是相似為基礎(chǔ)而建立的模型。如獵手瞄準獵物的過程與自動火炮系統(tǒng)的功能行為是相似的，但二者的內(nèi)部結(jié)構(gòu)和物理過程是截然不同的，這就是一種功能模擬。功能模擬法為仿生學(xué)、人工智能、價值工程提供了科學(xué)方法。

黑箱方法（又稱系統(tǒng)辨識）——通過考察系統(tǒng)的輸入與輸出關(guān)系認識系統(tǒng)功能的研究方法。它是探索復(fù)雜大系統(tǒng)的重要工具。系統(tǒng)辨識是在輸入、輸出的基礎(chǔ)上，從一類系統(tǒng)中確定一個與所測系統(tǒng)等價的系統(tǒng)。黑箱就是指那些不能打開箱蓋，又不能從外部觀察內(nèi)部狀態(tài)的系統(tǒng)。

黑箱方法也是控制論的主要方法。具體是：首先給黑箱一系列的刺激（系統(tǒng)輸入），再通過觀察黑箱的反應(yīng)（系統(tǒng)輸出），從而建立起輸入和輸出之間的規(guī)律性聯(lián)系，最后把這種聯(lián)系用數(shù)學(xué)的語言描述出來形成黑箱的數(shù)學(xué)模型。

黑箱方法不涉及復(fù)雜系統(tǒng)的內(nèi)部結(jié)構(gòu)和相互作用的大量細節(jié)，而只是從總體行為上去描述和把握系統(tǒng)、預(yù)測系統(tǒng)的行為，這在研究復(fù)雜系統(tǒng)時特別有用。

白箱方法——研究系統(tǒng)的可觀性和可控性，通過定量分析找出兩者之間的關(guān)系。

黑箱方法的目的在于通過為黑箱建立模型，是黑箱變成白箱。有時黑箱模型不止一個，這種情況下，系統(tǒng)辨識其中最合理的一個。

系統(tǒng)辨識主要步驟是：試驗設(shè)計、選擇模型、參數(shù)估計和檢驗?zāi)Ｐ汀?/P>

五、信息科學(xué)

信息科學(xué)是以信息為主要研究對象，以信息的運動規(guī)律和應(yīng)用方法為主要研究內(nèi)容，以計算機等技術(shù)為主要研究工具，以擴展人類的信息功能為主要目標(biāo)的一門新興的綜合性學(xué)科。信息科學(xué)由信息論、控制論、計算機科學(xué)、仿生學(xué)、系統(tǒng)工程與人工智能等學(xué)科互相滲透、互相結(jié)合而形成的。60年代中，由于出現(xiàn)復(fù)雜的工程大系統(tǒng)需要用計算機來控制生產(chǎn)過程，系統(tǒng)辨識成為重要研究課題。從信息科學(xué)的觀點來看，系統(tǒng)辨識就是通過輸入輸出信息來研究控制系統(tǒng)的行為和內(nèi)部結(jié)構(gòu)，并用簡明的數(shù)學(xué)模型來加以表示?？刂凭褪歉鶕?jù)系統(tǒng)結(jié)構(gòu)和要求對信息加工、變換和利用。

“信息”使用的廣泛性使得我們難以給“信息”下一個確切的定義，但是，一般說來，信息可以界定為由信息源（如自然界、人類社會等）發(fā)出的被使用者接受和理解的各種信號。作為一個社會概念，信息可以理解為人類共享的一切知識，或社會發(fā)展趨勢以及從客觀現(xiàn)象中提煉出來的各種消息之和。信息并非事物本身，而是表征事物之間聯(lián)系的消息、情報、指令、數(shù)據(jù)或信號。一切事物，包括自然界和人類社會，都在發(fā)出信息。我們每個人每時每刻都在接收信息。在人類社會中，信息往往以文字、圖象、圖形、語言、聲音等形式出現(xiàn)。

信息論是研究信息的產(chǎn)生、獲取、變換、傳輸、存貯、處理識別及利用的學(xué)科。一般認為，1948年申農(nóng)發(fā)表的《通訊的數(shù)學(xué)理論》一文標(biāo)志著信息論的誕生。信息論有狹義和廣義之分。狹義信息論即申農(nóng)早期的研究成果，它以編碼理論為中心，主要研究信息系統(tǒng)模型、信息的度量、信息容量、編碼理論及噪聲理論等。廣義信息論又稱信息科學(xué)，主要研究以計算機處理為中心的信息處理的基本理論，包括評議、文字的處理、圖像識別、學(xué)習(xí)理論及其各種應(yīng)用。

信息量是信息論中量度信息多少的一個物理量。它從量上反映具有確定概率的事件發(fā)生時所傳遞的信息。信息的量度與它所代表的事件的隨機性或各外事件發(fā)生的概率有關(guān)，當(dāng)事件發(fā)生的概率大，事先容易判斷，有關(guān)此事件的消息排隊事件發(fā)生的不確定程度小，則包含的信息量就??；反之則大。從這一點出發(fā)，信息論利用統(tǒng)計熱力學(xué)中熵的概念，建立了對信息的量度方法。在統(tǒng)計熱力學(xué)中，熵是系統(tǒng)的無序狀態(tài)的量度，即系統(tǒng)的不確定性的量度。

申農(nóng)的信息量公式：H(x) =ΣP(x_i)h(x_i)= —ΣP(x_i)·log₂P(x_i)

其中：h(x_i) = —log₂P(x_i)，表示某狀態(tài)x_i的不定性數(shù)量或所含的信息量。若P(x_i)=1，則h(x_i) =0；若P(x_i)=0，則h(x_i) =∞；當(dāng)ｎ=2，且P1=P2=1/2時，H(x)=1比特。因此可見一個等幾率的二中擇一的事件具有1比特的不定性或信息量。

信息和控制是信息科學(xué)的基礎(chǔ)和核心。70年代以來，電視、數(shù)據(jù)通信、遙感和生物醫(yī)學(xué)工程的發(fā)展，向信息科學(xué)提出大量的研究課題，如信息的壓縮、增強、恢復(fù)等圖像處理和傳輸技術(shù)，信息特征的抽取、分類和識別的模式、識別理論和方法，出現(xiàn)了實用的圖像處理和模式識別系統(tǒng)。

申農(nóng)最初的信息論只對信息作了定量的描述，而沒有考慮信息的其他方面，如信息的語義和信息的效用等問題。而這時的信息論已從原來的通信領(lǐng)域廣泛地滲入到自動控制、信息處理、系統(tǒng)工程、人工智能等領(lǐng)域，這就要求對信息的本質(zhì)、信息的語義和效用等問題進行更深入的研究，建立更一般的理論，從而產(chǎn)生了信息科學(xué)。

迄今為止，人類社會已經(jīng)發(fā)生過四次信息技術(shù)革命。

第一次革命是人類創(chuàng)造了語言和文字，接著現(xiàn)出了文獻。語言、文獻是當(dāng)時信息存在的形式，也是信息交流的工具。

第二次革命是造紙和印刷技術(shù)的出現(xiàn)。這次革命結(jié)束了人們單純依靠手抄、撰刻文獻的時代，使得知識可以大量生產(chǎn)、存貯和流通，進一步擴大了信息交流的范圍。

第三次革命是電報、電話、電視及其它通訊技術(shù)的發(fā)明和應(yīng)用。這次革命是信息傳遞手段的歷史性變革，它結(jié)束了人們單純依靠烽火和驛站傳遞信息的歷史，大大加快了信息傳遞速度。

第四次革命是電子計算機和現(xiàn)代通訊技術(shù)在信息工作中的應(yīng)用。電子計算機和現(xiàn)代通訊技術(shù)的有效結(jié)合，使信息的處理速度、傳遞速度得到了驚人的提高；人類處理信息利用信息的能力達到了空前的高度。今天，人類社會已經(jīng)進入了所謂的信息社會。