【導(dǎo)讀】克勞德·艾爾伍德·香農(nóng)，美國數(shù)學(xué)家、電子工程師和密碼學(xué)家，被譽(yù)為信息論的創(chuàng)始人。他發(fā)表了劃時(shí)代的論文——通信的數(shù)學(xué)原理，奠定了現(xiàn)代信息論的基礎(chǔ)。不僅如此，香農(nóng)還被認(rèn)為是數(shù)字計(jì)算機(jī)理論和數(shù)字電路設(shè)計(jì)理論的創(chuàng)始人。他的名字也不曾如愛因斯坦、費(fèi)曼般如雷貫耳，無論是生前死后。但在大約70年前，他為現(xiàn)代信息時(shí)代開創(chuàng)了先河，奠定了整個(gè)通信基礎(chǔ)設(shè)施的基礎(chǔ)。他是克勞德·香農(nóng)，一個(gè)不可磨滅的名字。1916年，香農(nóng)出生在密歇根州蓋洛德市，父親是一名商人，母親是一名教師。從密歇根大學(xué)獲得電氣工程和數(shù)學(xué)學(xué)位后，他在麻省理工學(xué)院寫了一篇碩士論文，將一門名為布爾代數(shù)的數(shù)學(xué)學(xué)科應(yīng)用于開關(guān)電路的分析和合成。這是一個(gè)變革性的工作，把電路設(shè)計(jì)從一門藝術(shù)變成了一門科學(xué)，現(xiàn)在被認(rèn)為是數(shù)字電路設(shè)計(jì)的起點(diǎn)。此后，香農(nóng)的心里有了一個(gè)更大的目標(biāo)：通信。從狼煙烽火到飛鴿傳信，再到如今的電腦、電話，通信，一直是人類生存的基本需求，而人類也在借助著科技的力量，讓通信的距離越來越遠(yuǎn)，通信的內(nèi)容越來越可靠。但是通信系統(tǒng)的工程總是與特定的源和物理媒介聯(lián)系在一起。香農(nóng)反問:「通信是否存在一個(gè)大統(tǒng)一理論?在1939年寫給導(dǎo)師萬內(nèi)瓦爾·布什(Vannevar Bush)的信中，香農(nóng)概述了他關(guān)于“用于情報(bào)傳遞的一般系統(tǒng)的基本特性」的一些最初想法。在研究這個(gè)問題十年之后，香農(nóng)終于在1948年出版了他的杰作:《通信的數(shù)學(xué)理論》。這本書的核心思想極為簡單：發(fā)射器將信息編碼成信號(hào)，信號(hào)被噪聲破壞，然后由接收器解碼。盡管它很簡單，香農(nóng)的模型包含了兩個(gè)關(guān)鍵的見解:從要設(shè)計(jì)的通信系統(tǒng)中隔離信息和噪聲源，以及對(duì)這兩個(gè)源進(jìn)行概率建模。他想象著信息源產(chǎn)生了許多可能要交流的信息中的一條，而每一條都有一定的概率。概率噪聲進(jìn)一步增加了接收端解開的隨機(jī)性。在香農(nóng)之前，通信問題主要被看作是一個(gè)確定性的信號(hào)重構(gòu)問題：如何變換被物理介質(zhì)扭曲的接收信號(hào)，以盡可能準(zhǔn)確地重建原始信號(hào)。香農(nóng)的天才之處在于他發(fā)現(xiàn)溝通的關(guān)鍵在于不確定性。畢竟，如果你事先知道我會(huì)在這篇文章中對(duì)你說些什么，那么寫它還有什么意義呢?但在當(dāng)時(shí)，這對(duì)通信工程師們來說，這個(gè)不小的打擊。因?yàn)檫@將通信問題從物理上轉(zhuǎn)移到了抽象上，使得香農(nóng)能夠利用概率對(duì)不確定性進(jìn)行建模。在不確定性和概率的框架下，香農(nóng)在他的里程碑式的論文中系統(tǒng)地確定了通信的基本限制。他的回答分為三部分。在這三者中起核心作用的是信息「位」（bit）的概念，香農(nóng)將其作為不確定性的基本單位。這個(gè)詞是「二進(jìn)制數(shù)字」的合成詞，一位可以是1也可以是0，香農(nóng)的論文是第一個(gè)使用這個(gè)詞的人(盡管他說數(shù)學(xué)家約翰·圖基首先在備忘錄中使用了這個(gè)詞)。首先，香農(nóng)提出了一個(gè)表示信息的最小每秒比特?cái)?shù)的公式，這個(gè)數(shù)字被他稱為熵率h。這個(gè)數(shù)字量化了確定信息源將產(chǎn)生何種信息所涉及的不確定性。熵率越低，不確定性越小，因此更容易將信息壓縮成更短的內(nèi)容。例如，每分鐘發(fā)送100個(gè)英文字母的短信意味著每分鐘發(fā)送26100條可能的信息，每條信息由100個(gè)字母序列表示?？梢詫⑺羞@些可能性編碼為470位，因?yàn)?470≈26100。如果序列是等概率的，那么香農(nóng)公式會(huì)說，熵的速率確實(shí)是每分鐘470比特。在現(xiàn)實(shí)中，某些序列比其他序列更可能出現(xiàn)，而且熵率更低，允許更大的壓縮。第二,他提供了一個(gè)公式的最大數(shù)量比特每秒可以可靠地傳達(dá)的噪音,他稱之為系統(tǒng)的容量,c,這是最大的速率接收方可以解決信息的不確定性,有效地使其通信的速度限制。最后，他指出，當(dāng)且僅當(dāng)H < c時(shí)，噪聲源信息的可靠通信是可能的。因此，信息就像水一樣:如果流速小于管道的承載能力，那么水流就可以可靠地通過。雖然這是一種傳播理論，但它同時(shí)也是一種關(guān)于信息如何產(chǎn)生和傳遞的理論——一種信息論。因此，香農(nóng)現(xiàn)在被認(rèn)為是「信息論之父」。他的定理導(dǎo)致了一些違反直覺的結(jié)論。假設(shè)你在一個(gè)非常嘈雜的地方談話。確保你的信息得到傳達(dá)的最好方法是什么?也許會(huì)重復(fù)很多次？這當(dāng)然是每個(gè)人的第一反應(yīng)，但事實(shí)證明，這并不是很有效。當(dāng)然，你重復(fù)自己的次數(shù)越多，溝通就越可靠。但是你為了可靠性犧牲了速度。香農(nóng)向我們展示了我們可以做得更好。重復(fù)信息是使用代碼來傳輸信息的一個(gè)例子，通過使用不同的和更復(fù)雜的代碼，一個(gè)人可以快速通信——一直到速度限制C——同時(shí)保持給定的可靠性。事實(shí)上，香農(nóng)也證明了，在很多事情上，熵的概念可以作為壓縮的基本極限。比特作為信息的通用貨幣統(tǒng)治著世界，他是個(gè)科學(xué)家
從香農(nóng)的理論中得出的另一個(gè)出人意料的結(jié)論是，無論信息的性質(zhì)是什么——無論是莎士比亞十四行詩、貝多芬第五交響曲的錄音還是黑澤明的電影——在傳輸之前將其編碼成比特總是最有效的。所以在無線系統(tǒng)中,例如,盡管最初的聲音和電磁信號(hào)通過空氣發(fā)送模擬波形,香農(nóng)定理意味著它是最佳的先數(shù)字化聲波成碎片,然后這些比特映射到電磁波。這一驚人的結(jié)果是現(xiàn)代數(shù)字信息時(shí)代的基石，比特作為信息的通用貨幣統(tǒng)治著世界。香農(nóng)的一般交流理論是如此自然，就好像他發(fā)現(xiàn)了宇宙的交流法則，而不是發(fā)明了它們。他的理論如同自然物理定律一樣是基本的。從這個(gè)意義上說，他是一個(gè)科學(xué)家。香農(nóng)發(fā)明了新的數(shù)學(xué)來描述通信定律。他引入了新的思想，如概率模型的熵率，這已被應(yīng)用于廣泛的數(shù)學(xué)分支，如遍歷理論，研究動(dòng)力系統(tǒng)的長期行為。從這個(gè)意義上說，香農(nóng)是一位數(shù)學(xué)家。但最重要的是，香農(nóng)是個(gè)工程師。他的理論是由實(shí)際工程問題所激發(fā)的。盡管當(dāng)時(shí)的工程師對(duì)香農(nóng)的理論很深?yuàn)W，但現(xiàn)在香農(nóng)的理論已經(jīng)成為所有現(xiàn)代通信系統(tǒng)的標(biāo)準(zhǔn)框架:光學(xué)系統(tǒng)、水下系統(tǒng)、甚至星際通信系統(tǒng)。事實(shí)上，目前推出的5G標(biāo)準(zhǔn)使用的不是一個(gè)，而是兩個(gè)實(shí)際代碼，被證明達(dá)到了香農(nóng)的速度極限。香農(nóng)在70多年前就找到了這一切的基礎(chǔ)。他是怎么做到的?堅(jiān)持不懈地關(guān)注一個(gè)問題的本質(zhì)特征，而忽略了其他所有方面。他溝通模式的簡單就是這種風(fēng)格的一個(gè)很好的例證。他也知道要專注于可能的事情，而不是立即可行的事情。香農(nóng)的研究說明了頂級(jí)科學(xué)的真正作用。當(dāng)我開始讀研時(shí)，我的導(dǎo)師告訴我，最好的工作是修剪知識(shí)之樹，而不是讓它生長。當(dāng)時(shí)我不知道該如何理解這條消息;我一直認(rèn)為，作為一個(gè)研究人員，我的工作就是添加我自己的小樹枝。但在我的職業(yè)生涯中，當(dāng)我有機(jī)會(huì)將這一哲學(xué)應(yīng)用到我自己的工作中，我開始理解。當(dāng)香農(nóng)開始研究通信時(shí)，工程師們已經(jīng)掌握了大量的技術(shù)。正是他的統(tǒng)一工作，將所有這些知識(shí)的細(xì)枝修剪成一棵連貫可愛的大樹——這棵大樹為一代又一代的科學(xué)家、數(shù)學(xué)家和工程師結(jié)出了果實(shí)。https://www./how-claude-shannons-information-theory-invented-the-future-20201222/來源：新智元 編輯：觀山不易
|
