今天的信息時代只有借助一個天才的開創性工作才有可能。

香農Shannon

弗朗西斯·貝洛莊園

——科學資源

作者：謝大衛 2020-12-22 量子雜志專欄作家，大衛·謝（David Tse）是斯坦福大學工程學院的Thomas Kailath和徐光漢席位教授。

譯者：zzllrr小樂 2020-12-23 于頭條號、企鵝號、百家號、微信公眾號、B站專欄、知乎專欄同步發布

科學，尋求大自然的基本定律。數學，在舊的定理基礎上尋找新的定理。工程，構建解決人類需求的系統。這三個學科是相互依存但又截然不同的。一個人很少同時為這三者做出核心貢獻，但克勞德·香農（Claude Shannon）就是一個罕見奇才。

盡管香農是最近的紀錄片《比特玩家The Bit Player》的主題，而他的工作和研究哲學啟發了我自己的職業，但香農并不是一個家喻戶曉的人物。他從未獲得過諾貝爾獎，而且在2001年去世之前或之后，他都不是像阿爾伯特·愛因斯坦（Albert Einstein）或理查德·費曼（Richard Feynman）這樣的名人。但是70多年前，他在一份開創性的論文中奠定了整個通信基礎，構建出現代信息時代的基礎。

香農（Shannon）于1916年出生于密歇根州的蓋洛德（Gaylord），是一位當地商人和一名教師的兒子。從密歇根大學獲得電氣工程和數學學位后，他在麻省理工學院（Massachusetts Institute of Technology）撰寫了一篇碩士論文，將一門名為布爾代數的數學學科應用于開關電路的分析和合成。這是一項變革性的工作，將電路設計從一門藝術變成了一門科學，現在已被認為是數字電路設計的起點。

克勞德·香農（Claude Shannon）撰寫了一篇碩士論文，該論文迅速啟動了數字電路設計，十年后，他撰寫了有關信息論的開創性論文《通信的數學理論》。

——麻省理工學院博物館

接下來，香農將目光投向了一個更大的目標：通信。

通信是人類最基本的需求之一。從煙霧信號到信鴿，再到電話再到電視，人類一直在尋找能夠使他們進行更遠、更快、更可靠的通信的方法。但是，通信系統的工程總是與特定的來源和物理介質相關聯。香農轉而問：“是否有一個大而統一的通信理論？” 在1939年給他的導師范尼瓦爾·布什（Vannevar Bush）的信中，香農概述了他的一些初步想法，即“用于情報傳遞的通用系統的基本特性”。經過十年的研究，香農終于在1948年發表了他的杰作：“通信的數學理論”。

他的理論的核心是一個簡單但非常通用的通信模型：發送器將信息編碼為信號，該信號會被噪聲破壞，然后由接收器解碼。盡管其簡單性，香農的模型還是結合了兩個關鍵的見解：將信息和噪聲源與要設計的通信系統隔離開來，并對這兩個源進行概率建模。他設想信息源會生成許多可能的消息之一來進行通信，每條消息都有一定的概率。概率噪聲進一步增加了接收器解開的隨機性。

在香農之前，通信問題主要被視為確定性信號重建問題：如何轉換受物理介質扭曲的接收信號，以盡可能準確地重建原始信號。香農的天才在于他的觀察，即通信的關鍵是不確定性。畢竟，如果你提前知道了我在本專欄中對你說的話，那么編寫它的目的是什么？

香農的通信模型示意圖，摘自他的論文

——貝爾系統技術雜志

單一的觀察將通信問題從物理問題轉移到了抽象問題，從而使香農可以使用概率對不確定性進行建模。這給當時的通信工程師帶來了極大的震驚。

考慮到不確定性和可能性的框架，香農在其具有里程碑意義的論文中著手系統地確定通信的基本限制。他的回答分為三個部分。信息“位”的概念在這三個方面都扮演著重要角色，香農將其用作不確定性的基本單位。“二進制數字”的雙格旅行箱，可以是1或0，香農的論文是第一個使用該詞的人（盡管他說數學家John Tukey在一個備忘錄中首先使用了它）。

首先，香農提出了每秒比特數來表示信息的最小數量的公式，即他所謂的熵率，H。該數字量化了消息源將生成哪條消息所涉及的不確定性。熵率越低，不確定性越小，因此將消息壓縮成較短的內容越容易。例如，以每分鐘100個英文字母的速率發送短信意味著每分鐘發送261??條可能的消息，每條消息均由100個字母的序列表示。人們可以將所有這些可能性編碼成470比特位，因為2???  ≈261??。如果序列具有相同的可能性，那么香農公式將表明熵速率實為每分鐘470位。實際上，某些序列比其他序列更有可能，并且熵率要低得多，可以進行更大的壓縮。

其次，他提供了一個公式，計算他所謂的系統的容量，C，在噪音中系統能夠可靠地傳達的每秒最大數量比特數。這是接收者可以消除消息不確定性的最大速率，有效地成為通信限速。

最后，他表明，只有當H < C時，面對噪聲來自信源的信息才能進行可靠的通信。因此，信息就像水一樣：如果流量小于管道的容量，則水流能可靠地通過。

雖然這是一種傳播理論，但同時也是一種有關信息如何產生和傳遞的理論-信息論。因此，香農現在被認為是“信息論之父”。

他的定理得出了一些與直覺相反的結論。假設你在嘈雜的地方講話，確保你的消息通過的最佳方法是什么？也許是重復多次？當然，這是任何人在大聲餐廳中的第一個本能想法，但事實證明這不是很有效。當然，你重復自己的次數越多，溝通越可靠。但是你犧牲了速度來提高可靠性。香農向我們展示了我們可以做得更好。重復消息是使用代碼傳輸消息的示例，通過使用不同且更復雜的代碼，可以在保持給定可靠性的同時，快速通信-一直達到限速C。

香農也有愛玩的一面，他經常帶到他的工作中。在這里，他與他為電子鼠標建造的迷宮合影，名為特修斯Theseus。

——麻省理工學院博物館

香農理論的另一個出乎意料的結論是，無論信息的性質是什么，無論是莎士比亞十四行詩，貝多芬第五交響曲的錄音還是黑澤明的電影，在傳輸之前，將其編碼為比特位總是最有效的。因此，例如在無線電系統中，即使初始聲音和通過空中發送的電磁信號都是模擬波形，香農定理也暗示著最好先將聲波數字化為比特位，然后將這些比特位映射為電磁波。這一令人驚訝的結果是現代數字信息時代的基石，在這個時代，比特位已成為信息的通用貨幣。

香農的一般通信理論是如此自然，以至于他似乎發現了宇宙的通信定律，而不是發明了它們。他的理論與自然的物理定律一樣基礎。從這個意義上說，他是一名科學家。

香農發明了新的數學來描述通信定律。他介紹了一些新思想，例如概率模型的熵率，這些新思想已應用于遍歷數學等廣泛的數學分支，動力學系統的長期行為研究中。從這個意義上說，香農是一個數學家。

但最重要的是，香農是一名工程師。他的理論受到實際工程問題的啟發。盡管對當時的工程師來說是深奧的，但香農的理論現已成為所有現代通信系統（光學，水下，甚至行星際）的基礎標準框架。就個人而言，我很幸運地參與了將香農的理論應用和擴展到無線通信的全球性努力，在多代標準中將通信速度提高了兩個數量級。確實，當前推出的5G標準使用的不是一種而是兩種實用的代碼，它們被證明可以達到香農的速度極限。

盡管香農（Shannon）于2001年去世，但他的遺產仍然存在于構成我們現代世界的技術和他創造的設備（如這種遙控巴士）中。

——麻省理工學院博物館

香農在70多年前就為所有這一切奠定了基礎。他是怎么做到的？通過不懈地專注于問題的基本特征，而忽略了所有其他方面。他的通信模型的簡單性就是這種風格的很好例證。他還知道要專注于可能的事情，而不是立即可行的事情。

香農的工作說明了頂級科學的真正作用。當我開始讀研究生時，我的導師告訴我，最好的工作是修剪知識樹，而不是壯大知識樹。那時候我不知道該怎么做。我一直認為我作為研究人員的工作是添加自己的樹枝。但是在我的職業生涯中，由于有機會在自己的工作中運用這種哲學，我開始理解。

當香農開始研究通信時，工程師已經掌握了大量技術。正是他的統一工作將所有這些知識枝條修剪成了一棵連貫而可愛的樹，這棵樹為幾代科學家，數學家和工程師帶來了成果。