現代通信與香農三大定理

姓名：楊偉章 學號：201110404234

摘要：當我們提起信息論，就不得不把香農和信息論聯系在一起，因為正是香農為通信理論的發展所做出的劃時代貢獻，宣告了一門嶄新的學科——信息論的誕生。從此，在香農信息論的指導下，為了提高通信系統信息傳輸的有效性和可靠性，人們在信源編碼和信道編碼兩個領域進行了卓有成效的研究，取得了豐碩的成果。其實，信息論是人們在長期通信實踐活動中，由通信技術與概率論、隨機過程、數理統計等學科相互結合而逐步發展起來的一門新興交叉學科。

關鍵詞： 信息論基礎 現代通信系統 香農三大定理

上個世紀四十年代，半導體三極管還未發明，電子計算機也尚在襁褓之中。但是通信技術已經有了相當的發展。從十九世紀中葉，電報就已經很普遍了。電報所用的摩斯碼（Morse Code），就是通信技術的一項杰作。摩斯碼用點和線（不同長度的電脈沖）來代表字母，而用空格來代表字母的邊界。但是每個字母的碼不是一樣長的。常用的字母E只有一個點。而不常用的Z有兩劃兩點。這樣，在傳送英語時，平均每個字母的碼數就減少了。事實上，摩斯碼與現代理論指導下的編碼相比，傳送速度只差15%。這在一百五十多年前，是相當了不起了。

在二次世界大戰時，雷達和無線電在軍事上廣泛應用。無線電受各種噪聲的干擾很厲害，這也給通訊技術提出了新的課題。各種不同的調制方式也紛紛問世。于是就出現了這樣一個問題：給定信道條件，有沒有最好的調制方式，來達到最高的傳送速率？

“傳輸速率是波特率與每波特所含比特數的乘積。波特率受頻寬的限制，而每波特所含比特數受噪聲的限制。”前一個限制，由那奎斯特（Harry Nyquist）在1928年漂亮地解決了。而后一個問題則更復雜。1928年，哈特利（R. V. L. Hartley）首先提出了信息量的概念，并指出編碼（如摩斯碼）在提高傳送速度中的重要作用。但是他未能完整定量地解決這個問題。二戰期間，維納（Norbert Wiener）發展了在接收器上對付噪聲的最優方法。但是傳輸速率的上限還是沒有進展。

在這種情況下，香農（Claude E Shannon）在1948年發表了《通信的一個數

學理論》(C. E. Shannon, A Mathematical Theory of Communication”, The Bell System Technical Journal, Vol. 27, pp. 379-423, 1948

http://cm./cm/ms/what/shannonday/shannon1948.pdf)，完整地解決了通訊速度上限的問題。“信息論”（Information Science）從此誕生。

要建立信息理論，首先要能夠度量信息。信息是由信號傳播的。但是信息與信號有本質的區別。所以如何度量一個信號源的信息量，就不是簡單的問題。從直覺上說，如果一個信號源發出不變的符號值（比如總是1），它是沒有信息量的，因為它沒有告訴別人任何東西。而且如果信號源發出的符號值是變化的但是可以預計的（比如圓周率的數字序列），那也是沒有信息量的，因為我不需要接受任何東西，就可以把這些符號值重復出來。而且，即使信號源發出的符號不是完全可確定的，它的信息量也和“確定”的程度有關。例如，如果一個地方90%的時候是晴天，氣象報告就沒有多大用處。而如果50%的時候是晴天其余時候下雨，人們就需要氣象報告了。

從這點出發，香農就把信息量與信號源的不確定性，也就是各個可能的符號值的幾率分布聯系起來。他從直觀上給出了信息量需要滿足的幾個簡單的數學性質（如連續性，單調性等），而給出了一個唯一可能的表達形式。

那么這樣定義的信息量與我們通常所說的數據量，也就是需要多少比特來傳送數據，有什么關系呢？（比特就是二進制數據的位數）。為此，我們來看看一個含有固定符號數的序列（也就是信號或碼字）。由于每個符號值的出現是隨機的，這樣的序列就有很多可能性。顯然，每個可能的符號在序列中出現次數，對于所有可能序列的平均值正比于符號出現的幾率。我們把每個符號出現次數“正好”等于其次數平均值的序列叫做“典型序列”，而其他的就叫作“非典型序列”。而數學上可以證明，當N趨于無窮大時，“非典型序列”出現的幾率趨于零。也就是說，我們只要注意“典型序列”就行了。而典型序列的個數，就是它們出現概率的倒數（因為總概率為1）。而碼字所攜帶的數據量，就是它的個數以2為底的對數。所以，這樣的分析就得出了序列所含的數據量。除以序列的長度，就得到每個符號所含的數據量。而這個結果恰好就等于上面所說的信息量！

至此，香農開創性地引入了“信息量”的概念，從而把傳送信息所需要的比特數與信號源本身的統計特性聯系起來。這個工作的意義甚至超越了通信領域，而

成為信息儲存，數據壓縮等技術的基礎。

解決了信號源的數據量問題后，我們就可以來看信道了。信道（channel）的作用是把信號從一地傳到另一地。在香農以前，那奎斯特已經證明了：信道每秒能傳送的符號數是其頻寬的一半。但問題是，即使這些符號，也不是總能正確地到達目的地的。在有噪聲的情況下，信道傳送的信號會發生畸變，而使得接收者不能正確地判斷是哪個符號被發送了。對付噪聲的辦法是減少每個符號所帶的比特數：“而每個波特所含的比特數，則是受噪聲環境的限制。這是因為當每個波特所含的比特數增加時，它的可能值的數目也增加。這樣代表不同數據的信號就會比較接近。例如，假定信號允許的電壓值在正負1伏之間。如果每個波特含一個比特，那么可能的值是0或1。這樣我們可以用-1伏代表0，用1伏代表1。而假如每波特含兩個比特，那么可能的值就是0，1，2，3。我們需要用-1伏，-0.33伏，0.33伏，1伏來代表著四個可能值。這樣，如果噪聲造成的誤差是0.5伏的話，那么在前一種情況不會造成解讀的錯誤（例如把-1V錯成了-0.5伏，它仍然代表0）。而在后一種情況則會造成錯誤（例如把-1V錯成了-0.5伏，它就不代表0，而代表1了）。所以，每個波特所含的比特數也是不能隨便增加的。以上兩個因素合起來，就構成了對于數據傳輸速率的限制。”其實，除此之外，還有一個對付噪聲的辦法，就是在所有可能的符號序列中只選用一些來代表信息。例如，如果符號值是0和1，那么三個符號組成的序列就有8個：000，001，010，011，100，101，110，111。我們現在只用其中兩個來代表信息：000和111。這樣，如果噪聲造成了一個符號的錯誤，比如000變成了010，那我們還是知道發送的是000而不是111。這個方法的代價與前面的方法一樣，就是降低了傳送速率（原來可以送三個比特，現在只能送一個比特了）。這種選取特定序列，而不是使用所有序列的方法稱為編碼。以上的例子，是一個極為簡單的碼，遠非最優。

可見，用降低速率來減少錯誤的方法有很多選項。那么怎樣才能達到速度和準確度之間最好的權衡呢？這看來是一個非常棘手的問題。然而，香農卻得出了一個非常簡明的結論：對于一個信道，有這樣一個速率（稱為信道的容量）：一定有一個方法能在這個速率以下傳送數據而誤差的幾率達到任意小；而超過這個速率的話，誤差的幾率就一定會大于某個下限。也就是說，香農同時給出了無錯誤的條件下傳送速度的上限（即不可能超過）和下限（即有辦法達到），而這兩

者是同一個值！

不僅結論出乎意料地簡單，香農的證明也是如此。他的基本思路是：噪聲使得接收端收到信號后，對于所發送的信號仍然有個不確定性。也就是說，一個收到的序列可能對應多個發送的序列。這個對應的個數可以用上面講到的“典型序列”的個數來估計。因為如此，我們只能用這多個發送序列之中的一個來作為碼字，代表要傳送的信息，而其余都棄之不用。這樣才能避免混淆。所以，我們的傳送速率就要降低了。這個直觀解釋聽起來簡化得離譜。我們知道，隨機過程是很復雜的，怎么可能用平均值就搞定呢？然而，香農在數學上嚴格地證明了這些結論。關鍵在于：他考慮序列長度趨向于無窮的情況。這樣，在樣本數量趨于無窮的情況下，實際情況偏于平均值的幾率趨向于零。所以說，香農的簡化顯示他真正抓住了問題的關鍵。對于通常遇到的信道，香農定理說：信道容量（即最高傳送速率）與頻寬成正比，與信噪比的對數（底數為2）成正比。信噪比是在接收端信號功率與噪聲功率的比。增加發射功率能增加信噪比從而增加容量，但因為是對數關系，不是那么有效。而增加頻寬則是線性地增加容量。通常，頻率較低的頻道頻寬也小。如前一講中提到的調幅（AM）廣播，在幾百千赫頻段，頻寬是20千赫。而調頻（FM）廣播是在一百兆赫頻段，頻寬是200千赫。這就是調幅廣播音質較好的主要原因。所以現代的數字通信服務不斷往高頻段擴展（目前已到2兆赫）。當我們聽到某個服務能提供更高速率的時候，并不等于它使用了性能更好的技術。很可能它只是用了更寬的頻道而已。

現有的通信系統的分層結構決定了各子層技術只能保證局部最優的系統性能， 跨層優化設計打破了傳統通信系統的層次結構， 對各子層的關鍵技術進行聯合優化， 特別是通信系統的收發聯合優化以求達到全局最優的系統性能。

香農在二十世紀四十年代初奠定了通信的數字理論基礎。同時香農三大定律是信息論的基礎，雖然沒有提出具體的編碼實現方法，但是為通信信息的研究指

明了方向。他的“信道容量定理”指出，可以找到這樣一種技術，當數據傳輸速率不大于某個最大傳輸的速率時，通過它可以以任意小的錯誤概率傳輸信號。同時香農也給出了有噪聲信道的最大傳輸速率與寬帶的關系。1948年，香農發表了他的著名論文《通信的數學理論》，徹底奠定了信息論的理論基礎。正如我們所知道的那樣，信息傳輸的有效性和可靠性一直都是人們討論的熱點。在1948年以前，科學界一般都認為有效性和可靠性是矛盾的兩個方面：提高信息傳輸率往往會使抗干擾能力減弱；反之，提高抗干擾能力又常常會使信息傳輸率降低，也就是說要使最小平均錯誤譯碼概率達到任意小，信息傳輸率R也會趨于0（要使Pemin→0，則R→0）。這是一個很悲觀的結論。如果從博弈的觀點來看，信息傳輸的有效性和可靠性就是博弈的雙方，雙方的決策都會使信息傳輸這個“市場”發生不同的情況。但是，經過深入的研究，香農發現，作為矛盾的雙方，是可以達到的辨證的統一的，當然這也是有條件的，在一定條件下，可以使信息的傳輸既有效又可靠。

香農的三大定理都是針對編碼理論而闡述的，在通信系統中，編碼理論顯得尤其重要，編碼很大程度上決定了能否有效、可靠的傳遞信息。一般來說，通信系統要把信源所發出的信息高速度、高質量的通過信道傳輸給信宿，需要解決三個方面的問題：

第一、信源發出的符號或消息有可能不適合信道的傳輸。因為信道能傳遞的符號與信源發出的符號消息有可能不一致，那么信道將無法完成傳輸的任務。

第二、信道能否盡快地傳輸信源發出的符號消息。也就是說要用盡量少的信道符號去代表信源發出的符號消息，這就是傳輸的有效性。

第三、在信道中一般都有噪聲的隨機干擾，這就又要求增加信息傳輸的可靠性，減低通信可能發生的傳輸錯誤。

解決第一、第二個問題，可以通過信源編碼來完成，最后一個問題，則可以通過信道編碼來完成。 香農三大定理是信息論的基礎理論。香農三大定理是存在性定理，雖然并沒有提供具體的編碼實現方法，但為通信信息的研究指明了方向。香農第一定理是可變長無失真信源編碼定理。香農第二定理是有噪信道編碼定理。香農第三定理

是保失真度準則下的有失真信源編碼定理。具體如下:

香農第一定理

香農第一定理(可變長無失真信源編碼定理)

設離散無記憶信源X包含N個符號{x1,x2,?,xi,..,xN}，信源發出K重符號序列，則此信源可發出N^k個不同的符號序列消息，其中第j個符號序列消息的出現概率為PKj，其信源編碼后所得的二進制代碼組長度為Bj，代碼組的平均長度B為

B=PK1B1+PK2B2+?+PN^kBN^k

當K趨于無限大時，B和H(X)之間的關系為B/K=H(X)(K趨近無窮） 香農第一定理又稱為無失真信源編碼定理或變長碼信源編碼定理。

香農第一定理的意義：將原始信源符號轉化為新的碼符號，使碼符號盡量服從等概分布，從而每個碼符號所攜帶的信息量達到最大，進而可以用盡量少的碼符號傳輸信源信息。

香農第二定理

香農第二定理（有噪信道編碼定理）

有噪信道編碼定理。當信道的信息傳輸率不超過信道容量時，采用合適的信道編碼方法可以實現任意高的傳輸可靠性，但若信息傳輸率超過了信道容量，就不可能實現可靠的傳輸。

設某信道有r個輸入符號，s個輸出符號，信道容量為C，當信道的信息傳輸率R<C，碼長N足夠長時，總可以在輸入的集合中(含有r^N個長度為N的碼符號序列)，找到M （(M<=2^(N(C-a)))，a為任意小的正數)個碼字，分別代表

M個等可能性的消息，組成一個碼以及相應的譯碼規則,使信道輸出端的最小平均錯誤譯碼概率Pmin達到任意小。

公式：

（dB）表示。 注：B為信道帶寬；S/N為信噪比，通常用分貝

香農第三定理（保失真度準則下的有失真信源編碼定理）

保真度準則下的信源編碼定理，或稱有損信源編碼定理。只要碼長足夠長，總可以找到一種信源編碼，使編碼后的信息傳輸率略大于率失真函數，而碼的平均失真度不大于給定的允許失真度，即D'<=D.

設R(D)為一離散無記憶信源的信息率失真函數，并且選定有限的失真函數，對于任意允許平均失真度D>=0，和任意小的a>0，以及任意足夠長的碼長N，則一定存在一種信源編碼W，其碼字個數為M<=EXP{N[R(D)+a]}，而編碼后碼的平均失真度D'(W)<=D+a。

隨著數字通信、 計算機網絡的飛速發展和互聯網技術的普遍應用,多媒體通信已經成為一種不可避免的趨勢。但是視頻信息具有確定性、 直觀性、 高效性等優越性,于是視頻傳輸在通信系統中的優勢越來越明顯, 占據了重要的地位,然而傳送包含視頻信息的信號需要較高的通信網絡。因此,在非常有限的通信網絡條件下,最大限度地做到通信系統接收的聯合優化。而信道編碼定理， 從理論上解決理想編碼器、譯碼器存在性問題，也就是解決信道能傳送的最大信息率的可能性和超過這個最大值時的傳輸問題。并且信道編碼理論證明信道由離散信道發展到連續信道，從無記憶信道到有記憶信道，從單用戶信道到多用戶信道，從證明差錯概率可接近于零到以指數規律逼近于零， 正在不斷完善，但尚未達到編碼定理所啟示的限度，尤其是關于有噪聲多用戶信道， 更顯得不足， 于是通信系統工程師在香農的信源編碼和信道編碼分離理論所提出的達到最優編碼性能的基礎之上開始研究信源 / 信道聯合編碼，它可以綜合考慮信源和信道兩方面的條件，從而實現信息傳輸性能的整體優化。 信源 / 信道聯合編碼通過優化分配信源的不同部分之間與信源和信道之間的比特率，使得通信系統網絡受限時，

信息發出端到信息接收端的傳輸失真達到最小。 例如在通信系統接收聯合優化運用了一種了一種基于低密度奇偶校驗碼的 SVC 不等差錯保護的信源 / 信道聯合編碼方案， 就是以一個圖像組為基本單位， 首先通過計算各層率失真函數得到各幀的D-R 包絡曲線， 然后借助于聯合碼率分配算法采用二分搜索不斷調整拉格朗日乘子優化分配有限比特給每個質層，使得在滿足碼率約束的條件下，信號發出端到與信息接收端失真率最小，從而優化通信系統的整體性能。在通信系統接收聯合優化中還可以利用分級技術， 它是一種有效的抗衰落技術， 他可以大大提高多徑衰落信道下信號傳輸的可靠性， 它是充分利用傳輸中多徑信號的能量， 以改善信號傳輸與接收的可靠性。 為了在接收端得到幾乎相互獨立的不同路徑，可以通過空域、 頻域、 時域的不同角度、 不同方法與措施來實現。 時間分集就是對于一個隨機衰落的信號而言， 當取樣時間間隔足夠大時， 兩個取樣點間衰落是不相關的， 當發射端將待發信號每隔一定的時間間隔重復發送時， 接收端就可以得到多條獨立的分集支路， 從而進行時間分集接收， 這樣就可以減少接收天線的數目。在分集接收中， 對于接收端從不同的分集之路所獲得的信號，可以用不同形式的合并技術來獲得分集增益。

在通信系統聯合優化時還應該采用延長非連續接收時間間隔的方法，也就是當覆蓋區中沒有活動用戶時，通信網絡系統可以轉入到空閑狀態， 只保持一部分必要的通信。采用延長非連續接收時間間隔的方法同樣也可以減少傳輸的參考信號（RS） ，同時可以通過功率調整節省不需要傳輸參考信號的能量，但是在這種情形下，用戶只能需要通過測量同步控制信道來補償由于參考信號減少導致的同步問題，這種優化方案通常只適用于沒有活動用戶的情況。還有通信系統優化時在活動狀態下的基站天線端口數目是固定的，用戶的設備可通過讀取控制信息來監測天線的數目信息。物理廣播信道的循環冗余碼校驗比特是根據基站發射天線的配置來進行加密編碼的，天線數目更改通知的一種合適方法是采用系統信息 （SI） 更改通知機制， 基地天線的數目可以在下一個通信系統信息更改周期開始時進行更改， 并且出于節能角度的考慮， 天線的數目需要經常改變。如果通信系統接收站在沒有通知用戶的情況下更改了天線的數目， 用戶將無法準確接收必要的控制信息和數據信息，會影響用戶的正常通信。

信道編碼理論證明信道由離散信道發展到連續信道，從無記憶信道到有記憶信道，從單用戶信道到多用戶信道，從證明差錯概率可接近于零到以指數規律逼近于零， 正在不斷完善，但尚未達到編碼定理所啟示的限度，尤其是關于有噪聲多用戶信道， 更顯得不足， 于是通信系統工程師在香農的信源編碼和信道編碼分離理論所提出的達到最優編碼性能的基礎之上開始研究信源 / 信道聯合編碼, 它可以綜合考慮信源和信道兩方面的條件，從而實現信息傳輸性能的整體優化。 信源 / 信道聯合編碼通過優化分配信源的不同部分之間與信源和信道之間的比特率，使得通信系統網絡受限時， 信息發出端到信息接收端的傳輸失真達到最小。 例如在通信系統接收聯合優化運用了一種了一種基于低密度奇偶校驗碼的 SVC 不等差錯保護的信源 / 信道聯合編碼方案， 就是以一個圖像組為基本單位， 首先通過計算各層率失真函數得到各幀的 D-R 包絡曲線， 然后借助于聯合碼率分配算法采用二分搜索不斷調整拉格朗日乘子優化分配有限比特給每個質量層，使得在滿足碼率約束的條件下，信號發出端到與信息接收端失真率最小，從而優化通信系統的整體性能。在通信系統接收聯合優化中還可以利用分級技術， 它是一種有效的抗衰落技術， 他可以大大提高多徑衰落信道下信號傳輸的可靠性， 它是充分利用傳輸中多徑信號的能量， 以改善信號傳輸與接收的可靠性。 為了在接收端得到幾乎相互獨立的不同路徑，可以通過空域、 頻域、 時域的不同角度、 不同方法與措施來實現。 時間分集就是對于一個隨機衰落的信號而言， 當取樣時間間隔足夠大時， 兩個取樣點間衰落是不相關的， 當發射端將待發信號每隔一定的時間間隔重復發送時， 接收端就可以得到多條獨立的分集支路， 從而進行時間分集接收， 這樣就可以減少接收天線的數目。在分集接收中， 對于接收端從不同的分集之路所獲得的信號，可以用不同形式的合并技術來獲得分集增益， 如選擇分集就是順序檢測所有分集的信號， 并且選擇信噪比（可以根據香農定律計算得新技術）最高的那一路作為合并器的輸出。選擇式合并分集的接收端是 N個分集之路的接收機，利用選擇 Rf邏輯選擇中最大信噪比 SNRf大于某個門限值的支路作為輸出， 顯然，選擇式合并的平均輸出信噪比為：SNR=SNRi 。N i = 1 移1 i， N 為分集數目， K= N移1 i又稱為合并增益。

在通信系統聯合優化時還應該采用延長非連續接收時間間隔的方法，也就是

當覆蓋區中沒有活動用戶時，通信網絡系統可以轉入到空閑狀態， 只保持一部分必要的通信。采用延長非連續接收時間間隔的方法同樣也可以減少傳輸的參考信號（RS） ，同時可以通過功率調整節省不需要傳輸參考信號的能量，但是在這種情形下，用戶只能需要通過測量同步控制信道來補償由于參考信號減少導致的同步問題，這種優化方案通常只適用于沒有活動用戶的情況。還有通信系統優化時在活動狀態下的基站天線端口數目是固定的，用戶的設備可通過讀取控制信息來監測天線的數目信息。物理廣播信道的循環冗余碼校驗比特是根據基站發射天線的配置來進行加密編碼的，天線數目更改通知的一種合適方法是采用系統信息 （SI） 更改通知機制， 基地天線的數目可以在下一個通信系統信息更改周期開始時進行更改， 并且出于節能角度的考慮， 天線的數目需要經常改變。如果通信系統接收站在沒有通知用戶的情況下更改了天線的數目， 用戶將無法準確接收必要的控制信息和數據信息，會影響用戶的正常通信。

香農完美地給出了信道容量，所以有人說他“開創并結束”了信息論。但是香農還是留下了一些困難的問題。比如，當信道隨時間變化時，應用香農理論就遠不是直截了當的。最重要的，是為了達到香農極限，我們處理的符號序列必須無限長。而實際上，信道編碼的長度受著傳送延遲和系統復雜性的限制。在這樣的限制下，如何達到最高的傳送速度？六十年后的今天，人們還在為此奮斗。

結論：

首先, 在理論研究方面, 信息論所處的地位已遠遠超出了當年所界定的“通信的數學理論”的范疇, 得到了不斷的擴充和發展, 出現了語義信息、語法信息與語用信息等研究與信息的意義有關的學科, 以及面向智能研究的全信息理論。

第二, 在技術應用方面, 信息論為現代通信理論和技術的發展做出了不可磨滅的貢獻, 信息科學與材料科學、能源科學一起已成為現代高新技術領域的三大關鍵技術, 信息產業已是當今社會中發展最快、效益最高、潛力最大、影響最廣的最重要的支柱產業之一。

第三, 在社會經濟領域, 21 世紀人類社會將全面進入信息時代, 智力、技術

和信息已成為現代社會經濟生活中不可缺少的重要資源。信息科學的迅速發展和信息高速公路的出現, 使先進的技術和信息能夠為不同國家和民族所使用, 有利于國際性的合作和交往的發展, 同時也為市場經濟中資源的有效配置和利用提供了良好的社會環境, 避免了項目的重復建設和產品的盲目生產。企業充分利用互聯網上的有用信息和在互聯網上做廣告也為其利潤的增加和經濟的發展開辟了新的天地。

第四, 在思維方式方面, 信息高速公路的開通和信息的快速傳遞將導致思維方式上的不斷更新。互聯網的開通大大加快了人們接受新思想、新信息的速度, 促進了不同生活方式和思維模式的溶合, 使得那些原來遙不可及的事情變得唾手可得, 原來不可思議的新事物變得司空見慣, 原來不可接受的生活方式、思維模式和文化傳統變得爭相仿效。人們每天都能從網絡上接受到大量的不同種類、具有不同文化特質和民族風格的信息, 通過對不同民族的優良文化傳統和獨特的思維方式的學習和消化, 分析和綜合, 加快了人們思維方式的變革和更新, 促進了新的思維模式的形成, 將人們從靜態思維轉向動態思維, 從局域性思維轉向全局性思維, 從封閉性思維轉向開放性思維, 從單向性思維轉向多向性思維。有利于全方位、多層次、多渠道地展開思維活動, 促進跳躍性、聯想性、創造性的思維網絡的形成。所有這些對人類的文明和社會的進步都將起到積極的促進作用。

參考文獻：

[1]羅杰斯.傳播學史—一種傳記式的方法[M].上海：上海譯文出版社，2002.

[2]吳予敏.傳播學知識論三題[J].深圳大學學報（人文社會科學版），2001，18（6）：46~52.

[3]古苑欽，移動通信中的語音編碼和信道編碼，《廣東通信技術》2007，第8期

[4]佚名，《從香農定理看如何改進統計信息工作》，《中國統計》2012，第2期