古詩詞大全網 - 字典詞典 - 信息論的基本內容

信息論的基本內容

傳統的通信系統如電報、電話、郵遞分別是傳送電文信息、語聲信息和文字信息的;而廣播、遙測、遙感和遙控等系統也是傳送各種信息的,只是信息類型不同,所以也屬於信息系統。有時,信息必須進行雙向傳送,例如電話通信要求雙向交談,遙控系統要求傳送控制用信息和反向的測量信息等。這類雙向信息系統實際上是由兩個信息系統構成。所有信息系統都可歸納成如圖所示的模型來研究它的基本規律。

信源:信息的源泉或產生待傳送的信息的實體,如電活系統中的講話者,對於電信系統還應包括話筒,它輸出的電信號作為含有信息的載體。

信宿:信息的歸宿或接受者,在電話系統中這就是聽者和耳機,後者把接收到的電信號轉換成聲音,供聽者提取所需的信息。

信道:傳送信息的通道,如電話通信中包括中繼 器在內的同軸電纜系統,衛星通信中地球站的收發信機、天線和衛星上的轉發器等。

編碼器:在信息論中是泛指所有變換信號的設備,實際上就是終端機的發送部分。它包括從信源到信道的所有設備,如量化器、壓縮編碼器、調制器等,使信源輸出的信號轉換成適於信道傳送的信號。

譯碼器:是編碼器的逆變換設備,把信道上送來的信號轉換成信宿能接受的信號,可包括解調器、譯碼器、數模轉換器等。

當信源和信宿已給定、信道也已選定後,決定信息系統性能就在於編碼器和譯碼器。設計壹個信息系統時,除了選擇信道和設計其附屬設施外,主要工作也就是設計編譯碼器。壹般情況下,信息系統的主要性能指標是它的有效性和可靠性。有效性就是在系統中傳送盡可能多的信息;而可靠性是要求信宿收到的信息盡可能地與信源發出的信息壹致,或者說失真盡可能小。最佳編譯碼器就是要使系統最有效和最可靠。但是,可靠性和有效性往往是相互矛盾的。越有效常導致不可靠,反之也是如此。從定量意義上說,應使系統在規定的失真或基本無失真的條件下,傳送最大的信息率;或者在規定信息率的條件下,失真最小。計算這最大信息率並證明達到或接近這壹值的編譯碼器是存在的,就是信息論的基本任務。只討論這樣問題的理論可稱為仙農信息論般認為信息論的內容尚應更廣泛壹些,即包括提取信息和保證信息安全的理論。後者就是估計理論、檢測理論和密碼學。

信息論是建立在概率論基礎上而形成的,也就是從信源符號和信道噪聲的概率特性出發的。這類信息通常稱為語法信息。其實,信息系統的基本規律也應包括語義信息和語用信息。語法信息是信源輸出符號的構造或其客觀特性所表現與信宿的主觀要求無關,而語義則應考慮各符號的意義,同樣壹種意義,可用不同語言或文字來表示,各種語言所包含的語法信息可以是不同的。壹般地說,語義信息率可小於語法信息率;電報的信息率可低於表達同壹含義的語聲的信息率就是壹個例子。更進壹步,信宿或信息的接受者往往只需要對他有用的信息,他聽不懂的語言是有意義的,但對他是無用的。所以語用信息,即對信宿有用的信息壹般又小於語義信息。倘若只要求信息系統傳送語義信息或語用信息,效率顯然會更高壹些。在目前情況下,關於語法信息,已在概率論的基礎上建立了系統化的理論,形成壹個學科;而語義和語用信息尚不夠成熟。因此,關於後者的論述通常稱為信息科學或廣義信息論,不屬於壹般信息論的範疇。概括起來,信息系統的基本規律應包括信息的度量、信源特性和信源編碼、信道特性和信道編碼、檢測理論、估計理論以及密碼學。