概率统计在信息论与编码教学中的应用

２ｏ０９年１２月　南通大学学报（教育科学版）　Ｄｅｃ．２００９　第２５卷第４期　Ｊｏｕｒｎａｌ　ｏｆ　Ｎａｎｔｏｎｇ　Ｕｎｉｖｅｒｓｉｔｙ（Ｅｄｕｃａｔｉｏｎ　Ｓｃｉｅｎｃｅｓ　Ｅｄｉｔｉｏｎ）　Ｖｏ１．２５，Ｎｏ．４　概率统计在信息论与编码教学中的应用　谢正光，包志华，章国安　（南通大学电子信息学院，江苏南通２２６０１９）　摘要：随着科学技术的发展，信息通信类本科生学习信息论与编码课程越来越重要。而信息论的很多内容又　与令学生头痛的概率统计息息相关。针对该核心课程教学过程中存在的问题和学生普遍反映接受比较困难的情　形，有必要对概率统计在信息论与编码课程中的一些主要应用进行深入系统的探讨和研究，揭示出信息论与编码　的基本特点，以利于该课程的教学。　关键词：信息论；概率论；教学实践　中图分类号：Ｇ６４２，０２３６　文献标识码：Ａ　文章编号：１００８—２１９０（２００９）０４一Ｏ０８８—０３　信息论是在长期通信工程实践和理论基础上，由　胆地去掉了消息中的语义、语用因素，巧妙地保留了能　信息通信技术与概率论、随机过程、数理统计等有关学　用数学描述的形式因素［１．　，习；然后根据通信工程的特　科逐步融合而发展起来的一门新兴交叉学科。１９４８年　点．利用“非决定论”和“不确定性”观点揭示了信息的　美国科学家香农（Ｃ．Ｅ．Ｓｈａｎｎｏｎ）发表的论文《通信的数　本质。即通信前的对某事件的“不确定性”到通信后的　学理论》Ｉ１　】，建立了信息论编码的理论基础；概率论与　“明白”或部分“明白”，从而为信息的度量奠定的数学　数理统计正是该工作得以顺利完成的重要数学工具。　基础。但Ｓｈａｎｎｏｎ所定义的信息与大家通常所说的消　为了改变信息论课程起点高、难度大的特点．以及授课　息是不同的，这是因为本质上同样一条消息所包含的　过程中学生普遍反映接受起来较困难的情形，本文将　信息量对不同的接受者来说是不一样的。即消息中所　按照信息论和编码的脉络，讨论概率统计在该课程中　含信息量的多少，完全取决于消息接收者于接收到消　的一些重要应用，期望揭示出信息论与编码的基本特　息前存在的对该消息内容的“不确定性”程度：通过消　点，以利于该课程的讲授与学习。　息的传递后，接收者就可能由原先的“不知道”到接收　到消息后的“知道”、或由“知之不多”到“知之甚多”、或　一、信息的定义　由原先的“疑问”到“明白”或部分“明白”。即通信后原　信息论是关于信息的本质、度量及传输规律的科　先的“不确定性”得到了消除或部分消除，数值上“不确　学『１　１。信息的传递与交换，是时时处处人人都发生的事　定性”消除了多少等于接收者就获得了多少信息。若在　情，特别是在如今的信息社会。　收到消息前接收者己对消息内容完全清楚，即不确定　１．信息的定性分析　性为零，则他接收到该消息后并没有获得信息，所以信　消息是以文字、符号、数据、语言、音符、图形、图像　息量也为零。也就是说消息中包含信息量的多少是由　等能被人们的感觉器官所感知的形式，对客观物质运　接收者在获知消息前后不确定性的减小量决定的。　动和主观思维活动状态的一种描述。不同的消息，不仅　２．信息的定量分析　有不同的形式，而且含有不同的语义和不同的语用。如　信息的获取是为了消除不确定性，所以如果能给　何用数学工具来刻画消息的形式、语义和语用。至今仍　出不确定性的度量，也就给出了信息的度量。不确定性　是个巨大的难题。Ｓｈａｎｎｏｎ首先利用“形式化假说”，大　即通常所说的随机性，是可以用概率与随机过程中的　收稿日期：２００９—０６—０２　第一作者简介：谢正光（１９６７一），男，湖南洞口人，南通大学电子信息学院副教授，博士。　基金项目：江苏省高校自然科学基础研究项目（０８ＫＪＢ５１００１８）；江苏省高校青蓝工程（２００８）　・８８・　随机变量及其概率来加以度量的。如考虑离散随机变　量ｘ，记Ｑ＝‰，　一，５２Ｍ－。｝为信源发出的消息全体组成　的集合或符号空间，设其对应概率分布为（Ｐ　（５２。），Ｐ　来描述。若设输入信号字母集　＝｛ｕ｝，转移概率ｃｐ（　Ｉ　“）：Ｕ∈Ｕ，　∈Ｖｌ，输出信号字母集　＝｛　），则信道的概　率统计模型　可表述为：　｛ｕ，Ｐ（　Ｉｕ），Ｖｌ。　信源与信道的组合可记为：ＣＳ＝｛Ｓ，　＝ｆｎ，Ｐ　（５２），Ｐ　（５２。），…，Ｐ　（　）），那么随机变量ｘ的分布即信源概率　空间可记为｛ｐ　（２５），２５∈ｎ｝。当其为确定性分布时，不确　定性即为０；而当它是等概分布时，由常识可知其随机　性最大．即不确定性也最大。基于此Ｓｈａｎｎｏｎ从客观事　实和人们的习惯出发，根据不确定性与概率的本质联　（　Ｉ　），　｝。　３．信源编码　有效性、可靠性和安全性是通信系统理论上需要　考虑的三个基本问题。有效性是指如何用尽可能少的　系，定义Ｉ（５２　）　一ｌｏｇｏ　（５２　）为收到信源符号　所获取的　信息量，定义　（ｐ　（　），Ｐ　（　），…，Ｐｘ（　））＝Ｅ［，（　）］：一　符号或码流来传送信源所包含的消息，以最大限度地　提高信息传输的效率？可靠性是指如何增加信号传输　Ｍ－Ｉ　ｐ　（５２　）ｌｏｇｐ　（麓）为随机变量Ｘ的平均不确定性或平　ｉ＝０　均信息量或信息熵。即熵表示信源每发出一个消息所　包含的平均“不确定性”的大小，也表示每收到一个消　息所获得的平均信息量。　对连续型随机变量Ｘ，设其概率密度为Ｐ　（　），定　义日（　）＝一』Ｐ　（ｘ）ｌｏｇ／）　（ｘ）ｄｘ为连续型随机变量的熵　Ｉ２　（此时Ｑ是一连续区间）。当然，这并不是香农熵的直　接推广。为了区分，称此为连续型随机变量的微分熵、　相对熵或差熵。如均匀分布Ｕ（ａ，ｂ）的微分熵为　）＝　ｌ。ｇ２（１２ｏ－　）；指数分布Ｅｘ（Ａ）为日（　）＝　１　Ｉｎ（ｅ　）；正　二　二　态分布Ⅳ　，ｏｒ　）为Ｈ（　）＝　１　ｌｎ（２７『ｅ２６ｒ　）。其中　为对　二　应随机变量的方差。方差在数学中刻画了随机变量取　值的分散度，即随机变量与其统计均值的平均偏离程　度，物理上正好对应着随机变量取值中的不确定性。　以上分析可知，不管是连续消息还是离散消息，消　息中所包含的信息量就是对消息中所包含的“不确定　性”的度量。　二、通信系统的概率统计模型　图１是目前较常用的通信系统物理模型　。本文　将从信息论与编码的角度，以概率统计为基本工具对　其进行详细分析。　信ｌ　卜．一ｌ信源ｌ卜　Ｉ一叫加｝ｌ卜－－叫信道Ｉ｝　Ｉ＿．．１信ｌ　卜－叫Ｉ信道ｌ　卜一叫ｌ解ｌ卜．叫　Ｉ信源Ｉ卜．　１－叫　信ｌ　　Ｉ源１　ｌ编码ｌ　ｌ密ｌ　Ｉ编码Ｉ　ｌ道Ｉ　ｌ编码１　Ｉ密ｌ　ｌ编码ｌ　Ｉ宿ｌ　图１通信系统的物理模型　１．信源　信源：信源即消息产生的来源，可以用Ｓ＝ｍ，Ｐ　（　）］来表述。它描述了信源所有可能发出的消息集合　以及发出各消息对应的概率。通常称其为信源空间。　２．信道　信道：信号传输的媒介或通道，通常可用转移概率　的抗干扰能力或如何提高信宿端的信号检错和纠错　能力？安全性或保密性是指，为了如何防止或避免非　授权者在信号的传输处理存储过程中非法盗取信息　的能力。　信源编码的有效性指标是指用尽可能短的码流来　传送信源消息，即平均码长最短，其定义如下：对信源　．ｓ＝［Ｑ，Ｐ　（　）］，设＿厂是信源Ｓ的一个编码，那么对任何　∈ｎ，．厂（　）是　中的元素构成的一个向量，记Ｚ㈨为向　量ｆ（５２）的长度，则定义　（．ｓ，　＝　Ｐ　（　）　）为变长编　Ｅｎ　码的平均码长［８１。平均码长最短的编码称为最优编码。　具体如何编码，有不同的方法，如Ｓｈａｎｎｏｎ、Ｆａｎｏ、　Ｈｕｆｆｍａｎ与算术编码等。但最优编码的定义给出的总　体原则是：大概率对应短码，小概率对应长码。即只要　充分利用短码，就可使统计平均码长最小，从而最大　化信源编码的有效性。实现最优编码。　４．信道编码　信号在信道中传输不可避免地要受到外界的干　扰，那么采用什么方式可使传输差错概率降到最低，甚　至为零？这是信道编码研究的内容。　＾　ｌ　定理１设随机序列对　，】，）的Ｐ（　，，，）＝ｌＩＰ（　，　ｎ＝Ｏ　），则对任意小的正数６，总能找到足够大的Ｎ使全体　序列对的集合能被分成满足下列条件的集合Ｇ（联合　典型序列集）及其补集Ｇ　：　（１）Ｐ｛（　，ｙ）∈Ｇ１　；　（２）（１－８）２Ｎ（　（　）　）：　（３）设（　，ｌ，　）是与（　，ｌ，）有相同的边缘分布且相　互独立的随机序列对，即Ｐ｛　，Ｙ　）＝（　，，，）｝　（　（Ｙ），则（１—　）２　“　≤Ｐ｛（Ｘ　，Ｙ　）∈Ｇ｝，且Ｐ｛（　，Ｙ　）　∈Ｇｌ≤Ｅ－Ｎ（　；　）　虽然在有扰信道中传输信息时，与一定的发送码　字相对应的接收矢量有可能是接收矢量空间中的任一　矢量，但上述定理告诉我们，随着Ｎ的增大，接收矢量　几乎只能是与发送码字联合典型的序列，取其它序列　的概率将趋于零。对于信息传输速率Ｒ，信道容量Ｃ，　・８９・　码字数　２佃的分组码，设Ｙ是发送码字　（Ｍ个码字　中的一个）时信道输出处得到的接收矢量，定义Ｙ与　构成联合典型序列的事件为　，即Ｅｍ　ｆ（　，Ｙ）∈　的情况下是可以正确提取明文的，所以Ｈ（Ｍ　ＪＫ，ｃ）＝０。　具体如何给出最优加密编码，有不同的方法。但　以上结论告诉我们，保密系统的密钥量越大，密钥熵　Ｇ１，ｍ＝Ｏ，１，…，Ｍ一１，则按联合典型译码法，译码差错将　在Ｙ不与　联合典型或Ｙ与Ｄ０以外其它码字联合典　型时发生，所以平均差错译码概率　为　肘一１　Ｍ—ｌ　Ｈ（Ｋ）就越大，其密文中含有的关于明文的信息量Ｉ　（Ｍ；Ｃ）就越小，破译的难度就越大，保密性能就越好。　三、结语　信息的获取、处理、传递、交换和应用在信息化社会　Ｐｏ＝Ｐ（Ｅｏ８ＵＥｌｕ…ＥＭ＿１）≤Ｐ（Ｅ　）＋　Ｐ（Ｅ　）≤６＋　‘　ｍ＝１　ｍ＝ｌ　２州　；　瑚　－－－时时处处存在。如何提高通信与信息系统的可靠性、有　；　）罅唰　十２．Ｍｃ＿　６＋（２朋一１）２　（　；　）嘲　＋２　效性、安全性．已成为当今社会人们着重关注的问题之　一若Ｒ＜Ｃ一３，３，且Ｎ足够大，则可保证２　。　≤　，　即：　≤２６。　。概率论与数理统计是研究信息论与编码的重要工　具，正确理解和灵活运用概率统计的思想对信息论与　编码理论的深刻理解和正确运用帮助匪浅。本文正是　基于此思想。在近两年信息论与编码课程的教学实践　以上说明，对信息传输速率Ｒ，信道容量Ｃ，任意　小的正数６＝２６，只要Ｒ＜Ｃ就总存在码字长度为Ｎ，码　字数为　＝２　的分组码使译码的平均差错概率小于　ｓ。概率论虽然帮助指明了减小差错概率甚至做到无误　传输的基本思路是通过增大信道容量Ｃ或减小码率Ｒ　或增大码长Ｎ，但由于随机编码的码集相当大且毫无　结构，查表译码法又难以实现，所以必需借助其它数学　工具来构造具很好结构的码集以便于译码。　５．保密编码　的基础上，针对教学过程中存在的问题，较深入系统地　研究了概率统计在该课程中的一些重要应用，期望揭　示出信息论与编码的基本特点。以利于该课程的教学。　参考文献：　【１】Ｃ　Ｅ　Ｓｈａｎｎｏｎ．Ａ　Ｍａｔｈｅｍａｔｉｃａｌ　Ｔｈｅｏｒｙ　ｏｆ　Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ　（Ｐａｒｔｓ　Ｉ）【Ｊ１．Ｂｅｌｌ　Ｓｙｓｔｅｍ　Ｔｅｃｈｎｉｃａｌ　Ｊｏｕｒｎａｌ，１９４８（３）：３７９－－４２３．　［２】Ｃ　Ｅ　Ｓｈａｎｎｏｎ．Ａ　Ｍａｔｈｅｍａｔｉｃａｌ　Ｔｈｅｏｒｙ　ｏｆ　Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ　为保证电子信息在处理、存储、传送和交换过程中　不会泄露，利用密码对其进行加密，是迄今为止对各类　（Ｐａｒｔｓ　ＩＩ）叨．Ｂｅｌｌ　Ｓｙｓｔｅｍ　Ｔｅｃｈｎｉｃａｌ’Ｊｏｕｒｎａｌ，１９４８（３）：６２３－６５６．　［３】Ｓｅｔｈ　Ｌｌｏｙｄ，Ｐａｕｌ　Ｐｅｎｆｉｅｌｄ．麻省理工学院信息论开放课程　【ＥＢ／ＯＬ］．（２００９—０５—３０）【２００９—０６—０５］．ｈｔｔｐ：／／ｗｗｗ．ｃｏｒｅ．ｏｒｇ．　ｃｎ，２００９（５）．　电子信息实施保护，保证信息安全的惟一有效措施。密　码学和信息论一样，都是把信源看成符号的集合，并且　按一定的概率产生离散符号序列。设加密系统的输入　明文为Ｍ（其熵为Ｈ（Ｍ）），加密密钥为Ｋ（其熵为Ｈ　【４】朱雪龙．应用信息论基础【Ｍ】．北京：清华大学出版社，２００１．　［５］姜丹．信息论与编码【Ｍ】．第二版．合肥：中国科学技术大学　出版社，２０ｏ４．　（Ｋ）），输出密文为Ｃ（其熵为Ｈ（Ｃ）），则在没有密钥Ｋ　的情况下，成功破译出密文Ｃ为明文Ｍ的难易程度可　［６　Ｊｏｈｎ　Ｇ．Ｐｒ６】ｏａｋｉｓ．Ｄｉｇｉｔａｌ　Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ［Ｍ］．Ｆｏｕｒｔｈ　Ｅｄｉｔｉｏｎ．　北京：电子工业出版社，２００３．　用互信息Ｉ（Ｍ；Ｃ）的大小来表示。Ｉ（Ｍ；Ｃ）越小，则在没　有密钥Ｋ的情况下通过分析密文Ｃ而获取明文Ｍ的　［７］樊昌信，张甫翊，徐炳祥，等．通信原理［Ｍ】．第五版．北京：国　防工业出版社，２００１．　可能性越小。由概率论和信息论的知识可得　，（　；Ｃ）＝Ｈ（Ｍ）－Ｈ（Ｍｌ　ｃ）≥日（肘）－［Ｈ（　Ｉ　ｃ）＋Ⅳ（　ｌＭ，Ｃ）７　【８】曹雪虹，张宗橙．信息论与编码［Ｍ】．北京：清华大学出版　社．２００４．　＝日（　）　（Ｋｌ　Ｃ）＋Ｈ（ＭＩＫ，Ｃ）￣Ｈ（Ｍ）－Ｈ（Ｋｆ　Ｇ）　≥Ｈ（肘）一Ｈ（　）　加密变换的可逆性告诉我们，在已知密钥和密文　［责任编辑】崔洁　Ａｐｐｌｉｃａｔｉｏｎｓ　ｏｆ　Ｐｒｏｂａｂｉｌｉｔｙ　Ｓｔａｔｉｓｔｉｃｓ　ｉｎ　Ｔｅａｃｈｉｎｇ　Ｐｒａｃｔｉｃｅ　ｏｎ　ｔｈｅ　Ｃｏｕｒｓｅ　ｏｆ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｔｈｅｏｒｙ＆Ｃｏｄｉｎｇ　ＸＩＥ　Ｚｈｅｎｇ—ｇｕａｎｇ，ＢＡＯ　Ｚｈｉ—ｈｕａ，ＺＨＡＮＧ　Ｇｕｏ—ａｎ　（Ｓｃｈｏｏｌ　ｏｆ　Ｅｌｒｃｔｒｏｎｉｃｓ　ａｎｄ　Ｉｎｆｏｒｍａｔｉｏｎ，Ｎａｎｔｏｎｇ　Ｕｎｉｖｅｒｓｉｔｙ，Ｎａｎｔｏｎｇ　２２６０１９，Ｊｉａｎｇｓｕ，Ｃｈｉｎａ）　Ａｂｓｔｒａｃｔ：Ｗｉｔｈ　ｔｈｅ　ｄｅｖｅｌｏｐｍｅｎｔ　ｏｆ　ｓｃｉｅｎｃｅ　ａｎｄ　ｔｅｃｈｎｏｌｏｇｙ，ｉｔ　ｉｓ　ｎｅｃｅｓｓａｒｙ　ｆｏｒ　ｔｈｅ　ｓｔｕｄｅｎｔｓ　ｍａｊｏｒｉｎｇ　ｏｎ　ｉｎｆｏｒｍａｔｉｏｎ　ｓｃｉｅｎｃｅ　ｏｒ　ｃｏｍｍｕｎｉｃａｔｉｏｎ　ｔｅｃｈｎｉｑｕｅ　ｔｏ　ｌｅａｒｎ　ｔｈｅ　ｃｏｕｒｓｅ　ｏｆ　ｉｎｆｏｒｍａｔｉｏｎ　ｔｈｅｏｒｙ＆ｃｏｄｉｎｇ．Ｌｏｔｓ　ｏｆ　ｃｏｎｔｅｎｔｓ　ａｎｄ　ｃｏｎｃｅｐｔｓ　ｏｆ　ｉｎｆｏｒｍａｔｉｏｎ　ｔｈｅｏｒｙ＆ｃｏｄｉｎｇ　ａｒｅ　ｔｉｇｈｔｌｙ　ｒｅｌａｔｉｖｅ　ｔｏ　ｐｒｏｂａｂｉｌｉｔｙ　ｓｔａｔｉｓｔｉｃｓ，ｗｈｉｃｈ　ｉｓ　ｃｏｍｐｌｅｘｉｔｙ　ａｎｄ　ａｂｓｔｒａｃｔ　ｆｏｒ　ｓｔｕｄｅｎｔｓ．Ｉｔ　ｍａｋｅｓ　ｓｔｕｄｅｎｔｓ　ｄｉｉｃｕｌｆｔ　ｉｎ　ｕｎｄｅｒｓｔａｎｄｉｎｇ　ｔｈｉｓ　ｃｏｕｒｓｅ　ｗｅｌ１．Ｂｙ　ａｎａｌｙｚｉｎｇ　ｔｈｅ　ｐｒｏｂｌｅｍｓ　ｉｎ　ｔｈｅ　ｔｅａｃｈｉｎｇ　ｐｒｏｃｅｓｓ　ｏｆ　ｉｎｆｏｒｍａｔｉｏｎ　ｔｈｅｏｒｙ＆ｃｏｄｉｎｇ，ｗｅ　ｄｉｓｃｕｓｓ　ｉｎ　ｔｈｉｓ　ｐａｐｅｒ　ｔｈｅ　ａｐｐｌｉｃａｔｉｏｎｓ　ｏｆ　ｐｒｏｂａｂｉｌｉｔｙ　ｓｔａｔｉｓｔｉｃｓ　ｉｎ　ｔｈｅ　ｃｕｒｒｉｃｕｌｕｍ，ｒｅｖｅａｌ　ｉｔｓ　ｂａｓｉｃ　ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ，ｗｈｉｃｈ　ｉｓ　ｈｅｌｐｆｕｌ　ｆｏｒ　ｔｅａｃｈｅｒｓ　ａｎｄ　ｓｔｕｄｅｎｔｓ　ｔｏ　ｓｔｕｄｙ　ｉｔ　ｗｅｌ１．　Ｆｕｒｔｈｅｒｍｏｒｅ，ｗｅ　ｈａｖｅ　ａｐｐｌｉｅｄ　ｉｔ　ｉｎｔｏ　ｔｈｅ　ｐｒｏｃｅｓｓ　ｏｆ　ｔｅａｃｈｉｎｇ　ｆｏｒ　ｔｗｏ　ｙｅａｒｓ，ｂｙ　ｗｈｉｃｈ　ｓｔｕｄｅｎｔｓ　ｃａｎ　ｍａｓｔｅｒ　ｉｔ　ｗｅｌｌ　ｍｏｒｅ　ｅａｓｉｌｙ．　Ｋｅｙ　ｗｏｒｄｓ：ｉｎｆｏｒｍａｔｉｏｎ　ｔｈｅｏｒｙ＆ｃｏｄｉｎｇ；ｐｒｏｂａｂｉｌｉｔｙ　ｓｔａｔｉｓｔｉｃｓ；ｔｅａｃｈｉｎｇ　ｐｒａｃｔｉｃｅ　・９０・