原书第 1 页

国家精品课程教材 | 国家级教学成果奖建设教材

清华大学精品课程教材

模式识别

模式识别与机器学习

（第4版）

张学工汪小我编著

PATTERN RECOGNITION

PATTERN RECOGNITION & MACHINE LEARNING

4TH EDITION

原书第 2 页

前言

一转眼十年又过去了，十年前在出版本书第3版时，我曾经感慨信息时代的到来，而从那以后的这十年，我们则深刻感受到了智能时代的来临。清华大学出版社的老师告诉我，《模式识别》第2版和第3版到目前已经共印刷了38次，总发行量超过10万册。在我平时的工作中，时常收到采用本教材授课的高校教师的问题和建议，也收到一些读者反馈。我要特别感谢这些老师和读者对本教材长期的支持和关爱，也很高兴看到这本教材为这个蓬勃发展的学科贡献了一份力量。

21世纪的前20年，见证了模式识别、机器学习和人工智能学科的飞速发展。这一点从本教材各个版本使用情况的演化也可见一斑。从边肇祺先生主持编写的《模式识别》第1版到边肇祺、张学工共同编写的《模式识别》第2版，当时的读者主要是直接从事本领域研究的教师、研究生和科技工作者，而《模式识别》第3版的读者已经扩展到各个专业对本领域感兴趣的教师、研究生、本科生和科技工作者。模式识别类的课程最开始是少数民族校在自动化系、计算机系等开设的研究生专业课，现在已经成为很多院系的研究生专业基础课，很多学校和院系开始把模式识别和机器学习类课程作为本科生专业必修课和全校性选修课。在我自己这些年的本科生课堂上，选课同学不但来自计算机、自动化、电子、软件等信息类专业，还有大量同学来自数学、物理、生物、医学以及各种工程类、机械类、管理类专业，也有同学来自建筑学院、美术学院和心理学、社会学、语言学等专业。这一方面说明了各专业同学数理基础和计算机基础的普遍提高，另一方面更从一个侧面映射出了这一学科受欢迎的程度。

从学科本身看，最近十年最大的发展当属深度学习和机器学习与人工智能结合产生出的大量成功应用。在十年前编写第3版教材时刚刚显露头角的深度神经网络和在较小范围内研究的概率图模型等，已经成为最受关注的热点。同时，大量机器学习软件平台的出现和发展，也改变了人们以往学习和利用模式识别与机器学习方法的方式。这些日新月异的发展，使我强烈感受到这本教材的内容需要很多更新和补充，但因为其他各种工作太繁忙，早就答应出版社的教材编写计划几次被拖延。2019年底，在与汪小我老师共同准备“模式识别与机器学习”课程时，我邀请汪老师与我共同进行这本书的写作。

2020年初，突如其来的新冠肺炎疫情改变了所有人的生活和工作，也促使每个人更清

原书第 3 页

楚地认识自己对社会和历史的责任。于是，我和汪老师商量决定，与疫情赛跑，在春季学期的远程授课中就采用新版教材的内容，迫使自己在春季学期授课的同时完成本书新版的写作，力争在年内出版。2020年7月19日，我们完成了新版的全部写作，与第3版相比，增加了5章新内容，对原有内容也进行了必要的调整和补充。

对于业内学者来说，“模式识别”与“机器学习”是非常接近和高度相关的概念，但对于尚未学习这些内容的读者，可能会对这两个名词有不同的认识。为了更全面地反映本书的内容范围，我们增加了副标题“模式识别与机器学习”，也据此对很多内容进行了补充和调整。近年来，很多人尤其是产业界和投资界把模式识别和机器学习都放在人工智能的大框架下，因此，我们也在新版第15章专门对“模式识别”“机器学习”“人工智能”三个概念的关系、演化和背后的学术思想进行了讨论。

新版内容的编写得到了很多老师和同学的帮助，尤其是2020年春季学期清华大学自动化系本科生课程“模式识别与机器学习”的助教研究生王昊晨、颜钱明、张威、乔榕，和2019年秋季学期清华大学自动化系研究生英文课程“机器学习”的助教研究生花奎、陈斯杰、马天行、孟秋辰、李嘉骐。在新版的具体内容编写中，第4章隐马尔可夫模型和贝叶斯网络、第10章10.9节的t-SNE降维可视化方法、第11章11.8节的一致聚类方法和第12章12.8.2节的实例主要由汪小我负责起草，其中颜钱明帮助计算了10.9节和11.8节的例子；张威起草了第14章机器学习软件平台的介绍和计算机代码示例；其他新增章节（第7章、第12章、第15章）和其他章节调整内容均由张学工负责起草，其中王昊晨帮助起草了12.7节生成模型的初稿，第7章采用了《模式识别》第2版中的部分原稿，第12章中采纳了胡越、罗东阳同学之前准备的部分素材。张学工负责了新版的统稿。第12章深度学习的前半部分草稿得到了清华大学自动化系黄高老师的很多建议和指正。马天行、李嘉骐、陈斯杰、孟秋辰、王昊晨、颜钱明、张威、乔榕、张嘉惠等同学帮助对部分书稿进行了文字和公式检查。厦门大学王颖教授对部分公式错误给出了更正。本次主要新增章节草稿在2020年春季清华大学自动化系本科生课程“模式识别与机器学习”中进行了试用。本书的编写也得到了清华大学自动化系古槿、阎海荣、江瑞等老师的帮助，并得到了福州数据技术研究院的大力帮助和支持。

本教材编写得到了清华大学历年来多个教学改革和学科建设项目的支持，教材中涉及的很多科学研究内容，得到了国家自然科学基金创新研究群体项目、杰出青年基金项目和优秀青年基金项目等的支持。

张学工

2020年7月20日

原书第 4 页

第3版前言

从本书第2版出版到现在已经又是十年了。在这十年里，我们真切地感受到了信息时代的到来。对信息的处理和分析，已经不仅仅是信息科学家所关心的问题，也不仅仅是信息技术产业所关心的问题，而是为很多学科和很多领域共同关心的问题。作为信息处理与分析的重要方面，模式识别也开始从一个少数人关心的专业，变成一个在工程、经济、金融、医学、生物学、社会学等各个领域都受到关注的学科。

模式识别学科的发展，可以从笔者所在的清华大学自动化系在模式识别专业教学和教材上的沿革窥见一斑。早在1978年，在已故中科院学部委员常迥教授的领导下，自动化系成立了信号处理与模式识别教研组，后更名为信息处理研究所，1981年获准成立“模式识别与智能系统”学科（当时称“模式识别与智能控制”）的第一个硕士点、博士点。从那时起，边肇祺等教授就开始为研究生开设模式识别课程，后逐渐包括进少部分五年级本科生（当时清华大学本科学制为五年）。20世纪80年代中期，边肇祺、阎平凡、杨存荣、高林、刘松盛和汤之永等老师组成了教材编写小组，开始编写模式识别教材，这就是1988年出版的《模式识别》。该教材的出版，为我国模式识别学科的发展做出了历史性的贡献，被很多高校和科研院所作为教材或参考书。十年以后，模式识别学科的内容有了很多更新和发展，我们成立了由边肇祺、阎平凡、赵南元、张学工和张长水组成的改写小组，由笔者与边肇祺老师共同组织编写了本书的第2版，2000年正式出版。此时的模式识别课程，已经由最初只有十几位研究生参加的小课，发展为由上百名研究生和高年级本科生参加的大课。第2版教材也得到了国内同行的欢迎，9年内已经重印15次。

随着模式识别学科的日益发展，我们很快认识到，对模式识别课程的需求已经超出了本专业研究生的范围。于是我们将模式识别课程分为两门：面向研究生的“模式识别”和面向本科生的“模式识别基础”。到今天，本科生“模式识别基础”每年的选课人数也已达到100～150人，除了来自本系的学生，每年还有多位来自其他院系的学生选课。2007年，该课程荣幸地被评为国家精品课程。

在近几年的教学实践中，我们体会到，原来的教材有些地方不太适应大范围教学的需要，而且近十年来模式识别自身以及它在很多领域中的应用又有了很多新发展。因此，笔者

原书第 5 页

从两年前开始着手编写新版教材。新版教材的出发点是：一方面，结合当前的最新发展，精炼传统内容，充实新内容，进一步增强实用性，接触学科前沿；另一方面，在教材的深度和广度上兼顾广大本科生学习的特点和本专业研究生的需求，力求达到使非本专业学生通过本教材能学到足够系统的基本知识，而本专业学生又能以本教材作为其专业研究的重要起点。

编写新版教材所需要的时间超出了我的预想，很高兴她今天终于能和读者见面了。在此要感谢在本书编写过程中给了我很多帮助的同事和同学们，尤其是：美国南加州大学的Jasmine X. Zhou教授在2007年给我提供了短期访问机会，使我能够有一段相对完整的时间集中开始本书的写作；蒋博同学通读了本书三分之二的初稿并做了多处补充；现在已经分别是电子科技大学和北京大学教师的凡时财、李婷婷同学帮助准备了本书部分素材。我还要感谢清华大学出版社王一玲编辑在本书编写过程中的一贯支持。当然，最重要的，我要感谢参加本书第1版和第2版编写的所有老师，这不但是因为在这一版中仍使用了前两版的一些内容，更是因为，是这些老师们把我带进了模式识别的大门，使我受益至今。

由于时间仓促和个人水平所限，教材中难免有错误或不足之处，敬请广大同行和读者批评指正，以便在再版时补充和修改。

在本书最终完稿的时候，我十岁的女儿以极大的兴致看完了我讲“模式识别基础”第一课的录像，并说将来长大了要听我讲课。谨以此书献给我的妻子和女儿。

张学工

2009年11月29日

原书第 6 页

序

本书自从2021年9月正式发行以来已多次重印，感谢广大读者的厚爱！也感谢读者尤其是在清华大学选修我们课程的多位研究生和本科生同学对前几次印刷中个别错误的指正。这些错误均已在新的印刷中更正。

在这半年里，我们也收到了来自一些来自多个学校的教师反馈，部分教师跟我们探讨这门课的内容和学时安排。由于教材内容比第3版有大幅增加，按照很多学校原有“模式识别”课或“模式识别与机器学习”课的学时安排，难以覆盖教材全部内容，需要进行内容或学时调整。我们在清华大学以本教材为基础开设“机器学习”（研究生课）和“模式识别与机器学习”（本科生课）中也有类似的体会。因此，我们在本序言中探讨教师使用本书进行教学或学生自学时一些可能的做法，供广大读者参考。

1. 内容全覆盖的教学安排

模式识别与机器学习是从多个不同视角发展起来的多种方法体系汇聚成的学科，内容涉及面广。我们在编写本书时力求能较全面反映本学科内容，但这也为在一门课中完整讲授本书内容带来了一定挑战。

我们最近几年在清华大学开设的研究生和高年级本科生“机器学习”课和本科生“模式识别与机器学习”课上，尝试用48学时（即每周3个课内教学学时）讲授本书全部内容，并略微扩展一些书中未能包括的最新进展，感觉内容非常充实，强度比较大，对选课学生的数学基础、计算机编程基础和课外学时投入都要求较高，很多学生需要课外每周至少花约10小时用于本课学习和练习。但经过几年的教学实践，同学们反映从本课收获很大，知识和能力都有较大提高。

在48学时的教学安排中，书中涉及的大部分数学推导内容是无法在课堂上详细讲授的，只能讲授思路和结论。这种安排适用于以理解方法基本原理和使用为目的的同学，对于希望更深入掌握主要方法背后的数学推导的同学，需要在课外自己学习相关内容。另外，在48学时教学中，我们没有讲授关于机器学习编程方面的内容，而是把这部分内容布置为课外作业，让同学们自己在练习中学习，即课堂上只讲授理论和方法，动手技能训练通过课外

原书第 7 页

作业和大作业完成，这对同学们也是一个很好的锻炼。

我们了解到，有的大学针对数学系本科同学讲授本课，是安排了两学期共64学时或96学时。这种安排可以有更充裕的时间在课堂上讲授基础的数学推导，或者提供更多的编程讲解。如果教学计划允许的话，这种安排对于同学打下更坚实的基础是有好处的。

在内容编排顺序上，新版继承了自第一版以来的基本框架。一种教学安排是基本按照本书的章节顺序组织教学，这可能也是大部分同学习惯的教学安排。在具体安排上，根据具体的学时安排和同学的数学基础，建议教师可以对部分内容进行适当简略，比如对第4章“隐马尔可夫模型与贝叶斯网络”、第7章“统计学习理论概要”的内容可以缩减成概论性介绍，对第12章“深度学习”内容可以根据学时情况适当取舍，或对最新进展进行补充。我们也建议把第13章“模式识别系统的评价”的部分内容拆分到前面几章中讲授，因为在前面进行课外实验的话已经需要用到一些评价方法。同样，如果需要在课上介绍模式识别与机器学习的软件平台，则应该把第14章内容提到前面讲授，或者安排同学们自学。第15章的讨论可以在绪论部分讲，也可以作为学完所有内容后的回顾和总结，或者留给同学们自学。根据我们在清华大学多年教学实践的体会，这种安排基本上可以做到在48学时的课程中较合理地兼顾本书大部分内容的深度和广度。

我们最近几年也在不断尝试新的内容安排顺序。例如，2021年秋季张学工给清华大学研究生、高年级本科生和清华大学深圳国际研究生院开设的“机器学习”课，按照以下五大版块对内容进行了重组。

表0.1 对教材章节进行重组的一种教学内容安排举例

分块	顺序	标题	主要内容
版块 0：引言部分	第1讲	绪论：基本概念	第1章和第15章部分内容
版块 0：引言部分	第2讲	模式分类	介绍模式识别的基本概念及模式识别系统的性能评价方法，包括了第1章部分内容和第2.4节、第13.2节
版块 1：确定性监督学习机器	第3讲	经典线性学习机器	第5章大部分内容（第5.1～5.7节）
	第4讲	多类分类与非线性分类	第5.9节、第6.1～6.3节和第8.2节
	第5讲	经典人工神经网络	第6.4节及部分补充内容
	第6讲	支持向量机与核函数机器	第5.8节和第6.5、6.6节
	第7讲	统计学习理论概要	第7章
	第8讲	用于分类的特征选择与提取	第9章、第10.1、10.2、10.4节和第13.4节
	第9讲	决策树、随机森林与集成学习	第8.3、8.4节
版块 2：概率学习机器	第10讲	贝叶斯分类器	第2章
	第11讲	概率密度估计	第3章
	第12讲	隐马尔可夫模型与图模型简介	第4章及部分补充内容
版块 3：非监督学习机器	第13讲	聚类：非监督模式识别	第11.1、11.4～11.6节和第13.6节
	第14讲	基于模型的聚类与EM算法	第11.2、11.3节及部分补充内容
	第15讲	流形学习、降维与可视化	第10.3、10.5～10.10节
	第16讲	非监督学习神经网络：自组织映射SOM与限制性玻尔兹曼机RBM	第11.7节和第12.6节部分内容

原书第 8 页

续表

分块	顺序	标题	主要内容
版块4：深度学习及其他	第17讲	深度神经网络	第12.6节
	第18讲	卷积神经网络	第12.1～12.3节
	第19讲	循环神经网络、长短时记忆模型与注意力模型	第12.4、12.5节及部分补充内容
	第20讲	深度生成模型及其他	第12.7节及部分补充内容
	第21讲	机器学习与人工智能中的伦理问题	补充内容

这种教学内容安排，任课教师感觉逻辑体系更连贯，部分同学通过这种安排能更好地体会各种方法之间的内在关系，但也有部分同学反映内容过于拥挤，难度偏大，有些内容无法足够深入。这也提示在48个学时的教学中还需要对内容进行更多精简，我们将在今后的教学实践中继续不断探索。

欢迎广大同行教师与我们分享教学经验，共同优化内容体系。

2. 内容部分覆盖的几种教学安排

如果学时数或课程定位不适于覆盖本书全部内容，我们也在探索如何进行教学内容安排。我们初步设想了几种可能的定位和方案举例，希望能以此抛砖引玉，收集同行教师在教学安排上的宝贵经验，将来与更多读者分享。

定位举例1：以统计模式识别为主组织课程

这样的课程定位可以基本采用本书章节顺序来组织教学内容，可以略过第4章、第7章和第12章的内容，如果时间允许可在最后增加对略过内容的概论性介绍，尤其是讨论一下深度学习与经典模式识别方法间的联系。这样的安排比较适合32学时课程。如果把内容涉及的数学推导讲解得比较详细，则按48学时组织更充裕。

定位举例2：以各种神经网络为主的机器学习或深度学习课程

这样的课程定位，可以略过本书第2～4章和第7、8章，用其余章节基本按教材顺序组成教学内容，第9～11章内容也可以部分缩减。这样的内容安排也比较适合一门32学时或48学时课程。需要注意的是，在非监督学习和深度学习中有部分内容与概率学习有关，需要从跳过的章节中提取出部分相关内容来加以补充。

在这个定位下，还有一种可能的内容组织方式是以突出实操能力为主，由教师以第14章中提到的某个机器学习软件平台为依托来组织教学内容。也就是说，参照上述顺序从软件平台上提取出代表性的方法软件包，以讲授和练习软件包使用作为教学主线，而把本教材作为讲解软件包原理的参考。这种教学组织，更有利于集中训练学生使用各种模式识别与机器学习方法的能力，对大部分同学只要求了解方法基本原理和掌握使用方法，感兴趣深入学习的同学可通过教材自学其中涉及的数学内容。

定位举例3：模式识别与机器学习的概论性课程

这种做法是基本保留本书的全部内容，但对所有内容都只讲授基本思想，大部分数学推导都不引入，这样也是可以在32学时内完成本书大部分内容的，但每一部分都无法深入，需要深入学习的同学可以通过本书进行自学。如果按照这个定位，具体内容安排可以基本采

原书第 9 页

用本教材的章节顺序，也可以采用类似表0.1中重组的顺序，或者由任课教师根据自己的理解设计自己的框架。

这种安排适合于更广泛背景的同学，这种深入浅出的课程应该在很多学校都会大受欢迎。但对于在本领域有较好基础的同学和有较高追求的同学，他们可能不满足于这种概论，可以在此基础上通过本教材进行深入自学。

3. 对利用本书进行自学的建议

我们在编写本教材几个版本时，一直努力使内容安排能兼顾教学使用、自学使用和作为平时研发工作中的参考书使用。在此，我们也对自学读者提出一些建议供参考。

如果读者具有理工科大学的数学和计算机基础，之前没有学习过机器学习和模式识别内容，又有相对充裕的时间，完全可以通过自学本教材对模式识别和机器学习进行比较全面和深入的掌握。建议这类读者可以采用“两遍法”学习，第一遍是用较短时间从头到尾阅读一遍全书，但对其中涉及的数学内容只了解定性结论而不追究其中的数学细节。通过这一遍阅读，可以对模式识别与机器学习的全貌有一个粗略但较完整的认识。然后再花较多时间重新研读一遍，对其中重点内容进行深入学习。在第二遍中，读者可以在对全书内容有了宏观掌握的基础上，按照自己的关注点设计研读章节顺序，也可以参考上面给教师授课提供的建议。

更多的自学读者可能是在之前某个阶段学习中已经掌握了模式识别和机器学习的部分内容，或者通过一些网络资源进行了一定的自学。对于这类读者，可以用上述第一遍阅读的方式把自己原来已经掌握的内容连接起来，提升知识掌握的系统性，发现其中的薄弱点或新知识点进行深入研读，也可能会发现自己之前理解中可能存在的片面性。

不管是哪类读者，如果对一些基本内容的数学推导非常感兴趣，可能会发现本书中有不少细节并没有充分展开，这是本书在编写过程中的一种取舍，目的是希望能在保持教材总篇幅适中的前提下尽量涵盖模式识别与机器学习的各主要方面。对于没有展开的细节内容，大多数情况下读者可以通过自己的推导把细节补上，或者查阅相关文献或其他更关注细节的教材。那些包含更多细节的教材往往在内容覆盖面上有所偏倚，可能需要多种这样的教材才能完全涵盖本书全部内容。

我们还考虑了另外一种类型的读者，就是由于精力所限、专业背景差异或目前较高的岗位定位，并不需要掌握模式识别与机器学习的技术内容，而只是希望能在技术思想和方法论层面上理解这一领域的来龙去脉和基本原理。我们从第三版开始就努力使本书也能为这部分读者所用。在第4版中，希望这部分读者能通过阅读第1章、每章开头和结尾、各小节条目和开场文字以及最后的第15章等内容，基本达到上述目的。我们也非常希望得到这一部分读者的反馈，以便今后进一步改进。

4. 对用本书进行考研准备的建议（仅供参考）

我们了解到，从前几个版本开始，很多高校和科研院所的相关专业就把本教材作为研究生专业考试的指定教材或参考教材。这是广大同行教师对本书的高度肯定，是对我们的极大鼓舞和鞭策，我们对广大同行深表感谢！

针对使用本教材进行考研准备的同学，我们也希望能提供一些有益的建议和帮助，但由

原书第 10 页

于各高校和科研院所对考生的专业要求和考查重点可能不同，我们无法给出特别具体的建议，只给出一些我们认为重要的基本原则供考生们参考，祝各位考生能如愿实现心中的理想。

第一个原则性建议是要端正学习的“初心”。虽然是应试备考，但也要抱着学习掌握这门学问的态度来学习，不要死记硬背，而要追求对内容及内容背后数学原理的理解。

第二个建议是要学会找到和抓住主要矛盾。模式识别与机器学习是一门涉及较多应用数学内容的学科，对于研究生入学考试来说，可能数学相关的内容也是比较容易被考到的地方。但是，并不是所有的数学内容都同等重要，同学应该在对方法原理、思想充分理解的基础上，学会在有限精力下抓住更关键的内容，抓大放小。即使时间比较充足，有条件掌握所有内容，也要对内容的层次有把握，不能平铺用力。

第三个建议是要学会找到各种方法之间的内在联系，融会贯通，而不只是学习一个个孤立的知识点。虽然模式识别与机器学习包含了多个不同流派和不同发展历史的分支，但其中很多内容还是有不同层次上的共性和联系的。设计机器学习方法时需要防止过学习，需要有推广能力，我们学习模式识别和机器学习这门课程，也需要有推广能力。

张学工汪小我

2022年1月11日

原书第 11 页

第1章

概论

1.1 模式与模式识别

人类智慧的一个重要方面是其认识外界事物的能力。这些能力可能是从一个人的孩童时期就具备并且不断增强的，并且这种能力在很多动物身上也不同程度地存在。人们往往对这种能力习以为常，并意识不到它是复杂的智能活动的结果。但是，如果仔细分析我们日常所进行的很多活动，就会发现，几乎每一项活动都离不开对外界事物的分类和识别。

例如，当看到图1-1的照片时，很可能会得出这样的印象或结论：这是一幅风景照片，表现的是中国某一江南水乡的景色。这一看似简单的认知过程实际上是由一系列对事物类别的识别构成的，例如，我们会识别出这是一幅照片（而不是绘画），是一幅风景照片（而不是人物或其他照片），照片中有小河、房屋、游船等。进一步，这种傍水而建的民居建筑风格让我们在这些具体的观察之上形成了“这是江南水乡”的判断。在整个过程中，照片、风景照片、小河、房屋、游船、江南水乡等都是代表着客观世界中的某一类事物的概念，人们对这些概念的识别并不是依靠对每一个具体对象的记忆，而是依靠在以往对多个此类事物的具体实例进行观察的基础上得出的对此类事物整体性质和特点的认识。例如，这幅照片中的游船或许和我们以前见过的任何游船都不完全一样，但是由于我们见过很多游船，在头脑中已经形成了对“游船”这一类事物所具有的特征的认识，因此，尽管这些游船我们并没有见过，我们仍然能毫不困难地识别出它们是游船。换句话说，我们已经通过以往看到的很多游船在头脑中形成“游

图 1-1 一幅风景照片

原书第 20 页

船”这一类事物的一种模式，当看到新的游船时，我们能把这种模式识别出来。这就是每个人每天都在大量进行的模式识别活动的一个简单例子。同样地，我们从这幅照片中看到小河、房屋，是对“小河”“房屋”模式的识别；而对于这是一张风景照片、照片中的风景是江南水乡这种更抽象的判断，则是在对具体物体的识别的基础上形成的更上一层的模式识别。

图 1-2 是一段心电图信号的片段。多数读者可能只能认出这是心电图，而有一定医学知识的读者则能从这个信号片段中找到所谓的 T 波、P 波、U 波等不同的部分，这些都是心

电图信号中的特殊模式。根据这些模式，有经验的医生还可以通过心电图判断病人的心脏健康状况，进行更高层次的模式识别。现代生物医学的发展为临床医生提供了大量的检验手段，从宏观到微观，从医学影像到基因和蛋白质标记物的表达，应有尽有，而医生根据这些结果对疾病进行诊断就是在进行对疾病的模式识别。

图 1-2 一段心电图信号的片段

人们对外界事物的识别，很大部分是把事物按分类来进行的。例如，看到一幅照片，我们很自然地就会知道这是一幅风景照片还是人像照片，这实际上是把各种照片分成了若干类，包括风景、人像、体育、新闻等，在看到一幅具体的照片时我们就把它归到其中的某一类（或同时归属某几类）。事实上，我们对外界对象的几乎所有认识都是对类别的认识，在我们的心目中，“房子”的概念代表的是一类对象而不是一座座具体的房子，“人”“大人”“小孩”“男生”“女生”“树”“花”“草”“桌子”“椅子”“床”等，都是类别的概念。极端来说，我们认识每一个人其实也都是作为一个类别来认识的，因为我们此时看到的张三（即他在我们视网膜上的成像）与彼时他的模样是不完全一样的，此时听到的他的声音和彼时听到的他的声音也是不完全一样的，之所以我们能够把这些不同的图像、不同的声音都识别为张三，就是因为我们在大脑中已经形成了关于他的一种模式，只要符合这种模式的图像和声音就会被划分为“张三”这一类。

我们对外界对象的类别判断并不限于直接从五官获得的信号，也存在于很多更高级的智能活动中。

我们在与人交往的过程中，会通过对每个人多方面特点的观察逐步形成一些对他们的看法，例如觉得某个人很聪明，某个人很可亲，某个人很难相处等，这也是一种对模式的识别，只不过这些模式的定义更模糊、更抽象。

在金融行业，一个成功的信用卡公司往往需要通过认真分析客户的信用资料和消费习惯等将用户分类，以便更好地判断用户的信用程度，并且可以通过消费模式的突然变化检测可能的信用卡盗用等行为；一个好的保险公司也需要根据客户的收入、职业、年龄、受教育程度、健康状况、家庭情况、行为记录等将客户细分，以便更有针对性地对客户提供最恰当的保险产品。

在人来人往的公共场所，训练有素的反扒警察可以很准确地发现正在伺机作案的扒手，靠的正是对这些人与常人不同的行为模式的识别。

模式识别一词的英文是 pattern recognition。在中文里，“模”和“式”的意思相近。根据《说文》，模，法也；式，法也。因此，模式就是一种规律。英文的 pattern 主要有两重含义：一是代表事物（个体或一组事物）的模板或原型；二是表征事物特点的特征或性状的组合。在模式识别学科中，模式可以看作对象的组成成分或影响因素间存在的规律性关系，或者是因素间存在确定性或随机性规律的对象、过程或事件的集合。也有人把模式称为模式类，模

原书第 21 页

式识别也被称作模式分类(pattern classification)。

在《说文》中，识，知也；别，分解也。识别就是把对象分门别类地认出来。在英文中，识别(recognition)一词的主要解释是对以前见过的对象的再认识(re-cognition)。因此，模式识别就是对模式的区分和认识，把对象根据其特征归到若干类别中适当的一类。

从前面的举例我们可以看到，人类智能活动中包含大量的模式识别活动。作为一门学科，模式识别研究的目标并不是人类或动物进行模式识别的神经生理学或生物学原理（但对这些原理的研究对模式识别研究提供了重要启示），而是研究如何通过一系列数学方法让机器（计算机）来实现类似人的模式识别能力。对于人和动物来说，这种能力有一部分是生来即有的，但更多的是在生长发育和生活工作中通过后天实践获得的。对于机器，对于某些人们非常确知的目标可以通过专门的设计让机器能够识别，而更多的目标则也需要通过一定的数据来“训练”机器，让机器“学习”到模式识别的能力，这就是机器学习。

为了在本书后面章节中讨论方便，我们在这里把一些基本术语的含义约定一下。这些术语在其他文章或书籍中的含义和用法可能会略有不同，但只要参考上下文就不难明确其确切含义。

样本(sample)：所研究对象的一个个体。注意，这与统计学中通常的用法不同，相当于统计学中的实例(example 或 instance)。

样本集(sample set)：若干样本的集合。统计学中的“样本”通常就是指样本集。

类或类别(class)：在所有样本上定义的一个子集，处于同一类的样本在我们所关心的某种性质上是不可区分的，即具有相同的模式。习惯上，我们经常用 $ \omega_{1}, \omega_{2} $ 等来表示类别，在两类分类问题中也有时用 $ \{-1,1\} $ 或者 $ \{0,1\} $ 等来表示。

特征(feature)：指用于表征样本的观测，通常是数值表示的某些量化特征，有时也被称作属性(attribute)。如果存在多个特征，则它们就组成了特征向量。样本的特征构成了样本的特征空间，空间的维数就是特征的个数，而每一个样本就是特征空间中的一个点。某些情况下，对样本的原始描述可能是非数值形式的，此时通常需要采用一定的方法把这些特征转换成数值特征。在本书中，除特别说明外，特征都是指取值为实数的数量特征。

已知样本(known sample)：指事先知道类别标号的样本。

未知样本(unknown sample)：指类别标号未知但特征已知的样本。

所谓模式识别的问题就是用计算的方法根据样本的特征将样本划分到一定的类别中去。

1.2 模式识别的主要方法

解决模式识别问题的方法可以归纳为基于知识的方法和基于数据的方法两大类。

所谓基于知识的方法，主要是指以专家系统为代表的方法，一般归在人工智能的范畴中，其基本思想是，根据人们已知的（从专家那里收集整理的）关于研究对象的知识，整理出若干描述特征与类别间关系的准则，建立一定的计算机推理系统，对未知样本通过这些知识推理决策其类别。

句法模式识别(syntax pattern recognition)也可以看作一种特殊的基于知识的模式识

原书第 22 页

别方法。它的基本思想是，把对象分解描述成一系列基本单元，每一个基本单元表达成一定的符号，而构成对象的单元之间的关系描述成单元符号之间的句法关系，利用形式语言、句法分析的原理来实现对样本的分类。

另一大类模式识别方法是基于数据的方法。

在确定了描述样本所采用的特征之后，这些方法并不是依靠人们对所研究对象的认识来建立分类系统（在很多情况下人们是不具备这样的认识的），而是收集一定数量的已知样本，用这些样本作为训练集（training set）来训练一定的模式识别机器，使之在训练后能够对未知样本进行分类。这种模式识别方法可以看作是基于数据的机器学习（machine learning）的一种特殊情况，学习的目标是离散的

分类，这也是机器学习中研究最多的一个方向。

图1-3给出了这种机器学习系统的基本思想。

图 1-3 基于数据的机器学习

在图 1-3 中，G 表示从对象观测特征的过程

程，特征用向量 x 表示，y 表示我们所关心的对象的性质，在模式识别中就是分类。S 表示决定 x 和 y 之间关系的系统，它存在但我们不知道其内部机理（如果知道就可采用基于知识的方法）。我们可以得到一定数量的已知样本，即一定数量的 x 和对应的 y 的数据对 $ \{x, y\} $。基于数据的模式识别就是利用这样的训练样本来训练学习机器 LM，也就是建立实现从特征向量 x 判断类别 $ y' $ 的一个数学模型，用来对未知样本计算（预测）其类别。

进入21世纪，机器学习越来越受到各个领域的重视和追捧。其中，模式识别是机器学习最核心也是研究最多的方面。在模式识别和机器学习发展的历史中，这个领域和人工智能(AI)研究是并行的两个领域，进入21世纪后，在多方面因素的共同推动下，以深度学习为代表的机器学习方法取得了更突飞猛进的发展，人们才开始把机器学习与人工智能看作是同一个领域，而且机器学习与模式识别在很多人心目中很快成为人工智能的主要内容。同时，模式识别与机器学习这两个术语在很多问题中也被越来越多地混用。

基于数据的方法是模式识别最主要的方法，在无特别说明的情况下，人们说模式识别通常就是指这一方法，其任务可以描述为：在类别标号 y 与特征向量 x 存在一定的未知依赖关系，但已知的信息只有一组训练数据对 $ \{(x,y)\} $ 的情况下，求解定义在 x 上的某一函数 $ y^{\prime}=f(x) $，对未知样本的类别进行预测。这一函数叫做分类器 (classifier)。这种根据样本建立分类器的过程也称作一种学习过程。

基于数据的模式识别方法，基础是统计模式识别，即依据统计学原理建立分类器，这是模式识别学科最初的主要内容。基于人工神经网络模型的模式识别方法从最初的思路并不是从统计学开始，但其本质上与统计学有密切联系，人们也大量采用统计学思想来对它们进行研究。现在各类方法互相借鉴、互相融合，了解各种方法的来龙去脉对于深刻认识方法的核心思想和未来发展非常有意义，但从名称和归类上去割裂各种细分方法学分支不但没有意义，也对学科未来的发展没有好处。

统计模式识别方法中的线性判别函数等内容诞生于20世纪30年代，而整个模式识别学科从20世纪60年代起得到了很大的发展，逐渐形成比较完整的体系。这是一个很年轻的学科，其发展与现代计算机技术的发展相辅相成，近二十年来仍然不断有新的方法和理论涌现出来，并且应用领域日益扩大。同时，这也是一个学科高度交叉的领域，一大批来自统

原书第 23 页

计学、数学、自动化与计算机科学、工程技术以至心理学和神经生理学领域的科学家活跃在其理论、方法和应用研究的各个方面。

20世纪80年代开始迅速发展的人工神经网络方法，和20世纪90年代开始快速发展的支持向量机方法与统计学习理论，都植根于20世纪50年代感知器类机器学习和模式识别方法。其中神经网络方法从2010年前后开始又一次取得了巨大的发展，产生出来当前各种深度学习方法。这些都是传统模式识别方法的延伸和升华，它们虽然有相对独立的理论或方法体系，但与传统的统计模式识别有非常密切的联系。

在本教材这次改版中，我们大幅度扩展了原《模式识别》教材的内容，把机器学习领域大量最新的发展都纳入进来，使之成为一本更完善的《模式识别与机器学习》教材。

基于数据的模式识别方法（以后就简称模式识别方法），适用于我们已知对象的某些特征与我们所感兴趣的类别性质有关系，但无法确切描述这种关系的情况。图1-4示意了模式识别研究的范畴。之所以无法确切地描述这种关系，一方面可能是因为目前对相关机理的研究还比较初步，不足以揭示所研究类别的内在规律；另一方面则可能是由于问题本身的不确定性、样本间的异质性和观测数据的不准确等造成的。如果分类和特征之间的关系可以完全确切地描述出来，那么采用基于知识的方法可能会更有效；而如果二者的关系完全随机，即不存在规律性的联系，那么应用模式识别也无法得到有意义的结果。（需要说明的是，在一些自然科学领域的问题中，我们事先并不知道特征和分类之间是否有联系，运用模式识别技术也可以帮助确定这一联系是否存在。我们将在第10章讨论这一问题。）

图 14 模式识别研究的范畴

1.3 监督模式识别与非监督模式识别

在上面的介绍中，我们有一个基本假定，就是在要解决的模式识别问题中，我们已知要划分的类别，并且能够获得一定数量的类别已知的训练样本，这种情况下建立分类器的问题属于监督学习问题，称作监督模式识别（supervised pattern recognition），因为我们有训练样本来作为学习过程的“导师”。

在人们认知客观世界的过程中，还经常有另外一种情况的学习。在面对一堆未知的对象时，我们自然要试图通过考查这些对象之间的相似性来把它们区分开。例如，在一些儿童智力游戏中，我们经常会看到类似图1-5(a)的问题，要求从这些图像中寻找规律，把图像划分成最合理的几组。这种类别发现的问题也是一种模式识别问题，只是我们事先并不知道要划分的是什么类别，更没有类别已知的样本用作训练，很多情况下我们甚至不知道有多少类别。我们要做的是根据样本特征将样本聚成几个类，使属于同一类的样本在一定意义上是相似的，而不同类之间的样本则有较大差异。这种学习过程称作非监督模式识别（unsupervised pattern recognition），在统计中通常被称作聚类（clustering），所得到的类别也称作聚类（clusters）。

原书第 24 页

图 1-5 类别发现的例子

需要说明的是，在很多非监督模式识别问题中，答案并不一定是唯一的。例如，在图1-5(a)的例子中，要求在6张小图片间寻找合理的类别划分。考查这6张图片的特点，我们会发现，一部分图片基本是左右对称的，而另几张图片则都不是对称的，这就是一种划分方案，如图1-5(b)所示；但是，我们也会发现其他的分类方案，如图1-5(c)所示的方案：图片分为三类，第一类是由圆形、三角形、长方形等多种小图形元素组成的复杂图案，第二类是单个的封闭图形，而第三类则是由一些线条组成的单一图形。在没有特别目的的情况下，很难说哪种分类方案更合理。

这个例子说明的正是非监督模式识别的一个特点：由于没有类别已知的训练样本，在没有其他额外信息的情况下，采用不同的方法和不同的假定可能会导致不同的结果，要评价哪种结果更可取或者更符合实际情况，除了一些衡量聚类性质的一般准则外，往往还需要对照该项研究的意图和在聚类结果基础上进行后续的研究来确定。另外，用一种方法在一个样本集上完成了聚类分析，得到了若干个聚类，这种聚类结果只是数学上的一种划分，对应用的实际问题是否有意义、有什么意义，需要结合更多的专业知识进行解释。

在国内的某些文献中，监督学习和非监督学习也分别被翻译为“有导师学习”和“无导师学习”。

需要指出的是，非监督类别划分即聚类分析是最常见的非监督学习问题，还有很多其他场景下的非监督学习问题。一般来说，机器学习就是从数据中学习规律进行某种预测。如果对需要预测的目标有明确预期并且有已知目标的训练样本，那就是监督学习问题，包括分类问题和对连续特性的预测问题等。如果实现对学习的目标并没有确切预期，或者虽然有预期但并没有已知目标的训练样本，则学习问题就是非监督学习，包括从样本中发现类别即聚类，也包括发现数据中存在的线性或非线性的结构关系，例如高维数据中存在的某种低维结构，或者能够体现数据间某种内在关系的低维表示。

1.4 模式识别系统举例

从20世纪末到21世纪初，随着模式识别理论和技术自身的发展及计算机数据处理能力的飞速提高，模式识别技术的应用已经开始进入各行各业。这里，我们列举几个典型的例子来说明模式识别系统的一般构成，同时从这些例子也可以看到模式识别技术广阔的应用前景。这些例子主要还是本教材上一版中的例子，反映了2010年之前相关领域的情况。最近这十年中，模式识别与机器学习有了非常大的新发展，很多当年仍在实验室阶段的技术现在已经通过很多智能设备走入千家万户。这里举例的目的是帮助读者了解模式识别系统的

原书第 25 页

基本构成而不是最新进展，读者可以从当前互联网上获取大量的关于各领域最新进展的信息。

1. 语音识别

计算机语音识别是模式识别技术最成功的应用之一。也许是从“芝麻开门”的传说开始，人们就一直幻想着非生命的东西能够听懂人类的指令，模式识别技术已经使这种幻想成为了现实。不但如此，当前语音识别技术已经大量进入日常生活，包括在手机上进行语音识别、在汽车里用说话的方式操作各种设备等。

图1-6给出了一个十分简化的语音识别系统的简单框架。首先，语音通过信号采集系统进入计算机，成为数字化的时间序列信号。这种原始语音信号须经过一系列预处理，按照一定的时窗分割成一些小的片段（帧），例如每帧25ms，两帧之间间隔10ms。这样做的目的是把连续的语音分成相对孤立的音素，以这样的音素作为识别的基本单位。每一帧语音信号经过一定的信号处理后被提取成一个特征向量，就是要进行模式识别的样本，我们要识别的是这个样本对应哪个音素。一种语言虽然内容和发音都丰富多彩、变化无穷，但其中的基本音素数目是很有限的，每一个音素就是一个类，音素识别就是把样本分到多类中的一类。

图 1-6 一个十分简化的语音识别系统的简单框图

对语音样本的识别由分类器来实现。语音识别最经典的分类器是建立在语音的一种概率模型——隐马尔可夫模型上的。分类器有两个工作阶段：设计阶段与决策阶段。在设计阶段，用大量已知的语音信号来确定分类器模型中的一系列参数，这一过程称作训练，这种语音训练样本集通常被称作语料库。在决策阶段，未知的语音信号经过与设计阶段同样的预处理后进入训练好的分类器，分类器给出对语音的识别结果。对于普通用户来说，所购买的语音识别系统已经是经过训练之后的，有些产品提供了让用户用自己的口音对分类器进行一定的再训练的功能。

与其他模式识别系统不同的是，一段自然的语音是由一系列连续的音素构成的，而不是一个个相互独立的因素，因此，在语音识别系统中并不是单独对每一个音素样本进行分类，而是用一个更高一层的隐马尔可夫模型把相邻的音素联合起来考虑。在对音素识别的基础上还要对一定的语言模型进行后处理才能最终识别出语音的内容。

根据所针对的应用场景，目前存在的语音识别系统有多种类型：从对说话人的要求考虑可分为特定人和非特定人系统，从识别内容考虑可分为孤立词识别和连续语音识别、命令及小词汇量识别和大词汇量识别、规范语言识别和口语识别，从识别的速度考虑还可分为听

原书第 26 页

写和自然语速的语音识别等。其中，非特定人、小词汇量的识别已经有很多实际应用，最常见的如自动语音识别的电话总机、航空公司等的语音识别自动电话服务等专用系统；目前市场上常见的语音识别软件或者某些操作系统中内嵌的语音识别软件多是针对规范文本的听写识别的，已经能够达到相当准确的识别率，用户经过一定的适应就可以利用语音识别软件进行文本录入。最近十年中，复杂环境下口语化语言的语音自动识别也取得了非常大的进展，例如人们在手机上发送语音短消息，手机软件已经能以很高的识别率把语音转换成文本显示出来，即使说话者有一定的口音。这使我们在无法播放语音消息的场合中也可以通过文本显示大致了解对方语音消息的内容。

2. 说话人识别

说话人识别与语音识别关系十分密切，目的是通过语音来确定说话者的身份，而不是识别说话的内容。说话人识别的基本原理和语音识别基本相同，只是分类目标从语音变成了说话人，而为此采用的信号特征也会有所不同。在这里，每个要区分的人就成为一类。

说话人识别与指纹识别、人脸识别、签字/笔迹识别等一样，是现代身份鉴别技术的一个重要方面，可用于远程说话人核对、语音命令系统权限管理、现场说话人鉴别等。随着信息时代的来临和多媒体技术的发展，从大量带有音频信号的多媒体数据中搜索特定的内容成为当前一个很具挑战性的课题，语音识别和说话人识别技术也可以在此类基于内容的多媒体信息检索中发挥关键作用。

3. 字符与文字识别

各种形式的字符与文字识别是模式识别的另一项典型应用，包括印刷体的光学字符识别（OCR）、手写体数字识别、手写体文字识别等。

光学字符识别是指通过扫描仪把印刷或手写的文字稿件输入到计算机中，并且由计算机自动识别出其中的文字内容。OCR的名字是由于早期强调光学输入手段而得名。目前已经有很多实用的OCR系统，能够对印刷体文字实现非常准确的自动识别，对手写数字的识别也已经达到很高的精度。

单字的识别是 OCR 的基础。汉字是有复杂结构的图像，与其他模式识别系统一样，汉字识别的第一步也是特征的提取。通常有两类特征，一是将汉字图像进行统计计算后得到的数量特征，例如将图像向多个方向投影，以投影后的像素密度作为特征；二是将汉字的笔画分解，根据对汉字结构的认识提取有效的特征点，再编码成数字特征。在提取特征以后，每个字就成了一个由特征向量代表的样本，识别一个字就是要在所有可能的字中判断当前的样本是哪个字，属多类分类问题。分类器的建立除了要利用样本训练，还需要结合对文字结构的认识（例如旋转和尺度不变性）才能得到更好的识别效果。与语音识别类似，OCR 在单字识别后往往还需要根据语言模型进行上下文匹配等后处理，才能达到更理想的识别效果。而在单字识别前，对扫描稿件的版面分析、字符分隔等是重要的预处理步骤。

与离线的手写文稿识别相比，联机的手写文字识别能有效地提取和利用笔画信息，因而可以取得更好的识别效果，目前已经发展为很多手机和掌上计算机的基本配置。

原书第 27 页

4. 复杂图像中特定目标的识别

从复杂背景中识别特定的目标是一类很常见的模式识别问题，例如在对交通的智能监

测中，从道路的静态图像中自动识别出汽车是一个基本问题。由于汽车多种多样，在图像中的颜色、角度和尺寸很不相同，因此要有效地自动识别出汽车并不是一件轻而易举的事。一种策略是用不同大小的窗口去扫描整个图像，每固定一个窗口就获得一个子图像，用图像处理方法获得用于识别的特征，用模式识别方法判断每个子图像是汽车还是背景，再经过一定的后处理就能识别出画面上的每一辆汽车。这就是一个典型的两类分类问题，图1-7中给出的就是我们用一种模式识别方法进行试验的几个例子，所采用的方法是基于主成分分析（第10章）设计的一种分类器。

在实际应用中，经常使用的是用摄像机拍摄的动态图像序列而不是单幅静态图像。这种情况下，

图 1-7 道路图像中汽车的检测可以看作是汽车与背景的分类问题

画面中汽车的检测问题就变得相对简单一些，因为通过用相邻帧图像间的差来提取出画面中的运动物体，可以更容易地检测出汽车。当然，在连续堵车的情况下检测这种运动信息就会遇到困难了。

在检测出汽车后，可以追踪汽车在连续图像间的运动轨迹，把汽车在这一时间段内的运动作为对象，从运动轨迹中提取特征，可以再次运用模式识别方法来识别汽车是否有违章行为等。如果发现有违章行为，还可以进一步从汽车图像中识别出车牌的位置，再在车牌上识别出每个数字。我们看到，由这一系列的模式识别技术构成了一套完整的智能交通监控系统。当前，通过图像和视频识别进行交通执法已经在很多城市大量使用。

在各种场景下从图像或视频中检测人脸和检测行路人的问题与上述汽车图像检测的问题有很大相似性。这个领域是机器学习与模式识别发展最快也是应用最广泛的领域，从相机和手机拍照时的人脸自动识别，到各种场景下的视频监控，到刷脸解锁、刷脸支付等，模式识别和基于模式识别的各种智能系统已经几乎随处可见。

5. 根据地震勘探数据对地下储层性质的识别

模式识别技术在工业上有很广泛的应用，这里仅列举一个在石油勘探中应用的例子。我们知道，石油往往是储藏在地下数千米深的岩层中的，由于钻探成本很高，人们大量依靠人工地震信号来对储层进行探测，这就是地震勘探。地震勘探的原理与医学上用超声波进行人体内脏的检查非常相似，人们在地面或海面设置适当的爆炸源，通过爆炸产生机械波（声波），频率较低的声波能够穿透很深的地层，而在地下地层界面处会有一部分能量被反射回来，人们在地面或海面接收这些反射信号，经过一定的信号处理流程后就能够勾画出地下地层的基本结构。

现代地球物理研究已经能较好地描述反射地震信号到达接收器的时间与地层深度的关

原书第 28 页

系，但是，这种关系只能用来推算地下岩层的构造，而对于岩层的性质尤其是是否含有油气的性质却不能有很好的反映。人们已经知道，地震波穿过不同性质的岩层时会受到不同的作用，地层含油气情况的不同会对信号的能量和频谱有不同的影响，但是，人们目前尚不能认识其中的理论规律。我们早期提出的一种研究方法是，如果在同一地区有已经钻探的探井，我们可以把可能的储层性质近似成几个类别，用探井附近的地震信号提取特征作为训练样本，建立分类器，用它将其他位置上的储层进行分类；如果该地区没有探井或者探井不足以进行训练，我们仍然可以用非监督模式识别的方法对目标地层的地震勘探信号特征进行聚类，将地层进行划分，然后可以与地质学家共同讨论这种划分在地质上的合理性，结合对该地层构造、古地貌和油气运移规律等的分析对储层进行预测，指导进一步的勘探方向。我们和地质学家合作应用这一策略，以自组织映射（第9章）和多层感知器神经网络（第6章）为核心方法，在多个油田的实际预测应用中都取得了很好的效果。

6. 利用基因表达数据进行癌症的分类

随着人类基因组计划的完成和一系列高通量生物技术的发展，在生物领域涌现出了一大批模式识别问题，模式识别方法的大量应用成为生物信息学这一新兴交叉学科的一个特点，但同时这些生物学问题也对模式识别的理论和方法提出了很多新的挑战。其中，利用基因芯片测得的基因表达数据进行癌症的分类研究是一个典型的例子。

人的一个细胞中包含着2万～3万个基因，但是这些基因并不是总在发挥作用，而是在不同时刻、不同的组织中由不同的基因按照不同的数量关系起作用。存储于DNA上的基因转录成mRNA再翻译成蛋白质的过程称作基因的表达，而同一个基因转录出的mRNA的多少称作基因的表达量。众多的基因是在复杂的调控系统支配下按照一定规律进行协调表达的。基因芯片就是借鉴了计算机芯片的加工原理，能够在一个很小的芯片上同时测量成千上万个基因的表达量，为人们研究基因表达和调控规律提供了重要手段。随着新一代测序技术的快速发展和成本的大大降低，人们发展了通过RNA测序对基因表达进行高通量检测的更精准的方法，并发展出了能够检测单个细胞基因表达的单细胞RNA测序方法等，使得对生物系统进行信息获取的手段越来越精细和准确，为我们通过机器学习和模式识别方法对各种复杂疾病的分子和细胞机理进行深入研究奠定了重要基础。

癌症是威胁人类健康的重要疾病，但是多数癌症并不是由单个基因的变化引起的，而是与多个基因有关系，人们希望借助基因芯片或测序来揭示这些关系。一种典型的情况是，研究者收集了一批病人的癌细胞样品，或者是既有癌细胞样品又有正常对照细胞样品，用基因芯片或测序来观测每个样品上大量基因的表达。这样，对于每个病人就获得了成千上万个基因表达特征，而对每个基因也获得了它们在各个病人细胞中的表达特征。把这组芯片的数据集合起来，就形成了一个二维矩阵，其中一维是基因，另一维是病例。对于这样一个数据集，有多种模式识别问题可以去研究，例如，人们既可以用基因表达作为病例的特征来对病例进行分类和聚类研究，也可以用在各个病例上的表达作为基因的特征来研究基因之间的分类和聚类，并发现能够标识疾病状态的重要生物标志物。经过十几年的发展，已经有多个基于此类研究的科学发现开始被应用到临床实践中。

原书第 29 页

1.5 模式识别系统的典型构成

模式识别在各个领域中的应用非常多，通过以上几个例子我们可以看到它们的共性，那就是：一个模式识别系统通常包括原始数据的获取和预处理、特征提取与选择、分类或聚类、后处理四个主要部分。图1-8给出了监督模式识别系统和非监督模式识别系统的典型过程。

图 1-8 模式识别的典型过程

面对实际问题时，我们把应用监督模式识别和非监督模式识别的过程分别归纳为以下基本步骤：

处理监督模式识别问题的一般步骤：

分析问题：深入研究应用领域的问题，分析是否属于模式识别问题，把所研究的目标表示为一定的类别，分析给定数据或者可以观测的数据中哪些因素可能与分类有关。

原始特征获取：设计实验，得到已知样本，对样本实施观测和预处理，获取可能与样本分类有关的观测向量（原始特征）。

特征提取与选择：为了更好地进行分类，可能需要采用一定的算法对特征进行再次提取和选择。

分类器设计：选择一定的分类器方法，用已知样本进行分类器训练。

分类决策：利用一定的算法对分类器性能进行评价；对未知样本实施同样的观测、预处理和特征提取与选择，用所设计的分类器进行分类，必要时根据领域知识进行进一步的后处理。

处理非监督模式识别问题的一般步骤：

分析问题：深入研究应用领域的问题，分析研究目标能否通过寻找适当的聚类来达到；如果可能，猜测可能的或希望的类别数目；分析给定数据或者可以观测的数据中哪些因素可能与聚类有关。

原书第 30 页

原始特征获取：设计实验，得到待分析的样本，对样本实施观测和预处理，获取可能与样本聚类有关的观测向量（原始特征）。

特征提取与选择：为了更好地进行聚类，可能需要采用一定的算法对特征进行再次提取和选择。

聚类分析：选择一定的非监督模式识别方法，用样本进行聚类分析。

·结果解释：考查聚类结果的性能，分析所得聚类与研究目标之间的关系，根据领域知识分析结果的合理性，对聚类的含义给出解释；如果有新样本，把聚类结果用于新样本分类。

在以上基本步骤中，特征提取与选择、分类器设计和聚类分析，以及分类器和聚类结果的性能评价方法等是各种模式识别系统中具有共性的步骤，是整个系统的核心，也是模式识别和机器学习学科研究的主要内容。

本书旨在围绕以上主要内容系统讲述模式识别与机器学习的基本概念、基础理论、典型方法和最新进展，力求为从事机器学习、模式识别研究的学者提供一本基本的教材，同时也为其他各学科应用机器学习和模式识别技术的学者提供一本既深入浅出、又比较系统的参考书。在内容的组织和写作上，我们注重基础性、系统性和实用性的结合，将多数理论推演略去，而是选择以方法背后的原理和思想为主线，通过系统介绍各流派典型方法及其相互之间的关系，加强读者对机器学习与模式识别理论及方法体系的全局认识。

1.6 本书的主要内容

全书共分15章。

第1章是概论，从比较宏观角度对模式识别和机器学习的基本概念进行介绍。

从第2章到第4章是基于模型的模式识别与机器学习方法。其中第2章是统计决策方法，介绍在已知样本的概率分布模型的情况下，利用贝叶斯公式进行最优决策的原理和方法，并介绍在后续各种分类方法研究和应用中都会用到的两类错误率和ROC曲线。第3章介绍概率密度函数估计的原理和方法，包括参数估计的最大似然估计、贝叶斯估计方法和代表性的非参数估计方法。第4章介绍隐马尔可夫模型和贝叶斯网络，包括隐马尔可夫模型中的核心算法、贝叶斯网络的基本概念和核心学习算法，并让读者可以从该章内容对概率图模型的概念建立基本了解。

第5章介绍各种经典的线性学习机器线性分类器，包括线性回归、罗杰斯特回归、Fisher线性判别、感知器及各种主要衍生的方法。各种方法以两类分类问题为主，也涉及线性回归问题和多类分类问题。

第6章介绍典型的非线性分类器，核心是多层感知器人工神经网络和支持向量机。

第7章比较概要但全面地讲述统计学习理论的框架和主要结论，也扼要介绍机器学习中不适定问题的基本概念、正则化方法的原理和主要代表性方法。限于本书的篇幅和定位，本章内容非常概要，但希望读者能通过该章建立起对机器学习方法背后的理论研究的基本认识。

原书第 31 页

第8章把实际中经常使用但又不在以上几章框架中的几种方法进行介绍，包括近邻法、决策树、随机森林和集成学习方法，它们共同的特点是没有事先确定的判别函数形式，所以我们统称为非参数学习方法。

第9章和第10章是关于特征选择与提取方法的介绍，现在人们习惯于统称为特征工程。第9章介绍了特征选择中几种常用的最优和次优方法，包括分枝定界算法、遗传算法等；第10章包括了监督与非监督的特征提取方法和降维方法，包括主成分分析、KL变换、多维尺度法等经典方法和比较新的非线性降维和可视化方法。

第11章专门介绍非监督模式识别与机器学习方法，核心是各种聚类算法，包括混合概率密度函数估计方法、经典的C均值(K均值)和分级聚类算法，以及模糊聚类方法、自组织映射神经网络、一致聚类方法等。另外，第10章介绍的特征提取方法中有很多也属于非监督学习范畴，在第12章中将看到非监督学习与监督学习在一些深度神经网络中的结合。

第12章用较长的篇幅介绍深度学习中最有代表性的方法，包括卷积神经网络（CNN）、循环神经网络（RNN）、长短时记忆模型（LSTM）、自编码器、限制性玻尔兹曼机（RBM）、深度信念网络（DBN）以及变分自编码器（VAE）、生成对抗网络（GAN）等。

第13章专门介绍模式识别系统评价中一些容易被认为显而易见的问题及方法，包括监督模式识别系统和非监督模式识别系统的评价，这些评价方法适用于前面各章介绍的模式识别方法，对于不以分类或聚类为目标的其他机器学习系统的评价也有借鉴意义。

第14章通过一些具体的示例，介绍了几种常见的模式识别与机器学习软件平台的使用风格。

第15章是一个讨论，结合历史回顾和概念梳理，讨论模式识别、机器学习和人工智能等密切关联但又容易混淆的概念，作为对全书内容的总结和读者后续学习与研究的起点。

读者如果用本书作为“模式识别”课程的教材，建议按照章节顺序使用本书。如果把本书作为参考书，则可以在看完第1章后就直接查阅相应的章节。需要说明的是，我们在编写本书时没有把本书和任何考试联系起来，所有内容安排都是以帮助读者更好地理解和掌握主要内容，更好地学会应用模式识别技术为出发点的。选用本书作为教学材料的老师可以根据自己专业的要求灵活选择考查方式和平时作业，这样可能会增加老师的备课负担，但我们希望这样安排对改变部分读者以准备考试为目的的学习习惯有所帮助。

原书第 32 页

统计决策方法

2.1 引言：一个简单的例子

分类可以看作一种决策，即我们根据观测对样本做出应归属哪一类的决策。

让我们来看一个最简单的例子。

假定我手里握着一枚硬币，让你猜是多少钱的硬币，这其实就可以看作一个分类决策的问题：你需要从各种可能的硬币中做出一个决策。如果我告诉你这枚硬币只可能是一角或者五角，这就是一个两类的分类问题。

在没有关于这枚硬币任何信息的情况下，有人可能猜这是一枚一角的硬币，因为他在最近一段时间以来接触到的一角的硬币比五角的硬币多，因此他觉得更可能是一角。这就是一种决策。

这个决策过程是有理论依据的：他实际是通过对所接触过的硬币的概率做出的粗略分析，认为出现一角硬币的概率比五角硬币的概率大，然后选择了概率较大的决策。如果把硬币记作x，把一角和五角这两类分别记作 $ \omega_{1} $和 $ \omega_{2} $，用 $ P(\omega_{1}) $和 $ P(\omega_{2}) $分别表示两类的概率，这一决策规则可以表示为

$$ 如果 P(\omega_{1})>P(\omega_{2}), 则 x\in\omega_{1}；反之 , 则 x\in\omega_{2} $$

在只有两类的情况下， $ P(\omega_{1})+P(\omega_{2})=1 $。如果决策 $ x\in\omega_{1} $，那么犯错误的概率就是 $ P(\text{error})=1-P(\omega_{1})=P(\omega_{2}) $，反之亦然。很显然，采用式(2-1)的决策犯错误的概率就小。

在所有可能出现的样本上类别决策错误的概率被称作错误率。式(2-1)的准则实际就是最小错误率准则：由于对每一枚硬币都按照错误概率最小的原则进行决策，那么这种决策在所有可能出现的独立样本上的错误率就最小。

这里没有考虑两类概率相等的情况，因为这时决策对两类来说，它们的错误概率是一样

原书第 33 页

的，采用任何一种决策的效果是相同的。

由于上面说的概率是在没有对样本进行任何观测情况下的概率，所以叫做先验概率（a priori probability）。

下面假设仍然不允许看硬币，但是允许用天平来称量硬币的重量，并根据重量来做决策。

把硬币的重量仍记为 x，与上面所述的决策过程类似，现在应该考查在已知这枚硬币重量为 x 情况下硬币属于各类的概率，对两类硬币分别记作 $ P(\omega_{1}|x) $ 和 $ P(\omega_{2}|x) $，这种概率称作后验概率（a posterior probability）。这时的决策规则应该是

$$ 如果 P(\omega_{1}|x)>P(\omega_{2}|x), 则 x\in\omega_{1}；反之 , 则 x\in\omega_{2} $$

在这种情况下，如果决策 $ x \in \omega_{1} $，则错误的概率就是 $ P(\text{error}) = 1 - P(\omega_{1} | x) = P(\omega_{2} | x) $，反之亦然。所以，式(2-2)仍然是最小错误率的决策。

问题是，只测了x，如何才能知道 $ P(\omega_{i}|x),i=1,2? $

根据概率论中的贝叶斯公式(Bayes' formula 或 Bayesian theorem)，有

$$ P\left(\omega_{i}\mid x\right)=\frac{p\left(x,\omega_{i}\right)}{p\left(x\right)}=\frac{p\left(x\mid\omega_{i}\right)P\left(\omega_{i}\right)}{p\left(x\right)},\quad i=1,2 $$

其中， $ P(\omega_{i}) $ 是先验概率； $ p(x,\omega_{i}) $ 是 x 与 $ \omega_{i} $ 的联合概率密度； $ p(x) $ 是两类所有硬币重量的概率密度，称作总体密度； $ p(x|\omega_{i}) $ 是第 i 类硬币重量的概率密度，称为类条件密度。这样，后验概率就转换成了先验概率与类条件密度的乘积，再用总体密度进行归一化。

注意，在遵循式(2-2)进行决策时，是对两类比较后验概率，而由式(2-3)分解的后验概率中分母部分是总体密度，对于两类没有区别，因此只需要比较分子上的两项就可以了，即比较先验概率和类条件密度的乘积，决策准则如下

$$ p\left(x\mid\omega_{1}\right)P\left(\omega_{1}\right)>p\left(x\mid\omega_{2}\right)P\left(\omega_{2}\right), 则 x\in\omega_{1}；反之 , 则 x\in\omega_{2} $$

其中，先验概率可以根据市场上流通的一角与五角货币的比例估计，而类条件密度则需要用一定的属于本类的训练样本来进行估计。

这就是贝叶斯决策：在类条件概率密度和先验概率已知（或可以估计）的情况下，通过贝叶斯公式比较样本属于两类的后验概率，将类别决策为后验概率大的一类，这样做的目的是使总体错误率最小。

当然，硬币这个例子并不是一个典型的例子，因为通常两种硬币的重量相差很明显，而且每一种硬币自身的重量比较准确，密度函数几乎就是在其均值处的一个冲激函数，因此在这个问题里式(2-4)的比较实际上显得没有意义。这个例子只是用来直观地说明贝叶斯决策的基本思想。下面正式介绍贝叶斯决策。

贝叶斯决策理论也称作统计决策理论。

为了讨论方便，进行如下约定：

假定样本 $ x \in R^{d} $ 是由 d 维实数特征组成的，即 $ x = [x_{1}, x_{2}, \cdots, x_{d}]^{T} $，其中 T 是转置符号。

假定要研究的类别有 c 个，记作 $ \omega_{i}, i=1,2,\cdots,c $。类别数 c 已知，且各类的先验概率也都已知。另外，还假定各类中样本的分布密度即类条件密度 $ p(x\mid\omega_{i}) $ 也是已知的。我们所要做的决策就是对于某个未知样本 x 判断它属于哪一类。

任一决策都有可能会有错误。对两类问题，在样本 x 上错误的概率为

原书第 34 页

$$ p\left(e\left|x\right.\right)=\left\{\begin{aligned}{}&{{}P\left(\omega_{2}\left|x\right.\right)}&{}&{{}x\in\omega_{1}}\\ {}&{{}P\left(\omega_{1}\left|x\right.\right)}&{}&{{}x\in\omega_{2}}\\ \end{aligned}\right. $$

错误率定义为所有服从同样分布的独立样本上错误概率的期望，即

$$ P(e)=\int P(e\mid x)p(x)\mathrm{d}x $$

这里，用 $ \int\cdot dx $ 表示在特征x（向量或标量）的全部取值空间做积分，后同。

在所有样本上做出正确决策的概率就是正确率，通常记作 $ P(c) $。显然 $ P(c)=1-P(e) $。下面介绍几种常用的贝叶斯决策规则。

2.2 最小错误率贝叶斯决策

正如在2.1节的例子中看到的，在一般的模式识别问题中，人们往往希望尽量减少分类的错误，即目标是追求最小错误率。从最小错误率的要求出发，利用概率论中的贝叶斯公式，就能得出使错误率最小的分类决策，称为最小错误率贝叶斯决策。

根据2.1节的定义，最小错误率就是求解一种决策规则，使式(2-6)最小化，即

$$ \min P(e)=\int P(e|x)p(x)\mathrm{d}x $$

由于对所有 $ x, P(e|x) \geqslant 0, p(x) \geqslant 0 $，所以上式等价于对所有 x 最小化 $ P(e|x) $。而根据式(2-5)可知，使错误率最小的分类决策就是使后验概率最大的决策，因此，对于两类问题，得到如下决策规则：

$$ 如果 P(\omega_{1}|x)>P(\omega_{2}|x), 则 x\in\omega_{1}；反之 , 则 x\in\omega_{2} $$

或简记作

$$ 如果 P(\omega_{1}|x)\gtrless P(\omega_{2}|x), 则 x\in\left\{\begin{aligned}&\omega_{1}\\ &\omega_{2}\end{aligned}\right. $$

这就是最小错误率贝叶斯决策。在无特殊说明下说的贝叶斯决策通常就是指最小错误率贝叶斯决策。其中，后验概率用贝叶斯公式求得

$$ P\left(\omega_{i}\mid x\right)=\frac{p\left(x\mid\omega_{i}\right)P\left(\omega_{i}\right)}{p\left(x\right)}=\frac{p\left(x\mid\omega_{i}\right)P\left(\omega_{i}\right)}{\sum_{i=1}^{2}p\left(x\mid\omega_{j}\right)P\left(\omega_{j}\right)},\quad i=1,2 $$

在式(2-9)中，先验概率 $ P(\omega_{i}) $ 和类条件密度 $ p(x|\omega_{i}), i=1,2 $ 都已知。

最小错误率贝叶斯决策规则可以表示成多种等价的形式，例如：

(1)

$$ 若 P(\omega_{i}\mid x)=\max_{j=1,2}P(\omega_{j}\mid x), 则 x\in\omega_{i} $$

（2）在式（2-9）中，因为两类分母相同，所以决策时实际上只需要比较分子，即

$$ 若 p(x\mid\omega_{i})P(\omega_{i})=\max_{i=1,2}P(x\mid\omega_{j})P(\omega_{j}), 则 x\in\omega_{i} $$

（3）由于先验概率 $ P(\omega_{i}) $ 是事先确定的，与当前样本 x 无关，因此，人们经常把决策规则整理成下面的形式，即

原书第 35 页

$$ 若 l(x)=\frac{p(x\mid\omega_{1})}{p(x\mid\omega_{2})}\geqslant\lambda=\frac{P(\omega_{2})}{P(\omega_{1})},\quad 则 x\in\begin{cases}\omega_{1}\\ \omega_{2}\end{cases} $$

这样，可以事先计算出似然比阈值 $ \lambda $，对每一个样本计算 $ l(x) $，与 $ \lambda $ 比较，大于阈值则决策为第一类，小于阈值则决策为第二类。概率密度值 $ p(x|\omega_{i}) $ 反映了在 $ \omega_{1} $ 类中观察到特征值 x 的相对可能性（likelihood），也称为似然度， $ l(x) $ 称作似然比（likelihood ratio）。

（4）很多情况下，用对数形式进行计算可能会更加方便，因此人们定义了对数似然比 $ h(x)=-\ln[l(x)]=-\ln p(x|\omega_{1})+\ln p(x|\omega_{2})} $。注意，这里取的是负对数，决策规则变成如下形式

$$ 若 h(\dot{x})\leqslant\ln\frac{P(\omega_{1})}{P(\omega_{2})},\quad 则 x\in\left\{\begin{aligned}&\omega_{1}\\ &\omega_{2}\end{aligned}\right. $$

下面我们给出一个简化的识别癌细胞的例子，用来说明在一个实际问题中采用贝叶斯决策的过程。假设每个要识别的细胞的图像已做过预处理，抽取出 d 个表示细胞基本特性的特征，构成 d 维空间的向量 x，识别的目的是要将 x 分类为正常细胞或者异常细胞。用决策论的术语来讲就是将 x 归类于两种可能的状态之一，如用 $ \omega $ 表示状态，则 $ \omega = \omega_{1} $ 表示正常， $ \omega = \omega_{2} $ 表示异常。

对于实验者来说，细胞的类别状态是一个随机变量，我们可以估计出现某种状态的概率。例如，根据医院病例检查的大量统计资料，可以对某一地区这种类型病例中正常细胞和异常细胞出现的比例做出估计，这就是贝叶斯决策中要求已知的先验概率 $ P(\omega_{1}) $ 和 $ P(\omega_{2}) $。(准确估计先验概率需要按照一定的原则开展系统的流行病学调查，此处不作赘述。)对于两类问题，显然 $ P(\omega_{1}) + P(\omega_{2}) = 1 $。

先验概率只能提供对整体上两类细胞出现比例的估计，不能用于对个体的判断。想对个体样本做出判断需要根据特征x计算得出的后验概率。为了讨论简单起见，这里假定只用一个特征，例如图像中细胞核总的光密度，即维数d=1。根据医学知识和以前的大量正常细胞和癌细胞的图像数据，我们可以分别得到正常细胞光密度值的概率密度和癌细胞光密度值的概率密度，即类条件概率密度 $ p(x|\omega_{1}) $和 $ p(x|\omega_{2}) $，如图2-1所示。

利用贝叶斯公式(2-9)，我们就能通过观察x把状态的先验概率 $ P(\omega_{i}) $转化为后验概率 $ P(\omega_{i}|x), i=1,2 $，如图2-2所示。

图2-1 类条件概率密度

图2-2 后验概率

显然，我们也有 $ P(\omega_{1}|x)+P(\omega_{2}|x)=1 $ 。最后的决策就是后验概率大的一类。

从图2-2可以看到，这种决策实际的分界线是图中的虚线位置：如果样本x落在分界

原书第 36 页

线左侧则归为第一类（正常细胞），落在右侧则归为第二类（癌细胞）。这一分界线称作决策边界或分类线，在多维情况下称作决策面或分类面，它把特征空间划分成属于各类的区域。

我们来分析一下错误率。决策边界把 x 轴分割成两个区域，分别称为第一类和第二类的决策区域 $ \mathcal{R}_{1} $ 和 $ \mathcal{R}_{2} $。 $ \mathcal{R}_{1} $ 为 $ (-\infty, t) $， $ \mathcal{R}_{2} $ 为 $ (t, \infty) $。样本在 $ \mathcal{R}_{1} $ 中但属于第二类的概率和样本在 $ \mathcal{R}_{2} $ 中但属于第一类的概率就是出现错误的概率，再考虑到样本自身的分布后就是平均错误率

$$ \begin{aligned}P(e)=&\int_{-\infty}^{t}P(\omega_{2}|x)p(x)\mathrm{d}x+\int_{t}^{\infty}P(\omega_{1}|x)p(x)\mathrm{d}x\\=&\int_{-\infty}^{t}p(x|\omega_{2})P(\omega_{2})\mathrm{d}x+\int_{t}^{\infty}p(x|\omega_{1})P(\omega_{1})\mathrm{d}x\end{aligned} $$

可以写为

$$ \begin{aligned}P(e)=&P(x\in\mathcal{R}_{1},\omega_{2})+P(x\in\mathcal{R}_{2},\omega_{1})\\=&P(x\in\mathcal{R}_{1}\mid\omega_{2})P(\omega_{2})+P(x\in\mathcal{R}_{2}\mid\omega_{1})P(\omega_{1})\\=&P(\omega_{2})\int_{\mathcal{R}_{1}}p(x\mid\omega_{2})\mathrm{d}x+P(\omega_{1})\int_{\mathcal{R}_{2}}p(x\mid\omega_{1})\mathrm{d}x\\=&P(\omega_{2})P_{2}(e)+P(\omega_{1})P_{1}(e)\end{aligned} $$

其中

$$ P_{1}(e)=\int_{\mathcal{R}_{2}}p(x\mid\omega_{1})\mathrm{d}x $$

是把第一类样本决策为第二类的错误率；而

$$ P_{2}(e)=\int_{\alpha_{1}}p(x\mid\omega_{2})\mathrm{d}x $$

是把第二类样本决策为第一类的错误率。两种错误率用相应类别的先验概率加权就是总的平均错误率，如图2-3所示。

这里以一维特征为例来介绍基本概念。不难想象，在高维特征空间时的情况类似。

下面举一个数值的例子。

例2.1 假设在某个局部地区细胞识别中正常 $ (\omega_{1}) $和异常 $ (\omega_{2}) $两类的先验概率分别为

图 2-3 错误率

正常状态 $ P(\omega_{1})=0.9 $

异常状态 $ P(\omega_{2})=0.1 $

现有一待识别的细胞，其观察值为x，从类条件概率密度曲线上分别查得

$$ p\left(x\mid\omega_{1}\right)=0,2,\quad p\left(x\mid\omega_{2}\right)=0,4 $$

试对该细胞 x 进行分类。

解：利用贝叶斯公式，分别计算出 $ \omega_{1} $ 及 $ \omega_{2} $ 的后验概率

$$ P(\omega_{1}|x)=\frac{p(x|\omega_{1})P(\omega_{1})}{\sum_{j=1}^{2}p(x|\omega_{j})P(\omega_{j})}=\frac{0.2\times0.9}{0.2\times0.9+0.4\times0.1}=0.818 $$

$$ P\left(\omega_{2}\mid x\right)=1-P\left(\omega_{1}\mid x\right)=0,182 $$

原书第 37 页

根据贝叶斯决策规则式(2-8)，因为

$$ P\left(\omega_{1}\mid x\right)=0,818>P\left(\omega_{2}\mid x\right)=0,182 $$

所以合理的决策是把x归类于正常状态。

在多类情况下，最小错误率贝叶斯决策的原理是一样的，决策规则可以表示为

$$ 若 \;P(\omega_{i}\mid x)=\max_{j=1,\cdots,c}P(\omega_{j}\mid x), 则 \;x\in\omega_{i} $$

或者等价地

$$ 若 p(x\mid\omega_{i})P(\omega_{i})=\max_{i=1,\cdots,c}p(x\mid\omega_{j})P(\omega_{j}), 则 $$

可以把每一类的后验概率 $ P(\omega_{i}|x) $ 或者 $ p(x|\omega_{i})P(\omega_{i}) $ 看作是该类的一个判别函数 $ g_{i}(x) $，决策的过程就是各类的判别函数比较大小，如图2-4所示。

多类别决策过程中，要把特征空间分割成 $ R_{1} $， $ R_{2} $，…， $ R_{c} $ 个区域，可能错分的情况很多，平均错误概率 $ P(e) $ 将由 c(c-1) 项组成，即

图2-4 多类判别决策

$$ \begin{aligned}P(e)=&[P(x\in\mathcal{R}_{2}\mid\omega_{1})+P(x\in\mathcal{R}_{3}\mid\omega_{1})+\cdots+P(x\in\mathcal{R}_{c}\mid\omega_{1})]P(\omega_{1})\\&+[P(x\in\mathcal{R}_{1}\mid\omega_{2})+P(x\in\mathcal{R}_{3}\mid\omega_{2})+\cdots+P(x\in\mathcal{R}_{c}\mid\omega_{2})]P(\omega_{2})\\&+\cdots\\&\underbrace{+[P(x\in\mathcal{R}_{1}\mid\omega_{c})+P(x\in\mathcal{R}_{2}\mid\omega_{c})+\cdots+P(x\in\mathcal{R}_{c-1}\mid\omega_{c})]P(\omega_{c})}_{ 每行 c-1 项 }\\=&\sum_{i=1}^{c}\sum_{j=1\atop i\neq i}^{c}[P(x\in\mathcal{R}_{j}\mid\omega_{i})]P(\omega_{i})\end{aligned}\begin{aligned}\left.c 钤 \right.\\=&\left.P(x\in\mathcal{R}_{c-1}\mid\omega_{c})\right]\left.P(\omega_{1})\right]_{\mathcal{C}(x)\in\mathcal{R}_{c-1}\mid\omega_{c}}\left[P(x\in\mathcal{R}_{c-1}\mid\omega_{c})\right]_{\mathcal{C}(x)\in\mathcal{R}_{c-1}\mid\omega_{c}}\left[P(x\in\mathcal{R}_{c-1}\mid\omega_{c})\right]_{\mathcal{C}(x)\in\mathcal{R}_{c-1}\mid\omega_{c}}\end{aligned} $$

该式计算量比较大，可以通过计算平均正确率 P(c) 来计算错误率

$$ P\left(c\right)=\sum_{j=1}^{c}P\left(x\in\mathcal{R}_{j}\mid\omega_{j}\right)P\left(\omega_{j}\right)=\sum_{j=1}^{c}\int_{\mathcal{R}_{j}}p\left(x\mid\omega_{j}\right)P\left(\omega_{j}\right)\mathrm{d}x $$

$$ P(e)=1-P(c)=1-\sum_{j=1}^{c}P(\omega_{j})\int_{\mathcal{R}_{j}}p(x\mid\omega_{j})\mathrm{d}x $$

2.3 最小风险贝叶斯决策

现在再回到猜硬币的那个简单的例子上来。前面给出的是在最小错误率的原则下得到的决策规则，但是，根据具体的场合不同，我们应关心的有可能并不仅仅是错误率，而是错误所带来的损失。毕竟把一角误认为是五角与把五角误认为是一角所带来的损失是不同的。

同样，在癌细胞识别的例子中，我们不但应该关心所做的决策是否错误，更应该关心决策错误所带来的损失或风险。例如，如果把正常细胞误判为癌细胞，会给病人带来精神上的负担和不必要的进一步检查，这是一种损失；反之，如果把癌细胞误判为正常细胞，则损失更大，因为这可能会导致病人丧失了宝贵的早期发现癌症的机会，可能会造成影响病人生命的严重后果。将这两种类型的错误一视同仁来对待，在很多情况下是不恰当的。

原书第 38 页

所谓最小风险贝叶斯决策，就是考虑各种错误造成损失不同时的一种最优决策。

下面用决策论的概念把问题表述一下：

（1）把样本 x 看作 d 维随机向量 $ x = [x_{1}, x_{2}, \cdots, x_{d}]^{\mathrm{T}} $

(2) 状态空间 $ \Omega $ 由 c 个可能的状态 (c 类) 组成： $ \Omega = \{\omega_{1}, \omega_{2}, \cdots, \omega_{c}\} $

（3）对随机向量x可能采取的决策组成了决策空间，它由k个决策组成

$$ \mathcal{A}=\{\alpha_{1},\alpha_{2},\cdots,\alpha_{k}\} $$

注意，这里没有假定 k=c。这是更一般的情况，例如，有时除了判别为某一类外，对某些样本还可以做出拒绝的决策，即不能判断属于任何一类；有时也可以在决策时把几类合并为同一个大类，等等。

（4）设对于实际状态为 $ \omega_{i} $ 的向量 x，采取决策 $ \alpha_{i} $ 所带来的损失

$$ \lambda\left(\alpha_{i},\omega_{j}\right),\quad i=1,\cdots,k,\quad j=1,\cdots,c $$

称作损失函数。通常它可以用表格的形式给出，叫做决策表，如表2-1所示。在应用中需要根据问题的背景知识确定合理的决策表。

表2-1 给出损失函数 $ \lambda(\alpha_{i},\omega_{j}) $ 的一般决策表

| 决策 | 自然状态 | | | | | |

| --- | --- | --- | --- | --- | --- | --- |

| ... | ... | ... | ... | ... | ... | ... |

| $ \alpha_i $ | $ \lambda(\alpha_i,\omega_1) $ | $ \lambda(\alpha_i,\omega_2) $ | ... | $ \lambda(\bar{\alpha}_i,\omega_j) $ | ... | $ \lambda(\alpha_i,\omega_c) $ |

| ... | ... | ... | ... | ... | ... | ... |

对于某个样本 x，它属于各个状态的后验概率是 $ P(\omega_{j}|x) $, j=1,\cdots,c，对它采取决策 $ \alpha_{i}, i=1,\cdots,k $ 的期望损失是

$$ R\left(\alpha_{i}\mid x\right)=E\left[\lambda\left(\alpha_{i},\omega_{j}\right)\mid x\right]=\sum_{i=1}^{c}\lambda\left(\alpha_{i},\omega_{j}\right)P\left(\omega_{j}\mid x\right),\quad i=1,\cdots,k $$

设有某一决策规则 $ \alpha(x) $，它对特征空间中所有可能的样本 x 采取决策所造成的期望损失是

$$ R\left(\alpha\right)=\int R\left(\alpha\left(x\right)\mid x\right)p\left(x\right)\mathrm{d}x $$

$ R(a) $称作平均风险或期望风险。最小风险贝叶斯决策就是最小化这一期望风险，即

$$ \operatorname*{m i n}_{\alpha}R(\alpha) $$

在式(2-22)中， $ R(\alpha(x)|x) $ 和 $ p(x) $ 都是非负的，且 $ p(x) $ 是已知的，与决策准则无关。要使积分和最小，就是要对所有 x 都使 $ R(\alpha(x)|x) $ 最小。因此，最小风险贝叶斯决策就是

$$ 若 \;R(\alpha_{i}\mid x)=\min_{i=1,\cdots,k}R(\alpha_{j}\mid x), 则 \;\alpha=\alpha_{i} $$

原书第 39 页

对于一个实际问题，对样本 x，最小风险贝叶斯决策可以按照以下步骤计算：

（1）利用贝叶斯公式计算后验概率

$$ P\left(\omega_{j}\mid x\right)=\frac{p\left(x\mid\omega_{j}\right)P\left(\omega_{j}\right)}{\sum_{i=1}^{c}p\left(x\mid\omega_{i}\right)P\left(\omega_{i}\right)},\quad j=1,\cdots,c $$

注意，与最小错误率贝叶斯决策一样，这里仍然要求先验概率和类条件密度已知。

（2）利用决策表，计算条件风险

$$ R\left(\alpha_{i}\mid x\right)=\sum_{j=1}^{c}\lambda\left(\alpha_{i}\mid\omega_{j}\right)P\left(\omega_{j}\mid x\right),\quad i=1,\cdots,k $$

（3）决策：在各种决策中选择风险最小的决策，即

$$ \alpha=\arg\min_{i=1,\cdots,k}R\left(\alpha_{i}\mid\boldsymbol{x}\right) $$

特别地，在实际是两类且决策也是两类的情况下（没有拒绝），最小风险贝叶斯决策为

$$ 若 \lambda_{11}P\left(\omega_{1}\mid x\right)+\lambda_{12}P\left(\omega_{2}\mid x\right)\leqslant\lambda_{21}P\left(\omega_{1}\mid x\right)+\lambda_{22}P\left(\omega_{2}\mid x\right), 则 x\in\left\{\begin{aligned}\omega_{1}\\ \omega_{2}\end{aligned}\right. $$

其中， $ \lambda_{12}=\lambda(\alpha_{1},\omega_{2}) $ 是把属于第2类的样本分为第1类时的损失， $ \lambda_{21}=\lambda(\alpha_{2},\omega_{1}) $ 是把属于第1类的样本分为第2类时的损失， $ \lambda_{11}=\lambda(\alpha_{1},\omega_{1}) $， $ \lambda_{22}=\lambda(\alpha_{2},\omega_{2}) $ 是决策正确（把第1类决策为第1类和把第2类决策为第2类）时的损失。通常， $ \lambda_{11}=\lambda_{22}=0 $；不失一般性，我们可以假设 $ \lambda_{11}<\lambda_{21},\lambda_{22}<\lambda_{12} $。

把式（2-28）的条件进行整理，可以得到以下几种等价的表达

$$ 若 (\lambda_{11}-\lambda_{21})P(\omega_{1}|x)\leqslant(\lambda_{22}-\lambda_{12})P(\omega_{2}|x), 则 x\in\begin{cases}\omega_{1}\\ \omega_{2}\end{cases} $$

$$ \frac{P\left(\omega_{1}\mid x\right)}{P\left(\omega_{2}\mid x\right)}=\frac{p\left(x\mid\omega_{1}\right)p\left(\omega_{1}\right)}{p\left(x\mid\omega_{2}\right)p\left(\omega_{2}\right)}\geq\frac{\lambda_{22}-\lambda_{12}}{\lambda_{11}-\lambda_{21}}=\frac{\lambda_{12}-\lambda_{22}}{\lambda_{21}-\lambda_{11}}, 则 x\in\left\{\begin{aligned}\omega_{1}\\ \omega_{2}\end{aligned}\right. $$

$$ 若 l(x)=\frac{p(x|\omega_{1})}{p(x|\omega_{2})}\geqslant\frac{P(\omega_{2})}{P(\omega_{1})}\cdot\frac{\lambda_{12}-\lambda_{22}}{\lambda_{21}-\lambda_{11}}, 则 x\in\begin{cases}\omega_{1}\\ \omega_{2}\end{cases} $$

注意，这里利用了 $ \lambda_{12} > \lambda_{22}, \lambda_{21} > \lambda_{11} $ 的条件。与式(2-12)相同，采用式(2-31)的形式进行决策时，可以事先根据先验概率和损失表计算出似然比阈值，对于每一个待分类的样本，只需计算其似然比并与阈值比较即可做出决策。

显然，当 $ \lambda_{11} = \lambda_{22} = 0 $， $ \lambda_{12} = \lambda_{21} = 1 $ 时，最小风险贝叶斯决策就转化成最小错误率贝叶斯决策。可以把最小错误率贝叶斯决策看作是最小风险贝叶斯决策的特例。实际上，在多类情况下，如果采用这种 0-1 决策表，即决策与状态相同则损失为 0、不同则损失为 1，那么最小风险贝叶斯决策也等价于最小错误率贝叶斯决策。

用下面的例子来进一步体会一下最小风险贝叶斯决策与最小错误率贝叶斯决策的不同。

例2.2 在例2.1给出条件的基础上，利用表2-2的决策表，按最小风险贝叶斯决策进行分类。

原书第 40 页

表2-2 例2,2的决策表

| 决策 | 状态 | |

| --- | --- | --- |

| $ \omega_{{1}} $ | $ \omega_{{2}} $ | |

| $ \alpha_{{1}} $ | 0 | 6 |

| $ \alpha_{{2}} $ | 1 | 0 |

解：已知条件为

$$ P(\omega_{1})=0.9,\qquad P(\omega_{2})=0.1 $$

$$ p\left(x\mid\omega_{1}\right)=0,2,\quad p\left(x\mid\omega_{2}\right)=0,4 $$

$$ \lambda_{11}=0,\quad\lambda_{12}=6 $$

$$ \lambda_{21}=1,\quad\lambda_{22}=0 $$

根据例2.1的计算结果可知后验概率为

$$ P\left(\omega_{1}\mid x\right)=0,818,\quad P\left(\omega_{2}\mid x\right)=0,182 $$

再按式(2-26)计算出条件风险

$$ R(\alpha_{1}|x)=\sum_{j=1}^{2}\lambda_{1j}P(\omega_{j}|x)=\lambda_{12}P(\omega_{2}|x)=1.092 $$

$$ R\left(\alpha_{2}\mid x\right)=\lambda_{21}P\left(\omega_{1}\mid x\right)=0.818 $$

由于

$$ R\left(\alpha_{1}\mid\boldsymbol{x}\right)>R\left(\alpha_{2}\mid\boldsymbol{x}\right) $$

即决策为 $ \omega_{2} $ 的条件风险小于决策为 $ \omega_{1} $ 的条件风险，因此我们采取决策行动 $ a_{2} $，即判断待识别的细胞 x 为 $ \omega_{2} $ 类——异常细胞。

可以看到，同样的数据，因为对两类错误所带来的风险的认识不同，这里得出了与例2.1中相反的结论。

需要指出，最小风险贝叶斯决策中的决策表是需要人为确定的，决策表不同会导致决策结果的不同。因此，在实际应用中，需要认真分析所研究问题的内在特点和分类的目的，与应用领域的专家共同设计出适当的决策表，才能保证模式识别发挥有效的作用。

2.4 两类错误率、Neyman-Pearson 决策与 ROC 曲线

下面进一步研究两类情况下的错误率问题。

之所以引入决策表，是因为不同情况的分类错误所带来的损失是不同的。在很多实际的两类问题中，两类并不是同等的。

在医学领域，人们通常用阳性(positive)和阴性(negative)来代表两类，阳性表示某一症状存在，或者检测到某一指标的异常，而阴性则表示所考查的症状不存在或者所监测的指标没有异常。人们在体检时，都希望所有指标都是阴性。在医学研究中，人们把采集的阳性和阴性样本也常常称作正样本和负样本（这两种说法在英文中是一样的），而在流行病学中则经常称为病理样本(case samples)和对照样本(control samples)。

对疾病的诊断就是对阳性和阴性的一个两类决策问题。在不考虑拒绝的情况下，状态

原书第 41 页

和决策之间可能的关系如表2-3所示。

表2-3 状态与决策的可能关系

决策	状态
决策	阳性	阴性
阳性	真阳性(TP)	假阳性(FP)
阴性	假阴性(FN)	真阴性(TN)

这里，真阳性和真阴性都是正确的分类，而错误分类有假阳性(false positive)和假阴性(false negative)两种情况。相应地，所谓错误率就有两种：假阳性率(false positive rate)和假阴性率(false negative rate)，即假阳性样本占总阴性样本的比例和假阴性样本占总阳性样本的比例。

在评价一种检测方法的效果时，人们经常用的两个概念是灵敏度(sensitivity)和特异度(specificity)。如果用TP、TN、FP、FN分别表示某次实验中真阳性、真阴性、假阳性、假阴性样本的个数，灵敏度Sn和特异度Sp的定义分别是

$$ \mathrm{Sn}=\frac{\mathrm{TP}}{\mathrm{TP}+\mathrm{FN}} $$

$$ \mathrm{Sp}=\frac{\mathrm{TN}}{\mathrm{TN}+\mathrm{FP}} $$

即 Sn 表示在真正的阳性样本中有多少比例能被正确检测出来，Sp 表示在真正的阴性样本中有多少比例没有被误判，它们分别表示了所研究的方法能够把阳性样本正确识别出来的能力和把阴性样本正确判断出来的能力。在医学应用的情景下，一种诊断方法灵敏度高表示它能把有病的人都诊断出来，而特异性高则表示它不易把无病的人误诊为有病。

灵敏度和特异性是一对矛盾，因为很显然，如果某种方法把所有来检查的人都说成是有病，那么它不会错过任何一个真正的病人，所以灵敏度是100%，但却把所有健康人也误诊为有病；相反，如果它把所有人都说成无病，那么它自然就不会误诊，特异性为100%，但却把真正的病人漏诊了。我们需要根据疾病的具体情况在两种极端之间取得最佳的平衡。在现实中，这种平衡有时很难取得。例如在2003年春，当“非典”（SARS）开始肆虐时，人们过于大意，一些重要的病例可能被漏诊，导致疾病被传播到更多的人群中；而后期人们充分意识到了这一疾病的严重危害，于是草木皆兵，采用的诊断标准非常灵敏却不足够特异，有效防止了因为漏诊而造成的疾病传播，很快控制住了SARS的蔓延，但也可能使一些无辜的普通感冒患者被误诊而遭受了额外的痛苦。

在统计学中，假阳性又被称作第一类错误（type-I error），假阴性被称作第二类错误（type-II error）。第一类错误率（假阳性率）往往用 $ \alpha $ 表示，指真实的阴性样本中被错误判断为阳性的比例；第二类错误率（假阴性率）则用 $ \beta $ 表示，指真实的阳性样本中被错误判断为阴性的比例。人们还往往把一种方法从真实的阳性样本中识别出阳性的能力称作这种方法的效能（power），其实就是前面定义的灵敏度。显然，我们有

$$ \mathrm{Sn}=1-\beta $$

$$ \mathrm{Sp}=1-\alpha $$

在某些模式识别的文献中，假阳性也被称作误报或虚警（false alarm），假阴性则被称作漏报（missed detection）。例如在用雷达信号识别目标时，我们的任务是从雷达信号中检测

原书第 42 页

出目标。如果把噪声误当作信号就会发生误报，犯第一类错误；而如果把信号当成噪声就发生漏报，犯第二类错误。当然，这种把第一类错误与第二类错误的叫法是由把两类中的哪一类看作是阳性、哪一类看作是阴性决定的，实际应用中需要根据具体的情况决定。在2.3节的最小风险贝叶斯决策中，实际就是通过定义两类错误不同的相对损失来取得二者之间的折中。

基于对分类正确与错误的各种情况的细分，人们还定义了多个用来从不同侧面评估分类效果的指标，其中常用的有：

正确率(accuracy)： $ ACC=\frac{TP+TN}{TP+TN+FP+FN} $，也就是所有样本中被正确分类样本的比例；

召回率(recall): $ \mathrm{Rec}=\mathrm{TP}/(\mathrm{TP}+\mathrm{FN}) $，也就是阳性样本中被正确分类为阳性的比例，即上面定义的灵敏度；

正确率(precision)： $ \mathrm{Pre}=\mathrm{TP}/(\mathrm{TP}+\mathrm{FP}) $，指在分类器判定为阳性的样本中有多少比例是正确判定；

F度量(F-measure): F=2Rec · Pre/(Rec+Pre)，即召回率与正确率的调和平均(harmonic mean)，是对分类器两方面表现的综合评价。

在某些应用中，有时希望保证某一类错误率为一个固定的水平，在此前提下再考虑另一类错误率尽可能低。例如，如果检测出某一目标或者诊断出某种疾病非常重要，可能会要求确保漏报率即第二类错误率达到某一水平 $ \varepsilon_{0} $（例如 0.1%，即灵敏度 99.9%），在此前提下再追求误警率即第一类错误率尽可能低（特异性尽可能高）。如果把 $ \omega_{1} $ 类看成是阴性而把 $ \omega_{2} $ 类看成是阳性，那么根据式(2-16)，第一类错误率是 $ P_{1}(e)=\int_{R_{2}} p(x|\omega_{1})dx $，第二类错误率是 $ P_{2}(e)=\int_{R_{1}} p(x|\omega_{2})dx $，其中 $ R_{1} $、 $ R_{2} $ 分别是第一、二两类的决策域，上面的要求可以表示为

$$ \begin{aligned}&\min P_{1}(e)\\&\text{s.t.}P_{2}(e)-\varepsilon_{0}=0\end{aligned} $$

这就是模式识别中所谓“固定一类错误率、使另一类错误率尽可能小”的决策。

要解这个问题，可以用拉格朗日(Lagrange)乘子法把式(2-36)的有约束极值问题转化为

$$ \min\quad\gamma=P_{1}(e)+\lambda(P_{2}(e)-\varepsilon_{0}) $$

其中 $ \lambda $ 是拉格朗日乘子，最小值是关于两类的分界面求解的。设 $ R_{1} $、 $ R_{2} $ 分别是两类的决策区域，R 是整个特征空间， $ R_{1}+R_{2}=R $，两个决策区域之间的边界称作决策边界或分界面（点）t。考虑到概率密度函数的性质，有

$$ \int_{R_{2}}p\left(x\mid\omega_{1}\right)\mathrm{d}x=1-\int_{R_{1}}p\left(x\mid\omega_{1}\right)\mathrm{d}x $$

将式(2-16)代入式(2-37)中并考虑到式(2-38)，可以得到

$$ \begin{aligned}\gamma=&\int_{R_{2}}p\left(x\mid\omega_{1}\right)\mathrm{d}x+\lambda\left[\int_{R_{1}}p\left(x\mid\omega_{2}\right)\mathrm{d}x-\varepsilon_{0}\right]\\=&(1-\lambda\varepsilon_{0})+\int_{R_{1}}\left[\lambda p\left(x\mid\omega_{2}\right)-p\left(x\mid\omega_{1}\right)\right]\mathrm{d}x\end{aligned} $$

原书第 43 页

优化的目标是求解使式(2-39)最小的决策边界 t。将式(2-39)分别对 $ \lambda $ 和分界面 t 求导，在 $ \gamma $ 的极值处这两个导数都应该为 0。由此可得，在决策边界上应该满足

$$ \lambda=\frac{p\left(x\mid\omega_{1}\right)}{p\left(x\mid\omega_{2}\right)} $$

而这个决策边界应该使

$$ \int_{R_{1}}p(x|\omega_{2})\mathrm{d}x=\varepsilon_{0} $$

在式(2-39)中，要使 $ \gamma $最小，应选择 $ R_{1} $使积分项内全为负值（否则可通过把这部分非负的区域划出 $ R_{1} $而使 $ \gamma $更小），因此 $ R_{1} $应该是所有使

$$ \lambda p(x\mid\omega_{2})-p(x\mid\omega_{1})<0 $$

成立的 x 组成的区域。所以，决策规则是

$$ 若 l(x)=\frac{p(x\mid\omega_{1})}{p(x\mid\omega_{2})}\gtrless\lambda,\quad 则 x\in\begin{cases}\omega_{1}\\ \omega_{2}\end{cases} $$

其中 $ \lambda $ 是使决策区域满足式(2-41)的一个阈值。这种在限定一类错误率为常数而使另一类错误率最小的决策规则称作 Neyman-Pearson 决策规则。

一般来说，使式(2-41)满足的 $ \lambda $很难求得封闭解，需要用数值方法求解。可以用似然比密度函数来确定 $ \lambda $值。似然比为 $ l(x)=p(x|\omega_{1})/p(x|\omega_{2}) $，似然比密度函数为 $ p(l|\omega_{2}) $，式(2-41)可变为

$$ P_{2}(e)=1-\int_{0}^{\lambda}p\left(l\left|\omega_{2}\right.\right)\mathrm{d}l=\varepsilon_{0} $$

由于 $ p(l|\omega_{2}) \geqslant 0 $, $ P_{2}(e) $ 是 $ \lambda $ 的单调函数，即当 $ \lambda $ 增加时 $ P_{2}(e) $ 将逐渐减小，当 $ \lambda = 0 $ 时， $ P_{2}(e) = 1 $，当 $ \lambda \to \infty $，则 $ P_{2}(e) \to 0 $，因此，在采用试探法对几个不同的 $ \lambda $ 值计算出 $ P_{2}(e) $ 后，总可以找到一个合适的 $ \lambda $ 值，它刚好能满足 $ P_{2}(e) = \varepsilon_{0} $ 的条件，又能使 $ P_{1}(e) $ 尽可能小。

我们再来看式(2-12)、式(2-31)和式(2-43)的决策规则。不难发现，三者的区别只是在于决策阈值的不同，采用不同的阈值，就能达到错误率的不同情况：采用式(2-12)的先验概率比作阈值，达到总的错误率最小，即两类错误率之加权和最小；在式(2-31)的阈值中考虑了对两类错误率不同的惩罚，实现风险最小；而式(2-43)中则是通过调整阈值，使一类的错误率为指定数值，而另一类的错误率求最小。

实际上，通过采用不同的阈值，可以使第一类错误率和第二类错误率连续变化。如果把灵敏度Sn即真阳性率 $ (1-P_{1}(e)) $作为纵坐标，把假阳性率 $ (1-Sp_{2}(e)) $作为横坐标，可以用如图2-5所示的曲线来反映随着阈值的变化两类错误率的变化情况。

图 2-5 的曲线称作 ROC 曲线。ROC 是 Receiver Operating Characteristic 的缩写，这一名字是“二战”期间用于表示信号检测特性时创造的，现在人们通常就称之为 ROC 曲线而不用其原始的全名。随着调整决策的阈值，决策规则在一个极端情况下可以

图 2-5 ROC 曲线

原书第 44 页

把所有样本都判断为阴性，此时假阳性率为0，真阳性率也为0，在ROC曲线图上就是(0,0)点；在另一个极端情况下，如果所有样本都被判断为阳性，那么真阳性率为1，而假阳性率也成为1，对应ROC图上的右上角(1,1)点。每确定一个阈值就决定了决策的真、假阳性率，对应图中曲线上的一个点，例如(0.1,0.7)点表示在某一阈值下假阳性为10%时真阳性为70%。

在类条件概率密度已知的情况下，我们可以用式(2-16)求得不同似然比阈值情况下的两类错误率，画出ROC曲线，然后根据对两类错误率或对灵敏度和特异度的要求确定曲线上某一适当的工作点，依此确定似然比阈值。

ROC 曲线还经常被用来比较两种分类判别方法的性能和被用来作为特征与类别相关性的度量。

对于一个决策方法，人们总是希望其真阳性率高、假阳性率低。如果某种方法的真阳性率总是等于其假阳性率，那么就没有任何应用价值，这就对应于 ROC 曲线中的对角线。任何分类方法或检测方法，其 ROC 曲线都必须在对角线左上方才可能有实际价值。ROC 曲线越靠近左上角，说明方法性能越好。因此，人们经常用 ROC 曲线来全面地评价一种分类方法或比较两种分类方法的优劣，这比在固定某个阈值下单纯比较两种方法的错误率指标要更全面。

为了方便比较 ROC 曲线，人们发现可以用曲线下的（相对）面积即 AUC（area under ROC curves）来定量地衡量方法的性能。对角线的 AUC 是 0.5，没有任何分类能力；最理想的情况是 ROC 沿纵轴到（0，1）点后再沿水平直线到（1，1）点，此时 AUC=1。用 AUC 可以定量地比较两种不同的方法。从整体上看，AUC 越接近 1.0，方法的性能越好。

除了可以用来比较不同的分类决策方法，ROC 曲线和 AUC 还可以用来评价和选择与分类有关的特征，即通过设定不同的阈值画出单独用一个特征作为指标划分两类时的 ROC 曲线，计算 AUC 并通过比较不同特征间的 AUC 来得知哪个特征包含更多的分类信息。

2.5 正态分布时的统计决策

在统计决策理论中，类条件概率密度函数 $ p(x \mid \omega_{i}) $ 起着重要的作用。在这一节中，我们来看在概率密度是正态分布下统计决策的一些具体结论。

正态分布也称作高斯分布，是人们研究最多的分布之一。人们之所以对正态分布特别感兴趣，一是因为客观世界中很多随机变量都服从或近似服从正态分布，对很多数据都可以做出正态分布的假设；二是正态分布在数学上具有很多好的性质，十分有利于数学分析。

2.5.1 正态分布及其性质回顾

1. 单变量正态分布

单变量正态分布概率密度函数定义为

$$ p\left(x\right)=\frac{1}{\sqrt{2\pi}\sigma}\exp\left\{-\frac{1}{2}\left(\frac{x-\mu}{\sigma}\right)^{2}\right\} $$

原书第 45 页

式中， $ \mu $ 为随机变量 x 的期望， $ \sigma^{2} $ 为 x 的方差， $ \sigma $ 称为标准差。

$$ \mu=E\{x\}=\int_{-\infty}^{\infty}xp(x)\mathrm{d}x $$

$$ \sigma^{2}=\int_{-\infty}^{\infty}(x-\mu)^{2}p(x)\mathrm{d}x $$

由式(2-45)描述的正态分布概率密度函数 $ p(x) $ 如图2-6所示。

图2-6 正态分布概率密度函数

单变量正态分布概率密度函数 $ p(x) $ 由两个参数 $ \mu $ 和 $ \sigma^{2} $ 就可以完全确定。为简单起见，我们常记 $ p(x) $ 为 $ N(\mu, \sigma^{2}) $，用来表示 x 是以均值 $ \mu $ 和方差 $ \sigma^{2} $ 所构成的正态分布的随机变量。正态分布的样本主要都集中在均值附近，其分散程度可以用标准差来表征， $ \sigma $ 越大分散程度也越大。从正态分布的总体中抽取样本，约有 95% 的样本都落在区间 $ (\mu - 2\sigma, \mu + 2\sigma) $ （或写作 $ |x - \mu| < 2\sigma $）中。

2. 多元正态分布

（1）多元正态分布的概率密度函数。多元正态分布的概率密度函数定义为

$$ p\left(x\right)=\frac{1}{\left(2\pi\right)^{d/2}\left\vert\boldsymbol{\Sigma}\right\vert^{\frac{1}{2}}}\mathrm{e x p}\left\{-\frac{1}{2}(\boldsymbol{x}-\boldsymbol{\mu})^{\mathrm{T}}\boldsymbol{\Sigma}^{-1}\left(\boldsymbol{x}-\boldsymbol{\mu}\right)\right\} $$

式中， $ x=\left[x_{1},x_{2},\cdots,x_{d}\right]^{\mathrm{T}} $ 是 d 维列向量；

$ \mu = [\mu_1, \mu_2, \cdots, \mu_d]^{\mathrm{T}} $ 是 d 维均值向量；

$ \Sigma $ 是 $ d \times d $ 维协方差矩阵， $ \Sigma^{-1} $ 是 $ \Sigma $ 的逆矩阵， $ |\Sigma| $ 是 $ \Sigma $ 的行列式。

向量 $ (x-\mu)^{\mathrm{T}} $是向量 $ (x-\mu) $的转置，且

$$ \mu=E\{x\} $$

$$ \mathbf{\Sigma}=E\{(x-\mu)\left(x-\mu\right)^{\mathrm{T}}\} $$

$ \mu,\Sigma $ 分别是向量 x 和矩阵 $ (x-\mu)(x-\mu)^{\mathrm{T}} $ 的期望，更具体地说，若 $ x_{i} $ 是 x 的第 i 个分量， $ \mu_{i} $ 是 $ \mu $ 的第 i 个分量， $ \sigma_{ij} $ 是 $ \Sigma $ 的第 i, j 个元素，则

$$ \mu_{i}=E\left\{x_{i}\right\}=\int_{E^{d}}x_{i}p\left(x\right)\mathrm{d}x=-\int_{-\infty}^{\infty}x_{i}p\left(x_{i}\right)\mathrm{d}x_{i} $$

其中 $ p(x_{i}) $ 为边缘分布

$$ p\left(x_{i}\right)=\int_{-\infty}^{\infty}\cdots\int_{-\infty}^{\infty}p\left(x\right)\mathrm{d}x_{1}\mathrm{d}x_{2}\cdots\mathrm{d}x_{i-1}\mathrm{d}x_{i+1}\cdots\mathrm{d}x_{d} $$

原书第 46 页

而

$$ \begin{align*}\sigma_{ij}=&E\left\{(x_{i}-\mu_{i})(x_{j}-\mu_{j})\right\}\\=&\int_{-\infty}^{\infty}\cdots\int_{-\infty}^{\infty}(x_{i}-\mu_{i})(x_{j}-\mu_{j})p(x_{i},x_{j})\mathrm{d}x_{i}\mathrm{d}x_{j}\end{align*} $$

不难证明，协方差矩阵总是对称非负定阵，且可表示为

$$ \mathbf{\Sigma}=\left[\begin{matrix}{\sigma_{11}}&{\sigma_{12}}&{\cdots}&{\sigma_{1d}}\\ {}&{}&{}&{}\\ {\sigma_{12}}&{\sigma_{22}}&{\cdots}&{\sigma_{2d}}\\ {\vdots}&{\vdots}&{\ddots}&{\vdots}\\ {}&{}&{}&{}\\ {\sigma_{1d}}&{\sigma_{2d}}&{\cdots}&{\sigma_{d d}}\\ \end{matrix}\right] $$

$ x_{i} $ 的方差就是对角线上的元素 $ \sigma_{ii} = \sigma_{i}^{2} $，非对角线上的元素 $ \sigma_{ij} $ 为 $ x_{i} $ 和 $ x_{j} $ 的协方差，这里只考虑 $ \Sigma $ 为正定阵的情况，即 $ \left|\Sigma\right| > 0 $。

（2）多元正态分布的性质。多元正态分布有不少易于分析的性质，这里仅对其中几个最常用的性质予以说明。

① 参数 $ \mu $ 和 $ \Sigma $ 对分布的决定性

多元正态分布被均值向量 $ \mu $ 和协方差矩阵 $ \Sigma $ 所完全确定。由式(2-49)和式(2-50)可见，均值向量 $ \mu $ 由 d 个分量组成，协方差矩阵 $ \Sigma $ 是对称阵，其独元素只有 $ d(d+1)/2 $ 个，所以，多元正态分布是由 $ d+d(d+1)/2 $ 个参数所完全确定。为简单起见，多元正态分布概率密度函数常记为 $ p(x) \sim N(\mu, \Sigma) $。

② 等密度点的轨迹为一超椭球面

从正态分布总体中抽取的样本大部分落在由 $ \mu $ 和 $ \Sigma $ 所确定的一个区域中，如图 2-7 所示。这个区域的中心由均值向量 $ \mu $ 决定，区域的大小由协方差矩阵 $ \Sigma $ 决定。从多元正态概率密度函数式 (2-48) 可以看出，当指数项为常数时，密度 $ p(x) $ 值不变，因此等密度点应是使式 (2-48) 的指数项为常数的点，即应满足

$$ \left(x-\mu\right)^{\mathrm{T}}\boldsymbol{\Sigma}^{-1}\left(x-\mu\right)= 常数 $$

可以证明式(2-55)的解是一个超椭球面，且它的主轴方向由 $ \Sigma $阵的本征向量所决定，主轴的长度与相应的协方差矩阵 $ \Sigma $的本征值成正比。

图 2-7 正态分布的等密度点的轨迹为超椭球面

在数理统计中，式(2-55)所表示的数量

$$ \boldsymbol{\gamma}^{2}=(x-\mu)^{\mathrm{T}}\boldsymbol{\Sigma}^{-1}(x-\mu) $$

原书第 47 页

称为由 x 到 $ \mu $ 的 Mahalanobis 距离（马氏距离）的平方。所以等密度点轨迹是由 x 到 $ \mu $ 的 Mahalanobis 距离为常数的超椭球面。这个超椭球体大小是样本对于均值向量的离散度量。可以推算出，对应于 Mahalanobis 距离为 $ \gamma $ 的超椭球体积是

$$ V=V_{d}\;|\pmb{\Sigma}|\;^{\frac{1}{2}}\gamma^{d} $$

其中 $ V_{d} $是d维单位超球体的体积，

$$ V_{d}=\left\{\begin{aligned}&\frac{\pi^{d/2}}{\left(\frac{d}{2}\right)!},&d 为偶数 \\ &\frac{2^{d}\pi^{(d-1)/2}\left(\frac{d-1}{2}\right)!}{d!},&d 为奇数 \end{aligned}\right. $$

所以，对于给定的维数，样本离散度直接随 $ \left|\Sigma\right|^{\frac{1}{2}} $而变。

③ 不相关性等价于独立性

在数理统计中，一般来说，若两个随机变量 $ x_{i} $ 和 $ x_{j} $ 之间不相关，并不意味着它们之间一定独立。下面给出不相关与独立的定义。

若

$$ E\left\{x_{i}x_{j}\right\}=E\left\{x_{i}\right\}\cdot E\left\{x_{j}\right\} $$

则定义随机变量 $ x_{i} $ 和 $ x_{j} $ 是不相关的。

若

$$ p\left\{x_{i}x_{j}\right\}=p\left\{x_{i}\right\}p\left\{x_{j}\right\} $$

则定义随机变量 $ x_{i} $ 和 $ x_{j} $

从它们的定义中可以看出独立性是比不相关性更强的条件，独立性要求式(2-60)对于所有 $ x_{i} $和 $ x_{j} $都成立，而不相关性说的是两个随机变量的积的期望等于两个随机变量的期望的积，它反映了 $ x_{i} $与 $ x_{j} $总体的性质。若 $ x_{i} $和 $ x_{j} $相互独立，则它们之间一定不相关；反之则不一定成立。

对多元正态分布的任意两个分量 $ x_{i} $ 和 $ x_{j} $ 而言，若 $ x_{i} $ 和 $ x_{j} $ 互不相关，则它们之间一定独立。这就是说，在正态分布中不相关性等价于独立性。

推论：如果多元正态随机向量 $ x = [x_1, \cdots, x_d]^{\mathrm{T}} $ 的协方差阵是对角阵，则 x 的分量是相互独立的正态分布随机变量。

④ 边缘分布和条件分布的正态性

多元正态分布的边缘分布和条件分布仍然是正态分布。对均值为 $ [\mu_{1},\mu_{2}]^{\mathrm{T}} $、协方差矩阵为 $ \Sigma=\begin{bmatrix}\sigma_{11}^{2}&\sigma_{12}^{2}\\ \sigma_{21}^{2}&\sigma_{22}^{2}\end{bmatrix} $ 的二元正态向量 $ [x_{1},x_{2}]^{\mathrm{T}} $，有

$$ p(x_{1})\sim N(\mu_{1},\sigma_{11}^{2}) $$

$$ p(x_{2})\sim N(\mu_{1},\sigma_{22}^{2}) $$

而在给定 $ x_{1} $ 情况下 $ x_{2} $ 的条件分布和给定 $ x_{2} $ 情况下 $ x_{1} $ 的条件分布也都是正态分布。

⑤ 线性变换的正态性

多元正态随机向量的线性变换仍为多元正态分布的随机向量。即，设

原书第 48 页

$$ \boldsymbol{x}=[\boldsymbol{x}_{1},\boldsymbol{x}_{2},\cdots,\boldsymbol{x}_{d}]^{\mathrm{T}},\quad\boldsymbol{x}\in E^{d} $$

是具有均值向量为 $ \mu $、正定协方差矩阵为 $ \Sigma $的正态随机向量，若对x作线性变换，即

$$ y=A x $$

其中 A 是线性变换矩阵，且是非奇异的，则 y 服从以均值向量为 $ A\mu $，协方差矩阵为 $ A\Sigma A^{T} $ 的多元正态分布，即

$$ \begin{array}{r}{p(\mathbf{y})\sim\mathbb{N}(A\mu\mathrm{~,}A\boldsymbol{\Sigma}A^{\mathrm{T}})}\end{array} $$

根据线性变换的正态性可以说明，用非奇异阵 $ A $ 对 $ x $ 作线性变换后，原来的正态分布正好变成另一参数不同的正态分布。由于 $ \Sigma $ 是对称阵，根据线性代数知识，总可以找到某个 $ A $，使变换后 $ y $ 的协方差阵 $ A\Sigma A^T $ 为对角阵，这就意味着 $ y $ 的各个分量间是相互独立的（正态分布性质③的推论），也就是说，总可以找到一组坐标系，使各随机变量在新的坐标系中是独立的。这一性质对解决某些模式识别问题有着重要意义。

⑥ 线性组合的正态性

若 x 为多元正态随机向量，则线性组合 $ y = \alpha^{T} x $ 是一维的正态随机变量

$$ p(y)\sim N(\boldsymbol{\alpha}^{\mathrm{T}}\boldsymbol{\mu},\boldsymbol{\alpha}^{\mathrm{T}}\boldsymbol{\Sigma}\boldsymbol{\alpha}) $$

其中 $ \alpha $是与x同维的向量。

2.5.2 正态分布概率模型下的最小错误率贝叶斯决策

根据2.2节中给出的最小错误率贝叶斯判别函数和决策面的有关公式，在多元正态概率型 $ (b(x|_{\omega_i}) \sim N(\mu_i, \Sigma_i), i=1,\cdots,c) $下就可以立即写出其相应的表达式。判别函数为

$$ g_{i}\left(x\right)=-\frac{1}{2}\left(x-\mu_{i}\right)^{\mathrm{T}}\boldsymbol{\Sigma}_{i}^{-1}\left(x-\mu_{i}\right)-\frac{d}{2}\ln2\pi-\frac{1}{2}\ln\left|\boldsymbol{\Sigma}_{i}\right|+\ln P\left(\omega_{i}\right) $$

决策面方程为

$$ g_{i}(x)=g_{j}(x) $$

即

$$ -\frac{1}{2}[(\boldsymbol{x}-\boldsymbol{\mu}_{i})^{\mathrm{T}}\boldsymbol{\Sigma}_{i}^{-1}(\boldsymbol{x}-\boldsymbol{\mu}_{i})-(\boldsymbol{x}-\boldsymbol{\mu}_{j})^{\mathrm{T}}\boldsymbol{\Sigma}_{j}^{-1}(\boldsymbol{x}-\boldsymbol{\mu}_{j})]-\frac{1}{2}\ln\frac{|\boldsymbol{\Sigma}_{i}|}{|\boldsymbol{\Sigma}_{j}|}+\ln\frac{P(\omega_{i})}{P(\omega_{j})}=0 $$

为了进一步理解多元正态概率下的判别函数和决策面，下面对一些特殊情况进行讨论。

1. 第一种情况： $ \Sigma_{i}=\sigma^{2}I,i=1,2,\cdots,c $

这种情况中每类的协方差矩阵都相等，而且类内各特征间相互独立，具有相等的方差 $ \sigma^{2} $。下面再分两种情况讨论。

（1）先验概率 $ P(\omega_{i}) $ 与 $ P(\omega_{j}) $ 不相等

此时各类的协方差矩阵为

$$ \mathbf{\Sigma}_{i}=\left[\begin{matrix}{\sigma^{2}}&{\cdots}&{0}\\ {\vdots}&{\ddots}&{\vdots}\\ {0}&{\cdots}&{\sigma^{2}}\\ \end{matrix}\right] $$

原书第 49 页

从几何上看，相当于各类样本落入以 $ \mu_{i} $为中心的同样大小的一些超球体内。由于

$$ |\mathbf{\Sigma}_{i}|=\sigma^{2d} $$

$$ \mathbf{\Sigma}_{i}^{-1}{=}\frac{1}{\sigma^{2}}I $$

将式(2-69)和式(2-70)代入式(2-66)就得出其判别函数

$$ g_{i}(x)=-\frac{(x-\mu_{i})^{\mathrm{T}}(x-\mu_{i})}{2\sigma^{2}}-\frac{d}{2}\ln2\pi-\frac{1}{2}\ln\sigma^{2d}+\ln P(\omega_{i}) $$

由于上式中的第二、三项与类别 i 无关，故可忽略，并将 $ g_{i}(x) $ 简化为

$$ \mathbf{g}_{i}(\boldsymbol{x})=-\frac{1}{2\sigma^{2}}(\boldsymbol{x}-\boldsymbol{\mu}_{i})^{\mathrm{T}}(\boldsymbol{x}-\boldsymbol{\mu}_{i})+\ln P\left(\omega_{i}\right) $$

式中

$$ (x-\mu_{i})^{\mathrm{T}}(x-\mu_{i})=\parallel x-\mu_{i}\parallel^{2}=\sum_{j=1}^{d}(x_{j}-\mu_{ij})^{2},\quad i=1,\cdots,c $$

为由 x 到类 $ \omega_{i} $ 的均值向量 $ \mu_{i} $ 的欧氏距离的平方。

$$ (2)P(\omega_{i})=P(\omega_{j}) $$

若 c 类的先验概率 $ P(\omega_{i}), i=1,\cdots,c $ 都相等，则可忽略式（2-72）中的 $ \ln P(\omega_{i}) $ 项，使最

小错误率贝叶斯决策规则表达得相当简单：若要对样本 x 进行分类，只要计算 x 到各类的均值向量 $ \mu_{i} $ 的欧氏距离平方 $ \|x-\mu_{i}\|^{2} $，然后把 x 归于具有 $ \min_{i=1,\cdots,c}\|x-\mu_{i}\|^{2} $ 的类。这种分类器称为最小距离分类器，如图 2-8 所示。

对于以上第一种情况，判别函数 $ g_{i}(x) $ 还可进一步简化为

图 2-8 最小距离分类器

$$ \boldsymbol{g}_{i}\left(\boldsymbol{x}\right)=-\frac{1}{2\sigma^{2}}(\boldsymbol{x}-\boldsymbol{\mu}_{i})^{\mathrm{T}}(\boldsymbol{x}-\boldsymbol{\mu}_{i})+\ln P\left(\omega_{i}\right) $$

式(2-74)是 x 的二次函数，但 $ x^{T}x $ 与 i 无关，故可以忽略，则判别函数为

$$ g_{i}\left(x\right)=-\frac{1}{2\sigma^{2}}(-2\boldsymbol{\mu}_{i}^{\mathrm{T}}\boldsymbol{x}+\boldsymbol{\mu}_{i}^{\mathrm{T}}\boldsymbol{\mu}_{i})+\ln P\left(\omega_{i}\right)=w_{i}^{\mathrm{T}}\boldsymbol{x}+\omega_{i0} $$

其中

$$ w_{i}=\frac{1}{\sigma^{2}}\mu_{i} $$

$$ \omega_{i0}=-\frac{1}{2\sigma^{2}}\boldsymbol{\mu}_{i}^{\mathrm{T}}\boldsymbol{\mu}_{i}+\ln P(\omega_{i}) $$

决策规则就是要求对某个待分类的 x，分别计算 $ g_{i}(x), i=1,\cdots,c $

$$ 若 g_{k}(x)=\max_{i}g_{i}(x), 则决策 x\in\omega_{i}。 $$

由式(2-75)可以看出，判别函数 $ g_{i}(x) $是x的线性函数。判别函数为线性函数的分类器称为线性分类器。有关线性分类器的问题在第5章“线性判别函数”中还要做详细讨论。这里只强调线性分类器的决策面是由线性方程

$$ g_{i}\left(x\right)-g_{j}\left(x\right)=0 $$

所确定的一个超平面（如果决策域 $ \mathcal{R}_{i} $ 与 $ \mathcal{R}_{j} $ 毗邻）。

原书第 50 页

在 $ \Sigma_{i}=\sigma^{2}I $的特殊情况下，这个方程可改写为

$$ \boldsymbol{w}^{\mathrm{T}}(\boldsymbol{x}-\boldsymbol{x}_{0})=0 $$

其中

$$ w=\mu_{i}-\mu_{j} $$

$$ x_{0}=\frac{1}{2}(\mu_{i}+\mu_{j})-\frac{\sigma^{2}}{\|\mu_{i}-\mu_{j}\|^{2}}\ln\frac{P(\omega_{i})}{P(\omega_{j})}(\mu_{i}-\mu_{j}) $$

满足式(2-79)的 x 的轨迹构成了 $ \omega_{i} $ 与 $ \omega_{j} $ 类间的决策面，它是一个超平面。当 $ P(\omega_{i}) = P(\omega_{j}) $ 时，超平面通过 $ \mu_{i} $ 与 $ \mu_{j} $ 连线中点并与连线正交，参见图2-9。

(a)两类情况

(b) 多类情况

图 2-9 正态分布且 $ P(\omega_{i}) = P(\omega_{j}) $, $ \sum_{i} = \sigma^{2} I $ 时的决策面

如果 $ P(\omega_{i}), i=1,\cdots,c $ 不相等，可得

$$ g_{i}(x)=-\frac{1}{2\sigma^{2}}(x-\mu_{i})^{\mathrm{T}}(x-\mu_{i})+\ln P(\omega_{i}) $$

再略去与 i 无关的项 $ x^{T}x $，整理可得线性判别函数

$$ g_{i}\left(x\right)=w_{i}^{\mathrm{T}}x+b_{i} $$

其中

$$ w_{i}=\frac{1}{\sigma^{2}}\mu_{i} $$

$$ b_{i}=-\frac{1}{2\sigma^{2}}\boldsymbol{\mu}_{i}^{\mathrm{T}}\boldsymbol{\mu}_{i}+\ln P(\omega_{i}) $$

所以，决策面与先验概率相等时的决策面平行，只是向先验概率小的方向偏移，即先验概率大的一类要占据更大的决策空间。

2. 第二种情况： $ \Sigma_{i}=\Sigma $

这也是一种比较简单的情况，它表示各类的协方差矩阵都相等，从几何上看，相当于各类样本集中于以该类均值 $ \mu_{i} $点为中心的同样大小和形状的超椭球内。

由 $ \Sigma_{1}=\Sigma_{2}=\cdots=\Sigma_{c}=\Sigma $ ，即 $ \Sigma $ 与i无关，所以，其判别函数式(2-66)可简化为

$$ g_{i}(\boldsymbol{x})=-\frac{1}{2}(\boldsymbol{x}-\boldsymbol{\mu}_{i})^{\mathrm{T}}\boldsymbol{\Sigma}^{-1}(\boldsymbol{x}-\boldsymbol{\mu}_{i})+\ln P(\omega_{i}) $$

若 c 类先验概率都相等，则判别函数可进一步简化为

$$ g_{i}(\boldsymbol{x})=\gamma^{2}=(\boldsymbol{x}-\boldsymbol{\mu}_{i})^{\mathrm{T}}\boldsymbol{\Sigma}^{-1}(\boldsymbol{x}-\boldsymbol{\mu}_{i}) $$

原书第 51 页

这时决策规则为：为了对样本 x 进行分类，只要计算出 x 到每类的均值点 $ \mu_{i} $ 的 Mahalanobis 距离平方 $ \gamma^{2} $，最后把 x 归于 $ \gamma^{2} $ 最小的类别。

将式(2-81)展开，忽略与 i 无关的 $ x^{T}\Sigma^{-1}x $ 项，则判别函数可写成下面的形式

$$ g_{i}\left(\boldsymbol{x}\right)=\boldsymbol{w}_{i}^{\mathrm{T}}\boldsymbol{x}+\boldsymbol{\omega}_{i0} $$

其中

$$ w_{i}=\mathbf{\Sigma}^{-1}\mathbf{\mu}_{i} $$

$$ \omega_{i0}=-\frac{1}{2}\boldsymbol{\mu}_{i}^{\mathrm{T}}\boldsymbol{\Sigma}^{-1}\boldsymbol{\mu}_{i}+\ln P\left(\omega_{i}\right) $$

由式(2-83)可见，它也是x的线性判别函数，因此决策面仍是一个超平面，如果决策域 $ R_{i} $和 $ R_{i} $毗邻，则决策面方程应满足

$$ g_{i}(x)-g_{j}(x)=0 $$

即

$$ \boldsymbol{w}^{\mathrm{T}}(\boldsymbol{x}-\boldsymbol{x}_{0})=0 $$

其中

$$ w=\mathbf{\Sigma}^{-1}(\mu_{i}-\mu_{j}) $$

$$ x_{0}=\frac{1}{2}(\mu_{i}+\mu_{j})-\frac{\sum\overline{P(\omega_{j})}}{(\mu_{i}-\mu_{j})^{\mathrm{T}}\Sigma^{-1}(\mu_{i}-\mu_{j})}(\mu_{i}-\mu_{j}) $$

由式(2-87)可见, $ w=\boldsymbol{\Sigma}^{-1}(\boldsymbol{\mu}_{i}-\boldsymbol{\mu}_{j}) $通常不在 $ (\mu_{i}-\mu_{j}) $方向, $ (x-x_{0}) $为通过 $ x_{0} $点的向量。w与 $ (x-x_{0}) $的点积为零表示 $ (x-x_{0}) $与w正交，所以决策面通过 $ x_{0} $点，但不与 $ (\mu_{i}-\mu_{j}) $正交。

若各类的先验概率相等，则式(2-88)为

$$ x_{0}=\frac{1}{2}(\mu_{i}+\mu_{j}) $$

此时 $ x_{0} $ 点为 $ \mu_{i} $ 与 $ \mu_{j} $ 连线的中点，根据前面的讨论，决策面应通过这一点，如图 2-10 所示。若先验概率不相等， $ x_{0} $ 就不在 $ \mu_{i} $ 与 $ \mu_{j} $ 连线的中点

上，而是在连线上向先验概率小的均值点偏移。

在两类情况下，决策面方程是 $ w^{T}x + \omega_{0} = 0 $，其中

$$ \boldsymbol{w}=\boldsymbol{\Sigma}^{-1}(\boldsymbol{\mu}_{1}-\boldsymbol{\mu}_{2}) $$

$$ \omega_{0}=-\frac{1}{2}(\boldsymbol{\mu}_{1}+\boldsymbol{\mu}_{2})^{\mathrm{T}}\boldsymbol{\Sigma}^{-1}(\boldsymbol{\mu}_{1}-\boldsymbol{\mu}_{2})-\ln\frac{P(\omega_{2})}{P(\omega_{1})} $$

3. 第三种情况：各类的协方差阵不相等

图2-10 正态分布且 $ P(\omega_{i})=P(\omega_{j}) $ $ \Sigma_{i}=\Sigma_{j} $ 时的决策面

这是多元正态分布的一般情况，即

$$ \mathbf{\Sigma}_{i}\neq\mathbf{\Sigma}_{j},\quad i,j=1,2,\cdots,c\quad(2-90) $$

判别函数式(2-66)只有第二项 $ \frac{d}{2}\ln2\pi $与i无关，可忽略，简化后得

$$ g_{i}(\boldsymbol{x})=-\frac{1}{2}(\boldsymbol{x}-\boldsymbol{\mu}_{i})^{\mathrm{T}}\boldsymbol{\Sigma}_{i}^{-1}(\boldsymbol{x}-\boldsymbol{\mu}_{i})-\frac{1}{2}\ln|\boldsymbol{\Sigma}_{i}|+\ln P(\omega_{i}) $$

原书第 52 页

$$ =x^{\mathrm{T}}W_{i}x+w_{i}^{\mathrm{T}}x+\omega_{i0} $$

其中

$$ W_{i}=-\frac{1}{2}\boldsymbol{\Sigma}_{i}^{-1}\qquad(d\times d 矩阵 ) $$

$$ w_{i}=\boldsymbol{\Sigma}_{i}^{-1}\boldsymbol{\mu}_{i}\qquad(d 维列向量 ) $$

$$ \omega_{i0}=-\frac{1}{2}\boldsymbol{\mu}_{i}^{\mathrm{T}}\boldsymbol{\Sigma}_{i}^{-1}\boldsymbol{\mu}_{i}-\frac{1}{2}\mathrm{l n}|\boldsymbol{\Sigma}_{i}|+\mathrm{l n}P\left(\omega_{i}\right) $$

这时判别函数式(2-91)将 $ g_{i}(x) $表示为x的二次型。若决策域 $ \mathcal{R}_{i} $与 $ \mathcal{R}_{j} $毗邻，则决策面应满足

$$ g_{i}\left(x\right)-g_{j}\left(x\right)=0 $$

即

$$ \mathbf{x}^{\mathrm{T}}(W_{i}-W_{j})\mathbf{x}+(w_{i}-w_{j})^{\mathrm{T}}\mathbf{x}+\omega_{i0}-\omega_{j0}=0 $$

由式(2-95)所决定的决策面为超二次曲面，随着 $ \sum_{i}\mu_{i} $， $ P(\omega_{i}) $的不同而呈现为某种超二次曲面，即超球面、超椭球面、超抛体面、超双曲面或超平面。图2-11示出了在二元正态情况下决策面的形式，在图2-11(a)～(e)五种形式中，变量 $ x_{1} $和 $ x_{2} $是类条件独立的，所以协方差矩阵为对角阵。如果再假定各先验概率相等，那么不同的决策面只是由于方差项的差异而引起的。

(a) 圆

(b) 椭圆

(d) 双曲线

(e) 直线

图 2-11 正态分布下的几种决策面形式

图中以标号1,2的等概率密度轮廓线来表征相应类别的方差，在图2-11(a)中， $ p(x|\omega_2) $的方差比 $ p(x|\omega_1) $小。因此来自类 $ \omega_2 $的样本更加可能在该类的均值附近找到，同时由于圆的对称性，决策面是包围着 $ \mu_2 $的一个圆。若把 $ x_2 $轴伸展，如图2-11(b)所示，此时决策面就伸展为一个椭圆。在图2-11(c)中两类的密度在 $ x_1 $方向上具有相同的方差，但在 $ x_2 $方向上 $ p(x|\omega_1) $的方差比 $ p(x|\omega_2) $的方差大，这时 $ x_2 $值大的样本可能是来自类 $ \omega_1 $并且决策面为一抛物线。若对 $ p(x|\omega_2) $在 $ x_1 $方向上加大其方差，如图2-11(d)所示，则决策面就变为双曲

原书第 53 页

线。最后在图2-11(e)中示出了特殊的对称性情况，使决策面由双曲线退化为一对直线。

2.6 错误率的计算

对观察样本进行分类是模式识别的目的之一。在分类过程中任何一种决策规则都有其相对应的错误率。当采取指定的决策规则对类条件概率密度及先验概率均为已知的问题进行分类时，它的错误率就应是固定的。错误率反映了分类问题固有复杂性的程度，可以认为它是分类问题固有复杂性的一种量度。在分类器设计出来后，通常是以错误率的大小来衡量其性能的优劣。特别是对同一种问题设计出几种不同的分类方案时，通常是以错误率大小作为比较方案好坏的标准。因此，在模式识别的理论和实践中，错误率是非常重要的参数。

我们在前面2.2节中已经给出了错误率的定义和计算公式。在两类情况下，最小错误率贝叶斯决策的错误率是

$$ \begin{align*}P\left(e\right)=&P\left(\omega_{1}\right)\int_{\mathcal{A}_{2}}p\left(x\mid\omega_{1}\right)\mathrm{d}x+P\left(\omega_{2}\right)\int_{\mathcal{A}_{1}}p\left(x\mid\omega_{2}\right)\mathrm{d}x\\=&P\left(\omega_{1}\right)P_{1}\left(e\right)+P\left(\omega_{2}\right)P_{2}\left(e\right)\end{align*} $$

从上式可以看出，当 x 是多维向量时，实际上要进行多重积分的计算。所以，虽然错误率的概念较简单，但在多维情况下，类条件概率密度函数的解析表达式较复杂时，计算错误率是相当困难的。正是由于错误率在模式识别中的重要性及计算上的复杂性，促使人们在处理实际问题时研究了一些对错误率的计算或估计的方法，可概括为以下三方面：

（1）按理论公式计算：

(2) 计算错误率上界；

（3）实验估计。

本节中，我们仅就在正态分布的特殊情况下如何理论计算错误率进行讨论。在更一般的情况下，很难准确计算错误率，所以人们研究了很多从理论上估算错误率的上界的方法。由于本书的范围所限，我们不在本书中介绍关于错误率上界估计的问题。实验估计错误率是实际应用中最常用到的，在第10章将对它进行介绍和讨论。

2.6.1 正态分布且各类协方差矩阵相等情况下错误率的计算

回顾最小错误率贝叶斯决策规则的负对数似然比形式：

$$ h\left(x\right)=-\ln l\left(x\right)=-\ln p\left(x\mid\omega_{1}\right)+\ln p\left(x\mid\omega_{2}\right)\leqslant\ln\frac{P\left(\omega_{1}\right)}{P\left(\omega_{2}\right)}\rightarrow x\in\left\{\begin{array}{l}\omega_{1}\\ \omega_{2}\end{array}\right. $$

$ h(x) $ 是 x 的函数，x 是随机向量，因此 $ h(x) $ 是随机变量。我们记它的分布密度函数为 $ p(h|\omega_{1}) $。由于它是一维密度函数，易于积分，所以用它计算错误率有时较为方便。这样，式(2-96)可表示为

$$ P_{1}(e)=\int_{\mathcal{A}_{2}}p\left(\boldsymbol{x}\mid\omega_{1}\right)\mathrm{d}\boldsymbol{x}=\int_{t}^{\infty}p\left(h\mid\omega_{1}\right)\mathrm{d}h $$

原书第 54 页

$$ P_{2}(e)=\int_{\mathcal{A}_{1}}p\left(x\mid\omega_{2}\right)\mathrm{d}x=\int_{-\infty}^{t}p\left(h\mid\omega_{2}\right)\mathrm{d}h $$

其中

$$ t=\ln\left[P(\omega_{1})\big|P(\omega_{2})\right] $$

从式(2-97)和式(2-98)可以看到，只要知道 $ h(x) $密度函数的解析形式就可以计算出错误率 $ P_{1}(e) $、 $ P_{2}(e) $。由于计算上的复杂性，这些计算只能在一些特殊情况下进行。考虑正态分布情况，此时负对数似然比的决策规则可以写为

$$ \begin{aligned}h\left(x\right)=&-\ln l\left(x\right)=-\ln p\left(x\mid\omega_{1}\right)+\ln p\left(x\mid\omega_{2}\right)\\=&-\left[-\frac{1}{2}\left(x-\mu_{1}\right)^{\mathrm{T}}\boldsymbol{\Sigma}_{1}^{-1}\left(x-\mu_{1}\right)-\frac{d}{2}\ln2\pi-\frac{1}{2}\ln\left|\boldsymbol{\Sigma}_{1}\right|\right]+\\&\left[-\frac{1}{2}\left(x-\mu_{2}\right)^{\mathrm{T}}\boldsymbol{\Sigma}_{2}^{-1}\left(x-\mu_{2}\right)-\frac{d}{2}\ln2\pi-\frac{1}{2}\ln\left|\boldsymbol{\Sigma}_{2}\right|\right]\\=&\frac{1}{2}\left(x-\mu_{1}\right)^{\mathrm{T}}\boldsymbol{\Sigma}_{1}^{-1}\left(x-\mu_{1}\right)-\frac{1}{2}\left(x-\mu_{2}\right)^{\mathrm{T}}\boldsymbol{\Sigma}_{2}^{-1}\left(x-\mu_{2}\right)+\frac{1}{2}\ln\frac{\left|\boldsymbol{\Sigma}_{1}\right|}{\left|\boldsymbol{\Sigma}_{2}\right|}\\\leq&\ln\frac{P\left(\omega_{1}\right)}{P\left(\omega_{2}\right)}\rightarrow x\in\left\{\begin{matrix}\omega_{1}\\ \omega_{2}\end{matrix}\right.\end{aligned} $$

式(2-100)表明决策面是x的二次型，对于等协方差阵 $ \Sigma_{1}=\Sigma_{2}=\Sigma $情况，决策面就变成x的线性函数，其决策规则简化为

$$ \begin{align*}h\left(x\right)=&\left(\boldsymbol{\mu}_{2}-\boldsymbol{\mu}_{1}\right)^{\mathrm{T}}\boldsymbol{\Sigma}^{-1}\boldsymbol{x}+\frac{1}{2}(\boldsymbol{\mu}_{1}^{\mathrm{T}}\boldsymbol{\Sigma}^{-1}\boldsymbol{\mu}_{1}-\boldsymbol{\mu}_{2}^{\mathrm{T}}\boldsymbol{\Sigma}^{-1}\boldsymbol{\mu}_{2})\\\leq&\ln\frac{P\left(\omega_{1}\right)}{P\left(\omega_{2}\right)}\rightarrow\boldsymbol{x}\in\left\{\begin{aligned}&\omega_{1}\\&\omega_{2}\end{aligned}\right.\end{align*} $$

x 是 d 维等协方差阵正态分布的随机向量，而 $ h(x) $ 是一维的随机变量，且是 x 的线性函数，因此式 (2-101) 可看成是对 x 的各分量作线性组合 $ \alpha^{T}x $，然后再作平移，其中 $ \boldsymbol{\alpha}^{T} = (\mu_{2} - \mu_{1})^{\mathrm{T}} \boldsymbol{\Sigma}^{-1} $。根据 2.5.1 节中性质⑤可知 $ h(x) $ 服从一维正态分布。对于 $ p(h \mid \omega_{1}) $，可以计算出决定一维正态分布的参数均值 n，及方差 $ \sigma^{2} $。

$$ \begin{align*}\boldsymbol{\eta}_{1}=&E\big[\boldsymbol{h}\left(\boldsymbol{x}\right)\big|\boldsymbol{\omega}_{1}\big]=(\boldsymbol{\mu}_{2}-\boldsymbol{\mu}_{1})^{\mathrm{T}}\boldsymbol{\Sigma}^{-1}\boldsymbol{\mu}_{1}+\frac{1}{2}(\boldsymbol{\mu}_{1}^{\mathrm{T}}\boldsymbol{\Sigma}^{-1}\boldsymbol{\mu}_{1}-\boldsymbol{\mu}_{2}^{\mathrm{T}}\boldsymbol{\Sigma}^{-1}\boldsymbol{\mu}_{2})\\=&-\frac{1}{2}(\boldsymbol{\mu}_{1}-\boldsymbol{\mu}_{2})^{\mathrm{T}}\boldsymbol{\Sigma}^{-1}(\boldsymbol{\mu}_{1}-\boldsymbol{\mu}_{2})\end{align*} $$

现令

$$ \eta=\frac{1}{2}\big[(\boldsymbol{\mu}_{1}-\boldsymbol{\mu}_{2})^{\mathrm{{T}}}\boldsymbol{\Sigma}^{-1}(\boldsymbol{\mu}_{1}-\boldsymbol{\mu}_{2})\big] $$

则有

$$ \begin{aligned}\eta_{1}=&-\eta\\\sigma_{1}^{2}=&E\left\{\left[h\left(\boldsymbol{x}\right)-\eta\right]^{2}\mid\omega_{1}\right\}=(\boldsymbol{\mu}_{1}-\boldsymbol{\mu}_{2})^{\mathrm{T}}\boldsymbol{\varSigma}^{-1}(\boldsymbol{\mu}_{1}-\boldsymbol{\mu}_{2})=2\eta\end{aligned} $$

同样可以得出 $ p(h \mid \omega_{2}) $ 的参数均值 $ \eta_{2} $ 及方差 $ \sigma_{2}^{2} $

$$ \eta_{2}=\frac{1}{2}(\boldsymbol{\mu}_{1}-\boldsymbol{\mu}_{2})^{\mathrm{T}}\boldsymbol{\Sigma}^{-1}(\boldsymbol{\mu}_{1}-\boldsymbol{\mu}_{2})=\eta $$

原书第 55 页

$$ \sigma_{2}^{2}=(\boldsymbol{\mu}_{1}-\boldsymbol{\mu}_{2})^{\mathrm{T}}\boldsymbol{\Sigma}^{-1}(\boldsymbol{\mu}_{1}-\boldsymbol{\mu}_{2})=2\boldsymbol{\eta} $$

因此，可以利用 $ p(h|\omega_{1}) $ 及 $ p(h|\omega_{2}) $ 计算出 $ P_{1}(e) $ 和 $ P_{2}(e) $.

$$ \begin{aligned}P_{1}(e)=&\int_{t}^{\infty}p\left(h\mid\omega_{1}\right)\mathrm{d}h\\ =&\int_{t}^{\infty}\frac{1}{\left(2\pi\right)^{\frac{1}{2}}\sigma}\exp\left\{-\frac{1}{2}\left(\frac{h+\eta}{\sigma}\right)^{2}\right\}\mathrm{d}h\\ =&\int_{t}^{\infty}\left(2\pi\right)^{-\frac{1}{2}}\exp\left\{-\frac{1}{2}\left(\frac{h+\eta}{\sigma}\right)^{2}\right\}\mathrm{d}\left(\frac{h+\eta}{\sigma}\right)\\ =&\int_{\frac{t+\eta}{\sigma}}^{\infty}\left(2\pi\right)^{-\frac{1}{2}}\exp\left(-\frac{1}{2}\xi^{2}\right)\mathrm{d}\xi\end{aligned} $$

$$ \begin{aligned}P_{2}(e)=&\int_{-\infty}^{t}p\left(h\mid\omega_{2}\right)\mathrm{d}h\\=&\int_{-\infty}^{t}(2\pi)^{-\frac{1}{2}}\exp\left\{-\frac{1}{2}\Big(\frac{h-\dot{\eta}}{\sigma}\Big)^{2}\right\}\mathrm{d}\Big(\frac{h-\eta}{\sigma}\Big)\\=&\int_{-\infty}^{\frac{t-\eta}{\sigma}}(2\pi)^{-\frac{1}{2}}\exp\Big(-\frac{1}{2}\xi^{2}\Big)\mathrm{d}\xi\end{aligned} $$

其中

$$ t=\ln\frac{P\left(\omega_{1}\right)}{P\left(\omega_{2}\right)},\quad\sigma=\sqrt{2\eta} $$

$ h(x) $的概率密度函数如图2-12所示。阴影部分相当于最小错误率贝叶斯决策的错误率。式(2-106)和式(2-107)的计算值可以由标准正态 $ N(0,1) $的累积分布函数表查表得出。

图 2-12 负对数似然比 h(x) 的概率密度函数

2.6.2 高维独立随机变量时错误率的估计

当 d 维随机向量 x 的分量间相互独立时，x 的密度函数可表示为

$$ p\left(x\mid\omega_{i}\right)=\prod_{l=1}^{d}p\left(x_{l}\mid\omega_{i}\right),\quad i=1,2 $$

因此负对数似然比 $ h(x) $为

$$ h\left(x\right)=\sum_{l=1}^{d}h\left(x_{l}\right) $$

其中

原书第 56 页

$$ h\left(x_{l}\right)=-\ln\frac{p\left(x_{l}\mid\omega_{1}\right)}{p\left(x_{l}\mid\omega_{2}\right)} $$

也就是说，随机变量 h(x) 为 d 个随机变量 $ h(x_{l}) $ 之和。根据中心极限定理，无论各 $ h(x_{l}) $ 的密度函数如何，只要 d 较大， $ h(x) $ 的密度函数总是趋于正态分布。这样，我们就可以计算出 $ h(x) $ 的均值 $ \eta_{i} $ 及方差 $ \sigma_{i}^{2} $

$$ \begin{aligned}\eta_{i}=&E\{h(x)\left|\omega_{i}\right\}=E\bigg\{\sum_{l=1}^{d}h(x_{l})\left|\omega_{i}\right\}=\sum_{l=1}^{d}\eta_{il}\tag{2}\\ \sigma_{i}^{2}=&E\{[h(x)-\eta_{i}]^{2}\left|\omega_{i}\right\}\\ =&E\bigg\{\sum_{l=1}^{d}[h(x_{l})-\eta_{il}]^{2}+\sum_{\substack{l,j=1\\ l\neq j}}^{d}[h(x_{l})-\eta_{il}][h(x_{j})-\eta_{ij}]\left|\omega_{i}\right\}\\ =&\sum_{l=1}^{d}E\{[h(x_{l})-\eta_{il}]^{2}\left|\omega_{i}\right\}+\sum_{\substack{l,j=1\\ l\neq i}}^{d}E\{[h(x_{l})-\eta_{il}][h(x_{j})-\eta_{ij}]\left|\omega_{i}\right\}(2.\end{aligned} $$

根据独立性假设，式(2-112)中第二项必定为零，所以其方差可写为

$$ \sigma_{i}^{2}=\sum_{l=1}^{d}\sigma_{i l}^{2} $$

由于 $ \eta_{il} $ 和 $ \sigma_{il}^{2} $ 都是一维随机变量 $ x_{l} $ 的函数，在大多数情况下，计算这些参数相对比较容易，即使非正态情况亦是如此。所以，我们可以把 $ (h(x)|\omega_{i}) $ 近似看成是服从 $ N(\eta_{i},\sigma_{i}^{2}) $ 的一维正态分布的随机变量，再利用式(2-106)和式(2-107)近似算出错误率。

最后应当指出，这种计算须在维数 d 较大时使用，否则中心极限定理不成立。在维数 d 较小及其他一些特殊情况下错误率的理论计算问题已有不少报道，必要时可参考有关文献，这里就不再论述。

2.7 离散时间序列样本的统计决策

2.7.1 基因组序列的例子

贝叶斯决策的基本思想是根据一定的概率模型得到样本属于某类的后验概率，然后根据后验概率的大小来进行决策。这种思想有着非常广泛的应用。在不同的应用中有不同的概率模型，这里举一个非常简单的基因序列分析的例子来说明贝叶斯决策的思想在离散概率模型中的应用。

我们知道，生物的基因组是由A、T、G、C四种核苷酸组成的序列。人的一套基因组单链是由约30亿个A、T、G、C组成的一个超长的序列，可以把它看成是一本由四个字母写成的天书。这样一个超长的字符串或其中一个子串，并不是由四个字母随机组成的，而是遵循着很多特殊的规律。例如，由于一些生物化学机制的作用，基因组同一条链上出现相连的和G的概率要比随机情况小很多。把相连的C和G叫做一个CpG双核苷酸。人们已经观察到，CpG在基因组上出现的平均频率比根据C、G各自出现的频率估计的组合出现频率小

原书第 57 页

很多，但是，这些有限的 CpG 在基因组上分布的位置不是均匀的，而是倾向于集中在相对较短的一些片段上，这种 CpG 相对富集的区域被称作 CpG 岛，就像大海上的小岛一样。CpG 岛在基因组上有重要的功能，研究 CpG 岛的识别是非常有意义的。

CpG 岛识别的基本问题是，给定一段 DNA 序列，判断它是否来自 CpG 岛，即判断这段序列样本是否是 CpG 岛的一部分。这可以看作是一个两类的分类问题，两类分别是 CpG 岛和非 CpG 岛，我们所能利用的特征就是序列本身。

有很多方法来预测或确定 CpG 岛，这里我们用一种简单的基于马尔可夫模型（Markov Model）的方法来说明在这种场景下用统计决策来进行分类的一种思想。

当我们独立地考虑 DNA 序列每个位置上的核苷酸时，我们可以把它当作一个有四种可能取值的离散随机变量 $ x=\{A,T,G,C\} $，而前面例子中我们考虑的都是 $ x\in R $ 的连续情况。在连续情况下，我们用概率密度函数来表示变量取值的分布，而在离散情况下，我们则用变量取各个值的概率来表示 $ P(x) $，显然， $ P(x=A)+P(x=T)+P(x=G)+P(x=C)=1 $。

在连续情况下，如果我们有多个特征，则用随机向量 x 来表示，特征之间的关系反映在随机向量的联合概率密度上。在离散情况下，如果序列的每个位置上核苷酸的分布是独立同分布的，那么每个位置就是随机变量的一次实现。但是，当我们考虑在连续的位置上出现的 CpG 双核苷酸时，这种模型就不适用了，因为两个位置不再独立。

我们可以用马尔可夫模型来表示这种相邻位置之间的依赖关系。有很多专门的教材和文献讲述马尔可夫模型，我们在下面只给出一种直观的定义，并介绍在这种模型下如何用贝叶斯决策的原理对基因组序列样本进行分类决策。

2.7.2 马尔可夫模型及在马尔可夫模型下的贝叶斯决策

我们把 DNA 序列看作一串符号组成的时间序列 $ x_{1}, x_{2}, \cdots, x_{L} $，每一时刻（位置）上的取值为 $ x_{i} = \{A, T, G, C\} $。如果第 i 时刻上的取值依赖于且仅依赖于第 i-1 时刻的取值，即

$$ P(x_{i}\mid x_{i-1},x_{i-2},\cdots,x_{1})=P(x_{i}\mid x_{i-1}) $$

则把这个串称作一个一阶马尔可夫链或一阶马尔可夫模型。如果第i时刻上的取值依赖且仅依赖于第i-k到第i-1时刻的取值，则这个串就是k阶马尔可夫链。在考虑CpG岛时，我们只需同时考虑相邻两个位置上的核苷酸，因此可以用一阶马尔可夫链来描述。

马尔可夫链可以用条件概率模型来描述。我们把在前一时刻某取值下当前时刻取值的条件概率称作转移概率（transition probability），记为

$$ a_{s t}=P\left(x_{i}=t\mid x_{i-1}=s\right) $$

对一个长度为 L 的序列，我们观察到这个序列的概率是

$$ P(x)\triangleq P(x_{1},x_{2},\cdots,x_{L})=P(x_{1})\prod_{i=2}^{L}a_{x_{i-1}x_{i}} $$

对于 DNA 序列来说，每一位置的取值有四种，我们把它们称作四种状态，转移概率就是一个 $ 4 \times 4 $ 的矩阵，称作转移概率矩阵或状态转移矩阵，如图 2-13 所示 $ ^{①} $。其中，行表示前一时

原书第 58 页

刻的取值，列表示当前时刻的取值，例如，(2,3)位置上的0.078表示 $ P(x_{i}=G\mid x_{i-1}=C)=0.078 $。

一	A	C	G	T
A	0.300	0.205	0.285	0.210
C	0.322	0.298	0.078	0.302
G	0.248	0.246	0.298	0.208
T	0.177	0.239	0.292	0.292

图 2-13 马尔可夫模型状态转移矩阵举例

通常，为了表示方便，人们把序列的开始和结束分别设两个空的状态，这样，整个序列就可以用如图2-14所示的状态转移图表示。图中，B表示起始状态，从B指向A状态的一条线表示从起始状态转移到A状态的概率，即序列第一个位置上是核苷酸A的概率，从B指向C、T、G的线的意义相同。从A状态指向C状态的连线表示从A状态转移到C状态的概率，即在前一位置是A的情况下当前位置是C的概率，从A状态指向自己的连线就表示前位置是A当前还是A的概率，其余连线意义依次类推。每一个状态都有可能在序列的最后一个位置上，从每个状态指向终止状态E的连线就表示这个概率。这样，式(2-116)中的求和就可以从i=1开始了。

图 2-14 马尔可夫模型的状态转移图

在前面讲述连续变量的贝叶斯决策时，用类条件概

率密度来描述各类样本的特征分布。对于一个特定样本 x，根据类条件概率密度计算似然比 $ l(x)=\frac{p(x|\omega_{1})}{p(x|\omega_{2})} $ 并与一定的阈值比较来进行判别。当采用最小错误率准则且两类先验概率相等时，阈值是 1，即如果似然比大于 1 则判别为第一类，小于 1 则判别为第二类。

同样的思想也适用于离散变量情况。如果知道两类的状态转移矩阵，那么对于一个序列样本，我们就可以用式(2-116)分别计算每一类模型下观察到该特定序列的可能性或似然度 $ P(x \mid \omega_{1}) $，用同样的似然比来进行类别判断。

在 CpG 岛的识别中，把 CpG 岛一类记作“+”，CpG 岛情况下的马尔可夫转移概率记作 $ a_{x_{i-1}x_i}^{+} $；把非 CpG 岛一类记作“-”，非 CpG 岛情况下的马尔可夫转移概率记作 $ a_{x_{i-1}x_i}^{-} $。为了考虑到长序列处理方便，可以采用下面的对数似然比（log likelihood ratio）来进行判别

$$ S(x)=\log\frac{P(x\mid+)}{P(x\mid-)}=\log\frac{\displaystyle\prod_{i=1}^{L}a_{x_{i-1}x_{i}}^{+}}{\displaystyle\prod_{i=1}^{L}a_{x_{i-1}x_{i}}^{-}}=\sum_{i=1}^{L}\log\frac{a_{x_{i-1}x_{i}}^{+}}{a_{x_{i-1}x_{i}}^{-}} $$

在生物信息学中，这一比值通常又被称为对数几率比(log-odds ratio)。

在很多情况下，不论是连续变量情况还是离散变量情况，都很难事先得到类条件概率密度或者离散概率模型（例如马尔可夫状态转移矩阵），而是需要设法根据一定的已知样本（训练样本）进行估计。连续变量的概率密度函数估计将在下一章专门介绍。这里就以一阶马

原书第 59 页

尔可夫模型进行 CpG 岛与非 CpG 岛分类的问题分析为例，简单介绍一下离散变量的概率模型估计问题。

模型估计的第一步是确定模型形式。在上面的介绍中，用一阶马尔可夫链来描述一个DNA序列片段，这实际上就已经确定了概率模型的形式。在很多更复杂的问题中，可能需要更复杂的概率模型。

确定了概率模型，下一步就是根据训练样本分别估计各类中这个概率模型的参数，在马尔可夫模型下就是状态转移矩阵。假设我们已经收集了充分的、有代表性的一些 CpG 岛序列的片段和一些非 CpG 岛序列的片段，用它们构成两类训练样本。在每一类样本中，统计在所有位置上出现 A、C、G、T 的次数，再统计在每个 A、C、G、T 后面出现 A、C、G、T 的次数，然后用 $ a_{st}^{+}=\frac{c_{st}^{+}}{\sum_{t^{\prime}}c_{st^{\prime}}^{+}} $ 和 $ a_{st}^{-}=\frac{c_{st}^{-}}{\sum_{t^{\prime}}c_{st^{\prime}}^{-}} $ 来分别估计两类的状态转移概率，其中， $ c_{st}^{+} $ 表示 CpG 岛类中从某状态 s 转移到状态 t 的出现次数， $ \sum_{t^{\prime}}c_{st^{\prime}}^{+} $ 表示对 s 后所有可能出现的状态次数求和，即 s 本身出现的次数（不包括在序列结尾的次数）； $ c_{st}^{-} $ 定义了在非 CpG 岛上同样的量。图 2-15 就给出了在某个数据集上估计的 CpG 岛与非 CpG 岛状态转移矩阵的一个例子。

-	A	C	G	T
A	0.300	0.205	0.285	0.210
C	0.322	0.298	0.078	0.302
G	0.248	0.246	0.298	0.208
T	0.177	0.239	0.292	0.282

图 2-15 CpG 岛与非 CpG 岛状态转移矩阵的一个例子

对于任意给定序列，可以在式(2-117)中代入图2-15中估计的参数来计算它属于CpG岛的似然比，再通过与一定的阈值比较进行判别。

进一步考查式(2-117)，会发现最后求和式中的比值项就是图2-15中两个矩阵的相应单元的比值，因此，式(2-117)可以进一步变成

$$ S\left(x\right)=\log\frac{P\left(x\mid+\right)}{P\left(x\mid-\right)}=\sum_{i=1}^{L}\log\frac{a_{x_{i-1}x_{i}}^{+}}{a_{x_{i-1}x_{i}}^{-}}=\sum_{i=1}^{L}\beta_{x_{i-1}x_{i}} $$

其中， $ \beta_{st} $ 为相应的 $ a_{st}^{+} $ 与 $ a_{st}^{-} $ 比值的对数（以2为底），也称作从状态 s 到 t 的对数似然比。从图2-15计算出的对数似然比矩阵见图2-16。

beta	A	C	G	T
A	-0.740	0.419	0.580	-0.803
C	-0.913	0.302	1.812	-0.685
G	-0.624	0.461	0.331	-0.730
T	-1.169	0.573	0.393	-0.679

图 2-16 CpG 岛与非 CpG 岛的对数似然比矩阵

这样，对一段待判别的 DNA 序列，我们只需要把其中每一对相邻的双核苷酸都用图 2-16 中相应的数值代入式(2-118)中，就可以计算出对数几率比并判断是否为 CpG 岛的片段。

原书第 60 页

在估计出具体模型的参数后，识别阶段做的事情与连续变量情况是一样的，就是根据模型在不同类别下计算观测到待识别样本的似然比，按照适当的阈值做出决策。阈值的选取视具体问题可以根据先验概率，也可以根据最小风险的原则确定，或者根据对两类错误的特殊要求决定。如果两类的先验概率相同且两类错误的损失相同，则对数似然比决策的阈值就是0。在这里，由于概率模型是用数值方法估计的，很难从理论上计算错误率。在实际应用中，人们经常把训练数据代到式(2-118)中，统计所有训练样本的似然比取值的分布，如图2-17的直方图所示。选用不同的阈值来做决策就会导致不同的错误情况，人们可以从直方图上确定满意的阈值，或者通过变动不同阈值画出ROC曲线来决定阈值选择。

需要说明的是，在图2-15和图2-16中，都没有考虑起始和终止状态的问题。实际上，由于我们面对的序列片段都是从更长的序列中截取的，一般情况下对截取的位置并没有针对单个核苷酸特别地控制，因此起始和结束的概率就可以用基因组上出现各个核苷酸的概率来代替。如果在某些场景下需要更精确地控制片段的起始和结束，那么用同样的方法可以估计起始和终止的转移概率。

2.7.3 隐马尔可夫模型简介

另一种常用的时间序列概率模型是隐马尔可夫模型（Hidden Markov Model，简称为HMM）。我们将在第4章对其进行较系统的讨论，在本小节中先结合基因组序列的例子对其进行扼要介绍。

在隐马尔可夫模型中，观测是依据一定的概率由某些不可见的内部状态（隐状态）决定，而这些状态之间服从某种马尔可夫模型。图2-18给出了一个隐马尔可夫模型示意图，其中 $ y_{i}(i=1,2,\cdots,n) $是观测到的数据，它的取值根据条件概率 $ f_{i}(y_{i}|z_{i}) $由隐状态 $ z_{i}(i=1,2,\cdots,n) $决定，这一概率称作发射概率（emission probability），同时，隐状态 $ z_{i}(i=1,2,\cdots,n) $满足马尔可夫转移概率 $ a_{st}=P(z_{i+1}=t|z_{i}=s) $。与上面介绍的一般马尔可夫的原理类似但是做法更复杂，我们可以根据对问题的认识建立适当的模型形式——隐马尔可夫模型的结构，例如在语音识别中，这种结构需要反映语言中相邻因素之间可能的过渡关系。在语言学模型中（如用在语音识别和文字识别的后处理中），这种结构反映可能句子的语法结构；在DNA序列基因识别中，这种结构则反映人们对基因的信息结构的认识，例如基因在序列上的主要组成部分及其顺序关系等。

图 2-17 似然比在两类训练样本上的分布

图 2-18 一个隐马尔可夫模型示意图

原书第 61 页

建立这样的统计模型后，下一步就是用训练样本来训练模型中的参数。当训练样本中的观测数据和相应的隐状态都已知时，可以根据上文给出的一般马尔可夫模型下状态转移矩阵的估计方法来估计发射概率 $ f_{i}(y_{i}|z_{i}) $ 和转移概率 $ a_{st} $。然而，与一般马尔可夫模型的决策过程不同，在未知数据上应用隐马尔可夫模型进行统计决策时，需要对各个观测数据点所对应的隐状态进行判断。

下面我们仍然以一个生物信息学中 DNA 序列分析的例子为例，简单介绍在给定条件概率 $ f_{i}(y_{i}|z_{i}) $ 和转移概率 $ a_{st} $ 的条件下如何采用动态规划算法寻找各个观测数据点最有可能的隐状态，也称为“最大似然路径”的搜索问题。

我们知道，真核生物的基因很多是由多个外显子(exon)和内含子(intron)组成的，早期生物信息学研究的一个重要问题就是基因识别，即识别DNA序列中何处为基因以及基因的外显子、内含子等元件的位置。这里为了讨论方便，把问题简化为从一段DNA序列中识别外显子和内含子（即假设序列中不存在其他区域）的问题。

假设得到的数据是长度为 n 的 DNA 序列，其第 i 位置上的核苷酸为 $ y_{i} (i=1,2,\cdots,n) $，我们希望知道的是该位置是属于外显子还是内含子，也就是希望知道第 i 位置对应的隐状态 $ z_{i} (i=1,2,\cdots,n) $。在这里，隐状态 $ z_{i} $ 有两种情况即两个类，把外显子记作“十”，而把内含子记作“-”。给定第 i 位置的隐状态 $ z_{i} = “+” $ 或“-”，相应位置上的核苷酸 $ y_{i} = “A” $ “ $ C $”“ $ G $” 或“ $ T $”的可能由发射概率 $ f_{i}(y_{i} | z_{i}) $ 给出。同时，各个位置的隐状态之间满足状态转移概率矩阵 $ a_{st} = P(z_{i+1} = t \mid z_{i} = s) $，其中 s 和 t 分别为“+”或者“-”。对于外显子/内含子的识别问题，由于一个外显子或内含子通常是有一定长度的序列片段，在序列中从隐状态“+”到“-”或者从“-”到“+”的转移概率一般比较小。

通过已经标注的训练样本，可以估计发射概率 $ f_{i}(y_{i}|z_{i}) $ 和转移概率 $ a_{st} $。对于待分析的序列 $ \{y_{1},\cdots,y_{n}\} $，希望通过最大化概率（即似然度） $ P(y_{1},\cdots,y_{n}|z_{1},\cdots,z_{n}) $ 来求得各个位置的隐状态 $ \{\hat{z}_{1},\cdots,\hat{z}_{n}\} $，相应的解称为“最大似然路径”。

不妨假设，对序列的前i个位置， $ f_{i}(z) $表示当第i位置对应隐状态为 $ z(z=+ $或“−”)时可能得到的最大概率，即 $ f_{i}(z)=\max_{z_{1},\cdots,z_{i-1}}P(y_{1},\cdots,y_{i}|z_{1},\cdots,z_{i}=z) $。注意到， $ f_{i}(z) $可以写成递归形式：

$$ f_{i}(z)=P(y_{i}\mid z_{i}=z)\cdot\max_{f_{i-1}}(f_{i-1}(z^{\prime})P(z_{i}=z\mid z_{i-1}=z^{\prime})) $$

最大似然路径 $ \{\hat{z}_{1},\cdots,\hat{z}_{n}\} $可以通过回溯的方法求得，即

$$ \hat{z}_{n}=\arg\max_{z}f_{n}(z) $$

并且

$$ \hat{z}_{i}=\arg\max_{f_{i}}(f_{i}(z)P(z_{i+1}=\hat{z}_{i+1}\mid z_{i}=z)\},\quad i=1,2,\cdots,n-1 $$

在实际应用中，可以利用式(2-119)事先计算好 $ f_{i}(z), i=1,2,\cdots,n $，然后用式(2-120)、式(2-121)快速地识别序列上的各个位置是外显子还是内含子。这种做法叫做 Viterbi 算法。

除了上面介绍的方法，还可以采用所谓 Gibbs 采样法来最大化后验概率 $ P(z_{1}, \cdots, z_{n} | y_{1}, \cdots, y_{n}) $，从而求得隐状态。甚至当不存在隐状态已知的训练样本时，在某些情况下，仍然可以只利用观测数据通过 Gibbs 采样法来同时求得概率转移矩阵和相应的隐状态。需要注意的是，模型越复杂，需要估计的参数越多，不仅计算方法变得复杂，需要的样本量也更大。

原书第 62 页

需要说明，本节介绍的识别 $ \mathrm{CpG} $ 岛的方法以及区分外显子与内含子的方法，只是为了举例说明统计决策在马尔可夫模型和隐马尔可夫模型下的应用，对讨论的生物学问题有所简化。在实际生物学问题中，根据具体研究问题的不同，存在很多确定 $ \mathrm{CpG} $ 岛和区分外显子、内含子的方法，有些是基于知识的推断准则，有些则是更复杂的概率模型。

2.8 小结与讨论

本章讲述了以贝叶斯决策为核心的统计决策的基本思想和原理，介绍了最小错误率贝叶斯决策、最小风险贝叶斯决策和在控制一类错误率的情况下使另一类错误率尽可能小的Neyman-Pearson决策的方法，还给出了正态分布下部分决策的具体形式和错误率的计算，并举例说明了离散情况下使用马尔可夫模型的统计决策方法。本章内容是模式识别理论和方法的重要基础。

统计决策的基本原理就是根据各类特征的概率模型来估算后验概率，通过比较后验概率进行决策。而通过贝叶斯公式，后验概率的比较可以转化为类条件概率密度的比较，离散情况下也是类条件概率的比较，而这种条件概率或条件密度则反映了在各类的模型下观察到当前样本的可能性或似然度，因此可以定义两类之间的似然比或对数似然比进行决策。根据面对的具体问题不同，各类特征的概率模型可能会变得非常复杂，但是基本的求解步骤和决策原理是一致的。

在概率模型准确的前提下，统计决策可以得到最小的错误率或者最小的风险，或者是实际问题中期望得到的两类错误率间最好的折中。因此，要使用统计决策进行模式识别，概率模型的估计问题就变得至关重要。下一章就讨论概率密度函数的估计问题。

由于在本章中介绍的决策都是从一定的概率模型出发的，所以可以叫做基于模型的方法。这种方法其实是把模式识别问题转化成了概率模型估计的问题，如果能够很好地建立和估计问题的概率模型，那么相应的分类决策问题就可以很好地解决。这里，分类器设计实际就是对概率模型的估计。

将分类器设计问题转化为概率密度估计问题，这实际上沿用了人们一种习惯的思维方式，就是当遇到一个具体问题时，看它是否能转化为另一个更一般的问题，如果这个一般问题解决了，作为其特例或推广的特殊问题就会迎刃而解。显然，这种解决问题方式的前提应当是，这个一般问题比这个特殊问题更容易解决，但实际情况往往并非如此。通过下一章的介绍，我们将看到什么情况下概率密度的估计问题可以较好地解决及如何解决。

原书第 63 页