引入深度学习的人工智能类课程

时间:2022-08-16 02:14:49

引入深度学习的人工智能类课程

摘要:深度学习是人工智能领域最近的惊人进展,从模型、算法,到大规模的应用都取得了令人瞩目的成果。文章提出在人工智能类课程中引入深度学习的初步内容和实施建议,同时分析其必要性和可行性。

关键词:人工智能;深度学习;教学建议

0 引言

传统的人工智能课程主要包括人工智能导论、模式分析、机器学习、数据挖掘等。这些课程由各个院校根据专业情况不同而选择,课程的内容也有较大差别,但是,基本上都涉及人工神经网络的内容。然而在人工神经网络的教学内容上,一般只讲解经典的多层感知器和反向传播算法,或再加入一些反馈网络的内容,这种教学内容设计的一个不足是忽视了人工智能领域的最新发展——深度学习,它是近几年人工智能领域最具影响力的研究主题,并在大规模语音识别、大规模图像检索等领域取得突破。

北京邮电大学计算机学院开设人工智能科学与技术的本科专业,笔者从事深度学习的研究工作,同时承担了本科生和研究生人工智能类课程的教学工作,因此产生了将深度学习内容引人人工智能类课程的想法。本文先介绍深度学习的背景,说明深度学习在人工智能发展中的地位,之后分析了将深度学习基本内容引入人工智能类课程的必要性和可行性,最后给出了一些实施建议供探讨。

1 深度学习背景

2006年,加拿大多伦多大学的GeoffreyHinton教授与Salakhutdinov博士在美国《科学》杂志发表了题为“Reducing the Dimensionality ofDatawith Neural Networks”的论文,该文提出一种学习多层神经网络的方法,并将这种具有多层结构的学习方法命名为深度学习(Deep Learning),而这成为深度学习研究的一个导火索,从此深度学习的研究与应用蓬勃发展起来。

深度学习在语音识别与生成、计算机视觉等应用领域取得了突出进展。近几年的国际机器学会(International Conference on MachineLearning,ICML)、神经信息处理大会(AnnualConference On Neural Information Processing Systems,NIPS)、计算机视觉大会(InternationalConference on Computer Vision,ICCV)、

声学语音与信号处理大会(International ConferenceOn Acoustics,Speech,and Signal Processing,ICASSP)、计算语言学大会(Annual Meeting of the Association for Computational Linguistics.ACL)、计算机视觉与模式识别(InternationalConference on Computer Vision and P atternRecognition,CVPR)等都有不少相关的研究论文、会议教程和小组研讨会(Workshop)。美国国防高级研究计划(DARPA)也提出了关于深层学习的研究项目。此外,2013年6月《程序员杂志》的封面故事,采访了周志华、李航、朱军3位国内的机器学习专家对于深度学习的看法,他们一致肯定了深度学习在机器学习领域的贡献。

工业界对深度学习也寄予了很高期望。2012年6月,《纽约时报》报道了斯坦福大学计算机科学家AndrewNg和谷歌公司的系统专家JeffDean共同研究深度神经网络的机器学习模型在语音识别和图像识别等领域获得的巨大成功。2012年11月,微软公司在天津公开演示了一个全自动的同声传译系统,其关键技术也是深度学习。2013年1月,百度公司首席执行官李彦宏先生宣布建立深度学习研究院(Institute of Deep Learning)。2013年3月,谷歌公司收购了由深度学习创始人Geoffrey Hinton创立的公司。

从学术界与工业界的研究态势看,深度学习已经成为机器学习与模式识别,乃至人工智能领域的研究热点。正是在这样一个背景下,人工神经网络重新回到人们的视野。此前人工神经网络的发展大致可以分为两个时期,1943年,McCulloch和Pitts提出了最早的人工神经元,这种神经元具有学习能力,这是人工神经网络的发端,也可以被认为是人工智能的发端(当时还没有人工智能这个术语)。1949年,Hebb提出了Hebbian学习算法。1957年,Rosenblatt提出了感知器的神经网络模型。1969年,Minsky和Papert分析了这种感知器神经网络模型的局限性。然而,很多研究者认为,感知器的这种局限性对于所有的神经网络模型都适用,这使人工神经网络的研究很快暗淡下来。1980年代中期,诺贝尔奖得主John Hopfield提出了Hopfield神经网络模型,这种Recurrent神经网络具有的动态性有可能用于解决复杂的问题。同时,多层前向神经网络的后传算法也被重新发现,这两个工作使人工神经网络得到重生。这时,人工神经网络已经成为人工智能的一个重要组成部分。但是,在随后的研究中,人们发现,当学习多层神经网络包含更多的隐藏层时,后传算法并不能学到有效的网络权值,这使得神经网络的研究再次陷入低潮。此次以深层神经网络为代表的深度学习重新回到研究的舞台,其中一个重要因素是Hinton提出的逐层预训练神经网络方法治愈了多层神经网络的一个致命伤。

2 必要性与可行性

深度学习的发展使得从事教学一线的教师也无法忽视这个颇具影响力的研究主题。为此,我们提出将深度学习这个主题引入到人工智能类课程中,将它作为课题教学的一部分。

2.1 必要性

将深度学习这个主题引入到人工智能类课程中的必要性主要包括如下4点。

1)深度学习是人工智能的前沿。

2006年以来,深度学习的研究席卷了整个人工智能,从机器学习、机器视觉、语音识别到语言处理,都不断涌现出新的研究工作和突破性进展。深度学习不仅在机器学习领域成为研究热点,同时在多个应用领域也成为有力工具,而且,在工业界的系统应用中,深度学习成为其中的关键解决技术。

2)深度学习是人工智能的突破。

深度学习的发端是神经网络。关于神经网络的论述,在人工智能类常见教科书中还停留在多层神经网络,即神经网络的第二阶段,它们大部分描述多层结构无法训练的现象。但是,从深度学习的角度看,深层神经网络不仅可学习,而且有必要,这与第二代神经网络的观点是完全不同的。深度学习突破了原有人工神经网络的认识,超越了人工智能神经网络教科书中的原有内容,因此,有必要将多层神经网络结构的可学习性告知学生,从新的视角纠正原有的观点。

3)深度学习是人工智能的延伸。

深度学习不仅提供了一种可以在深层神经结构下训练网络的方法,也包含了不少新的内容,是人工智能的新发展,为人工智能补充了新的内容。到目前为止,深度学习至少包括:从生物神经网络与人类认知的角度认识深层神经网络的必要性;如何构建和学习深层学习网络;如何将深层结构用于解决视觉、语音、语言的应用问题;如何看待深度学习与原有的机器学习方法,如流形学习、概率图模型、能量模型的直接关系;深度学习与其他学科的关系等。

4)深度学习是学生的潜在兴趣点。

大学生对知识有着强烈的好奇心,加之当前信息技术的发达,部分对智能感兴趣的学生可以从其他途径了解到这个学科发展的前沿。因此,顺势而为,将深度学习这个主题做具体讲解,满足学生的好奇心,培养他们对学科前沿与发展的认识,是十分必要的。对高年级的学生而言,了解深度学习的基本知识,是他们全面认识人工智能与发展前沿的一个途径,而对于研究生,较多地了解和掌握深度学习的基本知识有助于他们研究工作的开展。

基于以上几点,笔者认为,将深度学习这个主题引入到人工智能类课程中非常有必要。深度学习作为人工智能的前沿,既是对人工智能原有理论和技术的一个突破和补充。

2.2 可行性

将深度学习引入到人工智能类课程中的可行性主要包括如下3点。

1)深度学习与现有人工智能联系密切。

深度学习并不像突兀的山峰拔地而起。而是深深植根于原有的人工智能理论与技术。深度学习是以神经网络为出发点,这正是深度学习教与学的切入点。比如,可以通过对多层感知器隐藏层的增加和后传算法的失效来讲解深度学习是如何解决这个问题的。再者,深度学习的一个核心构建“受限波尔兹曼机(Restricted Boltzmann Machine)”,可以被认为是一种能量模型,而这种模型与Hopfield网络都可以从物理学的能量模型角度分析,RBM可以认为是Hopfield网络的随机扩展。总之,深度学习与现有人工智能的联系,使学习深度学习变得容易。

2)深度学习的基本内容并不深。

深度学习有个很好的名字,这个名字恰当地描述了特定的学习结构。比如,深度学习的核心部件受限于波尔兹曼机RBM,其结构非常简单。从神经网络的角度,受限波尔兹曼机是一种随机的双向连接神经网络,信号可以从可见层传递到隐藏层,也可以从隐藏层传递到可见层。网络中每个节点是具有特定结构的神经元,其中的神经元具有典型的包含自身偏置的Logistic函数的随机单元,能够依Logistic函数计算得到的概率输出0状态或1状态。概括地说,深度学习的基本内容在高年级阶段较易掌握。

3)深度学习的资料容易获得。

当前的信息资讯非常发达,有相当多的资料可以通过互联网等多种途径获得,这使学习深度学习成为可能。近期,中国计算机学会主办了多个技术讲座均涉及深度学习的部分;深度学习的创始人Hinton教授的主页也有很多资料;Coursera网站有免费的Hinton教授的神经网络课程;斯坦福大学的Ng教授提供了很多的在线教程;蒙特利尔大学Bengio教授发表的题为“Learning Deep Architectures for AI”的论文也是这领域的优质资料。

3 实施建议

在具体的教学过程中,笔者建议适当安排深度学习的最基本内容,内容不宜过多,也不宜占用过多的学时,可以根据教学对象的不同进行调整。比如,本科生的高年级专业课可以安排1学时的教学量,介绍层次训练的基本算法;也可以在高年级前沿讲座中安排2学时,内容覆盖面尽可能广泛。在研究生的教学中,可以根据教学的课程主题安排内容与学时。比如,神经网络主题的课程可以安排4-6学时的教学内容,包括波尔兹曼机及学习算法、深层信念网络与学习算法、深层波尔兹曼机与学习算法卷、积神经网络、自动编码器等。结合应用,课程还可以包含MNIST数字识别的应用、人脸识别的应用、图像检索的应用、语音识别中的应用等。另外,深度学习是一个实践性很强的研究,随机性:大规模(意味着数据不宜可视化,程序运行时间长)等多种因素混合,使深度学习在学习中不容易理解。为此,可以在条件允许的前提下,增加小规模的实验,辅助理解。最后,课件可以通过对优质资料做修改得到。

4 结语

深度学习在人工智能领域取得的进展举世瞩目。笔者在教学与科研共同实践的基础上,建议将深度学习引入人工智能类课程。虽然深度学习还处于高速发展阶段,很不成熟,有不少内容存在争议,但是笔者希望通过此文引起其他研究者的共鸣,共同推进深度学习的教学工作。

上一篇:面向计算机专业的计算方法教学研究 下一篇:《程序设计基础》部级“十二五”规划教材建...