卷积神经网络概述范文

卷积神经网络概述篇1

关键词：全卷积神经网络；显著性预测；缩略图生成

中图分类号：TP18 文献标识码：A 文章编号：1009-3044（2017）14-0149-02

1概述

缩略图是一种经压缩方式处理后的图片，在小尺度下包含了原图像大部分有效信息，可广泛应用于图像快速索引、网页超链接等多个领域。目前相关算法多采用固定分辨率缩放及中央裁剪等固定规则进行缩略图生成，而忽视图像自身具有的内容信息。为提高缩略图携带的有效信息，该文利提出一种利用全卷积神经网络对图像进行显著性预测，再由显著点密度自动获取图像中包含最有意义信息的区域进行截取，进而生成图像内容相关缩略图的算法。

2算法设计

为生成面向图像信息的自适应缩略图，该方法由两部分组成。第一部分为图像识别模块，主要工作是得到图像的显著性图；第二部分为自适应滑动窗口模块，主要工作是得到窗口内平均显著度最强的窗口坐标。

2.1显著性A测

该文在缩略图截取区域识别阶段采用显著性预测算法作为识别手段。显著性预测是目前非常活跃并正在不断取得突破性进展的机器视觉领域下的一个子领域，是一种模拟人类注意力机制的算法。其主要目标是对图像（画面）中吸引人注意的地方（显著性区域）进行自动的识别与提取，并生成与输入图像尺度对应的一张灰度图。其生成的灰度图中的高亮度区域代表具有显著性物体，如汽车、人脸、字母等，并且服从高斯分布。根据特征融合理论（Feature Integration Theory），目前已有多种基于卷积神经网络的显著性预测算法被提出（如DeepFix、SALICON等），并极大的提高了显著性识别的精度。

2.2卷积神经网络概述

为生得到面向内容的缩略图截取坐标，首先需要对图像内容进行识别，并对图像每个区域的重要程度进行分类。近年来由于GPU并行运算性能的突破性进步以及基于大数据技术的训练数据集扩充，深度卷积神经网络（Deep Convolutional Neu-ral Networks，DCNNs）在包括图像识别、目标跟踪及显著性预测等多个图像处理领域上的任务都取得了极大的提升。而预训练参数（Pretraining）与转移学习（Transfer Learning）等技术进一步提升了CNNs在多项图像处理任务中的泛化能力及可用性，因此该文采用截断VGG19模型为预训练网络，进行显著点识别及缩略图。全卷积神经网络与传统的全连接神经网络类似，均采用梯度下降算法对权值进行更新。不同点在于，全卷积神经网络每次更新的值包括卷积核的值以及该卷积核的权值。

2.3网络结构

该文所采用的全卷积神经网络采用截断的VGGl9预训练模型的前10层组成。VGGl9由进行图像识别（物体分类）的ImageNet数据集训练而成，可精确识别数据集中1000中物体分类，故其所学习的卷积核参数包含有丰富的物体信息。

其中网络的具体成分主要由10层卷积模块及3层最大池化层组成，而卷积模块依次由一层卷积层，一层批量归一化层以及一层ReLU（Rectified Linear Unit）激活函数层组成。其中前8层卷积层由普通3×3大小，1×1步长的卷积核组成，后两层卷积层由带2×2洞的3×3大小（故实际感受野为5×5），步长1×1的卷积核组成。

网络结构如图1所示。

2.4缩略图生成

由全卷积神经网络识别并得到的显著性图为灰度值为0-255的灰度图，大的灰度值代表高显著性激活度。在得到对应图像的显著性图之后，方法采用步长为10像素的滑动窗口对显著性图进行遍历，并选择所窗口内激活程度最高的区域所处坐标作为缩略图截取坐标。对于有多个相同激活值的区域则选取距离图像中心最近的区域所处坐标为缩略图截取坐标。最后通过对原始输入图像中对应缩略图截取坐标进行截取，得到最终缩略图。

3实验设计

根据算法流程，该方法中实验设计也可分为两部分：第一部分为训练用于得到显著点坐标的全卷积神经网络，第二部分为设计并实现基于显著性图的动态步长滑动窗口方法。

3.1网络参数及训练数据设置

该方法训练数据选自开放数据集MIT1003及SALI-CONt31。实验采用批量训练方法，每批数据由128个样本组成，共训练2000个批次。网络采用绝对平均误差（Mean AbsoluteError，MAE）为损失函数（如公式1所示），并采用改进的梯度下降算法Adam算法进行权值更新，以提高网络鲁棒性及收敛性。网络收敛曲线如图2所示。

3.2滑动窗口设计

在得到输入图像的显著性图之后，所提方法通过滑动窗口截取缩略图，并通过自适应步长降低算法的时间复杂度。自适应步长通过由当前窗口内显著性图的平均激活值得到。步长的最大分辨率为40像素，最小分辨率为5像素，当当前窗口内平均激活值小于预设阈值时，下一次窗口的滑动步长增加为当前步长2倍，直至增大到最大分辨率步长。当当前窗口呢平均激活值大于预设阈值时，则每一次滑动减小位原步长的1/2，直至衰减到最小分辨率步长。

3.3实验结果

在验证及测试阶段，采用的测量标准为AUC-Judd，相关系数（Correlation Coefficient）以及KL散度（Kullback-Leibler Diver-gence）。其中AUC-Judd越大越好，KL散度越小越好。训练收敛后以以上测量标准在MIT1003数据集上进行了验证测试，所得结果如表一所示。表一表面该方法在显著性预测上超过了传统方法，取得了较好的结果。

图3对所提方法得到的缩略图进行了直观展示。从中可知所提方法在缩略图生成的过程中对图像本身信息进行了有效提取且得到了有效的显著性图，并由该显著性图通过滑动窗口得到了缩略图所需的正确截取坐标。最后得到的缩略图对于原图像本身信息具有高代表性，且并未损失分辨率信息。

4结束语

卷积神经网络概述篇2

关键词:神经网络;信用卡;商业银行

中图分类号: TP18文献标识码:A文章编号:1009-3044(2010)10-2427-03

Analysis of Wish Using Credit Card Base on Neural Network

PENG Xin-chu

(Urumqi Central Branch, People's Bank of China, Urumqi 830002, China)

Abstract: The market of credit card is developing very fast recently. There are not many methods can be used to exploiting the market. Giving off questionnaire and judging the score is the only way of estimating potential users. Analyzing questionnaire using neural network effectively unveils potential users by concluding expert opinion. This way increases the probability of success in exploiting the market, meanwhile, reduces the burden of personnel of commercial bank.

Key words: neural network; credit card; commercial bank

本研究基于上千份信用卡使用意愿调查问卷。利用调查问卷统计数据对人工神经网络实例进行训练,使受适当训练的网络有能力泛化,即输入新的未在训练集中的问卷数据时,网络也有能力做出决策,给出专家意见,得出的研究结论可用来挖掘潜在的信用卡客户。本研究的创新之处一是构造了更加符合人类归纳思维的三层网络;二是利用面向对象的思想模拟了上千个填写问卷的消费者大脑,最终由它们集中决策通过表决机制预测潜在的消费者。

1 问卷构成及神经网络的结构

问卷设计的内容涉及消费者特征、技术感知、外部认知三个主要类项。每个类项下分别各有6个、5个、3个子类项,每个子类项又是问卷若干问题得分的平均值。各类项相互影响情况如图1。通常经济领域里应用较多的是BP神经网络,常使用MATLAB工具箱提供的工具来完成相关的编程。一般情况下要求BP三层神经网络中隐层的节点数多于输入层的节点数。为使各事物间联系更加符合人类的归纳思维,现打破常规,隐层仅采用三个节点分别代表消费者特征、技术感知、外部认知。这是因为根据心理学的有关知识,人脑仅会基于几个归纳后的要素做出决策,多于七个要素是不易被记忆的,例如手机号码通常采用四位分一组进行记忆,英文单词常要拆成词根来记忆。根据图1确认各类项的影响情况,现构造网络模型如图2。

该网络为三层,隐层仅有三个结点,输入层结点并不对隐层所有结点有输出。上百个原始数据训练上百个网络实例,上百个网络实例模拟了上百个不同人脑的部分功能。当有新的输入数据需要预测结果时,新的输入数据经过这上百个网络实例做出了上百个结果,在一定误差范围内,有m个网络实例选择为0,有n个网络实例选择为1。m和n居多者更能代表群体对新输入数据结果的判断。

2 算法描述

由于研究的主要方向是对模型辨识和预测,所以使用误差反向传播的前向网络(Back Propagation)。其隐层和输出层的激发函数选用连续可导的Sigmoid函数:

(1)

下面给出网络实例反向传播训练的步骤[1]:

1)置各层权值和阀值的初值,ωjk、ωij、θj、θk为小的随机数阵;误差代价函数ε赋值;设置循环次数R。

2)提供训练用的学习资料;输入矩阵xki(k=1,2…,R;i=1,2,…,11),经过参考模型(样本问卷调查的结果)可得到目标输出ypk,即教师信号;经过神经网络后可得到yk,对于每组k进行下面的第(3)至(6)步。

3)按式(2)计算隐层单元的输出aj,按式(3)计算网络输出yk。

(其中αi=xi) (2)

(3)

4)按照式(4)计算训练输出层误差值δk,按照式(5)计算训练隐层的误差值δj。

k=1(4)

(5)

5)按照式(6)、式(7)、式(8)、式(9)分别修正隐层权值ωij、输出层权值ωjk、隐层阀值θj、输出层阀值θk。式中η、α均为学习速率系数。η为各层按梯度搜索的步长,α是各层决定过去权值的变化对目前权值变化的影响的系数。

(6)

(7)

(8)

(9)

6)判断是否满足精度要求|Уpk-У|

在使用1000份调查问卷统计数据对网络进行训练时,网络通过比对输出值和教师值(信用卡调查问卷中已使用了信用卡和打算要使用信用卡的值为1否则为0)不断调整各结点输出权重,直到使网络输出和教师值的误差在较小的范围内,从而得到1000组权重矩阵。在对新问卷进行预测时,程序依次载入权重矩阵集,并通过网络输出和教师值比对结果确认新问卷和哪些训练集中的问卷相似。相似的程度(即网络的模式识别能力)是通过设定误差的取值来确定的。误差的大小可由程序从一个较小值(如0.001)逐渐增大,直到找到一份相似问卷终止。若有多份相似问卷同时被找到,再通过确认它们教师值的概率大小来预测新问卷调查者是否是潜在的信用卡使用者。

3 MATLAB程序设计

clear;load SampleData.txt;load Teacher.txt; %读入1000个样本数据,读入教师数据

X= SampleData; T= Teacher; X = X/50; %降低网络输入强度

R=1000; epsilon=0.01; %设置循环次数和训练的数据条数相同,设定误差

for n=1:R

Wij=rand(11,3);Wijold=zeros(11,3);Wjk=rand(3,1);Wjkold=[0;0;0];%随机产生i层到j层及j层到k层的权值

卷积神经网络概述篇3

网络的跨时空性、便利性、匿名性和实施交互性等特点，使得网络沟通成为一种发展最迅速的沟通形式。互联网的广泛普及和迅猛发展在给人们的工作和生活带来诸多便利的同时，也正在缔造着一种危机――网络成瘾。现代医学证实，一个人如果不能控制对网络的依赖，很容易患上“网络成瘾综合征”（internet addiction disorder简称IAD），医学上又称之为“病态性使用互联网”（pathological internet use 简称PIU）。据中国互联网中心（CNNIC）2004年6月30日的第十四次《中国互联网发展状况统计报告》显示：2004年6月30日，8700万的网民中18~24岁的用户占36.8%居首位。这表明，上网正逐步成为大学生生活的重要组成部分。

由网络成瘾而引发的心理障碍或社会适应障碍等案例正随着网络的普及逐渐增多。网络成瘾会导致部分大学生学习成绩下降、行为异常、心理错位。在极端情况下，网络成瘾者不再清楚虚拟和现实世界的区别，使得他们的人际关系和社会生活受到影响，长期下去必会阻碍学习和生活的正常进行。在大学生中，网络成瘾已成为影响其学习、生活、身心健康的重大公害，因此必须重视大学生的网络心理。关于大学生网络成瘾的研究主要集中于定性的描述和理论探讨上。对造成网络成瘾的原因探讨涉及到个人心理因素和外部环境两方面。本研究主要探讨大学生网络成瘾与其各心理因素之间的关系。

材料和方法

1.材料

很多研究表明，网络成瘾者往往具有某些特殊的人格特征，如角色混乱、人格扭曲、道德感弱化等。本研究拟通过病例对照研究来揭示网络成瘾大学生的人格特征及应对方式、人际交往、社会支持、生活满意度等方面的情况。

2.研究工具

将网络成瘾问卷、问卷艾森克人格问卷（EPQ）、卡特尔16种人格因素分析（16PF）、简易应对方式问卷（SCSQ）、交往焦虑量表（IAS）、人际信任量表（IT）、领悟社会支持量表（PSSS）和生活满意度指数B（LSIB）按顺序编制成一份问卷。

其中网络成瘾问卷由Young KS编制，共8个问题，以“是”与“否”作答（“是”1分，“否”0分），总分≥5分者可判定为网络成瘾（IAD）。

3.取样

从黑龙江大学2002~2005级404个专业本科生中，利用SPSS软件采用整群随机抽样的方式，共抽取13个专业（班级），1071名学生，发放网络使用情况调查问卷1030份，回收问卷906份，其中有效问卷881份。

4.施测过程

以班为单位进行统一施测，主试经过严格培训。

5.分组

在调查对象中选取网络成瘾问卷总分≥5分者进行访谈，确认具有网络成瘾的被试共50人（男生41人、女生9人）为病例组。从样本总体中排除成瘾组的学生后利用SPSS软件随机抽样选取对照组98人（男生83人、女生15人）。经检验，病例组和对照组在人口学统计资料方面均无显著性差异，可以用作对比分析。

6.数据处理

应用SPSS11.0统计分析软件包对数据进行描述性统计分析，t检验、方差分析、x2检验、多元逐步回归分析及相关分析。

结果分析

一是大学生中存在一定比例的网络成瘾现象，本研究结果表明，大学生网络成瘾发生率为6.02%。

二是网络成瘾状况在性别、年级、家庭所在地和专业特征方面有一定差异。其中男生网络成瘾发生率明显高于女生、城镇生源学生的网络成瘾发生率明显高于农村生源，理工科专业学生的网络成瘾发生率明显高于文科类学生、各年级学生网络成瘾的发生率也各有不同，二、三年级学生的网络成瘾发生率明显高于一、四年级；其中大二最高，大一最低；一年级到二年级显著增高，三年级到四年级比例显著降低。

三是EPQ问卷结果显示除E量表外其余各量表均分IAD组均高于非IAD组，在P（精神质）量表中IAD组与非IAD组有显著差异（P

四是16PF问卷对比分析中，部分因子在被试中有显著差异。

五是在SCSQ、IAS、IT、PSSS和LSIB问卷分析中，在积极应对方式上IAD组和非IAD组有差异（P

六是以网络成瘾问卷分数作因变量，将与网络成瘾相关的有统计学差异的因子P（精神质）、积极应对方式、领悟社会支持、生活满意度、性别、平均每周上网时间、平均每周上网次数等可能的影响因素作自变量，以后退法（最大似然比函数检验）（入选标准α=0.50，剔除标准β＝0.10）进行多因素条件逻辑回归分析。结果表明性别、平均每周上网时间、生活满意度三个因子对网络成瘾有预测作用。

一点建议

网络成瘾大学生整体心理健康水平相对要低于非网络成瘾者的心理健康水平，这种不良的人格特征和生活事件的应激相互作用，使网络成瘾者愈发沉迷于网络，不能自拔，以致引发更严重的后果，因此必须重视青少年和大学生中的网络成瘾情况，采取有力措施。

第一，引导大学生合理利用网络，净化网络环境。正值青春期的大学生，心理发展正处于走向成熟的关键时期。应制定相应的网络管理条例，对大学生的非理性的网络行为加以引导和约束，强化大学生的网络责任感，鼓励他们控制上网时间，养成良好的上网习惯。同时应加强网络监督机制，倡导诚信上网，净化网络环境，要在加强社会监管的同时从自身做起，抵制网络的不良行为。

第二，培养大学生的网络心理素质。一个心理健康的人需要有正确的认知、健全的意志、恰当的自我评价，良好的人际交往和社会适应能力。大学生网络的心理素质要充分适应网络环境和网络社会生活。首先，要培养良好的网络认知能力，即认识到网络的正负两面性，趋利避害、合理利用。其次，要培养良好的网络交往能力，要了解网络的虚拟性和现实世界的差别，真诚待人。最后，要有健全的意志和恰当的自我评价，健全的意志和恰当的自我评价可以表现出较多的自觉性、果断性、持之以恒，不受外界诱惑，对自己抱有正确的态度，不骄傲也不自卑。

第三，帮助大学生确立目标，合理进行生活规划。许多大学生沉迷于网络是因为进入大学后失去了理想和目标，转而从网络中寻找慰藉。应当帮助大学生树立切实的目标，合理进行生活规划，让他们知道大学阶段知识积累的重要性，树立切实的目标并为之奋斗。同时鼓励大学生积极参加学校的集体活动，在活动中获得知识，增强思考能力，提高实践技能，逐渐分散对网络的关注和依赖。

第四，积极塑造健全人格。美国心理学家奥尔波特认为，成熟、健康是人格健全的标志，健全的人格可以使大学生迅速适应环境，进行自我调整，在新的环境中找到自己的朋友，排除各方面的干扰，及时宣泄不良情绪，具有正确的自我认知，能够解决内心冲突。

参考文献：

[1]丁海燕.网络成瘾研究述评.大学时代B，2006（4）.

[2]叶新东.网络成瘾研究概述.心理科学，2004；27（10）：144-148.

[3]林绚辉，阎巩固.大学生上网行为及网络成瘾探讨[J].中国心理卫生杂志，2001，15（4）：281-283.

[4]王立皓，童辉杰.大学生网络成瘾与社会支持、交往焦虑、自我和谐的关系[J].健康心理学杂志，2003，11（2）：94-96.

[5]张宏如.网络成瘾学生动机与人格特征[J].健康心理学杂志，2003，11（5）：398-400.

[6]龚耀先.艾森克个性手册[M].湖南医学院，1993；2-31.

卷积神经网络概述篇4

关键词：人工智能 机器学习 机器人情感获得 发展综述

中图分类号：TP18 文献标识码：A 文章编号：1003-9082 （2017） 04-0234-01

引言

人类自从工业革命结束之后，就已然开始了对人工智能的探索，究其本质，实际上就是对人的思维进行模仿，以此代替人类工作。人工智能的探索最早可以追溯到图灵时期，那时图灵就希望未来的智能系统能够像人一样思考。在20世纪五十年代，人工智能被首次确定为一个新兴的学科，并吸引了大批的学者投入到该领域的研究当中。经过长时间的探索和尝试，人工智能的许多重要基本理论已经形成，如模式识别、特征表示与推理、机器学习的相关理论和算法等等。进入二十一世纪以来，随着深度学习与卷积神经网络的发展，人工智能再一次成为研究热点。人工智能技术与基因过程、纳米科学并列为二十一世纪的三大尖端技术， 并且人工智能涉及的学科多，社会应用广泛，对其原理和本质的理解也更为复杂。 一、人工智能的发展历程

回顾人工智能的产生与发展过程 ，可以将其分为：初期形成阶段，综合发展阶段和高潮应用阶段。

1.初期形成阶段

人工智能这一思想最早的提出是基于对人脑神经元模型的抽象。其早期工作被认为是由美国的神经学家和控制论学者 Warren McCulloch与Walter Pitts共同完成的。在1951年，两名普林斯顿大学的研究生制造出了第一台人工神经元计算机。而其真正作为一个新的概念被提出是在1956年举行的达茅斯会议上。由麦卡锡提议并正式采用了“人工智能”（Artificial Intelligence）砻枋稣庖谎芯咳绾斡没器来模拟人类智能的新兴学科。1969年的国际人工智能联合会议标志着人工智能得到了国际的认可。至此，人工智能这一概念初步形成，也逐渐吸引了从事数学、生物、计算机、神经科学等相关学科的学者参与该领域的研究。

2.综合发展阶段

1.7 7年， 费根鲍姆在第五届国际人工智能联合会议上正式提出了“知识工程”这一概念。而后其对应的专家系统得到发展，许多智能系统纷纷被推出，并应用到了人类生活的方方面面。20世纪80年代以来，专家系统逐步向多技术、多方法的综合集成与多学科、多领域的综合应用型发展。大型专家系统开发采用了多种人工智能语言、多种知识表示方法、多种推理机制和多种控制策略相结合的方式， 并开始运用各种专家系统外壳、专家系统开发工具和专家系统开发环境等等。在专家系统的发展过程中，人工智能得到了较为系统和全面的综合发展，并能够在一些具体的任务中接近甚至超过人类专家的水平。

3.高潮应用阶段

进入二十一世纪以后，由于深度人工神经网络的提出，并在图像分类与识别的任务上远远超过了传统的方法，人工智能掀起了前所未有的高潮。2006年，由加拿大多伦多大学的Geoffery Hinton及其学生在《Science》杂志上发表文章，其中首次提到了深度学习这一思想，实现对数据的分级表达，降低了经典神经网络的训练难度。并随后提出了如深度卷积神经网络（Convolutional Neural Network， CNN），以及区域卷积神经网络（Region-based Convolutional Neural Network， R-CNN），等等新的网络训练结构，使得训练和测试的效率得到大幅提升，识别准确率也显著提高。

二、人工智能核心技术

人工智能由于其涉及的领域较多，内容复杂，因此在不同的应用场景涉及到许多核心技术，这其中如专家系统、机器学习、模式识别、人工神经网络等是最重要也是发展较为完善的几个核心技术。

1.专家系统

专家系统是一类具有专门知识和经验的计算机智能程序系统，通过对人类专家的问题求解能力建模，采用人工智能中的知识表示和知识推理技术来模拟通常由专家才能解决的复杂问题，达到具有与专家同等解决问题能力的水平。对专家系统的研究，是人工智能中开展得较为全面、系统且已经取得广泛应用的技术。许多成熟而先进的专家系统已经被应用在如医疗诊断、地质勘测、文化教育等方面。

2.机器学习

机器学习是一个让计算机在非精确编程下进行活动的科学，也就是机器自己获取知识。起初，机器学习被大量应用在图像识别等学习任务中，后来，机器学习不再限于识别字符、图像中的某个目标，而是将其应用到机器人、基因数据的分析甚至是金融市场的预测中。在机器学习的发展过程中，先后诞生了如凸优化、核方法、支持向量机、Boosting算法等等一系列经典的机器学习方法和理论。机器学习也是人工智能研究中最为重要的核心方向。

3.模式识别

模式识别是研究如何使机器具有感知能力 ，主要研究图像和语音等的识别。其经典算法包括如k-means，主成分分析（PCA），贝叶斯分类器等等。在日常生活各方面以及军事上都有广大的用途。近年来迅速发展起来应用模糊数学模式、人工神经网络模式的方法逐渐取代传统的基于统计学习的识别方法。图形识别方面例如识别各种印刷体和某些手写体文字，识别指纹、癌细胞等技术已经进入实际应用。语音识别主要研究各种语音信号的分类，和自然语言理解等等。模式识别技术是人工智能的一大应用领域，其非常热门的如人脸识别、手势识别等等对人们的生活有着十分直接的影响。

4.人工神经网络

人工神经网络是在研究人脑的结构中得到启发， 试图用大量的处理单元模仿人脑神经系统工程结构和工作机理。而近年来发展的深度卷积神经网络（Convolutional neural networks， CNNs）具有更复杂的网络结构，与经典的机器学习算法相比在大数据的训练下有着更强的特征学习和表达能力。含有多个隐含层的神经网络能够对输入原始数据有更抽象喝更本质的表述，从而有利于解决特征可视化以及分类问题。另外，通过实现“逐层初始化”这一方法，实现对输入数据的分级表达，可以有效降低神经网络的训练难度。目前的神经网络在图像识别任务中取得了十分明显的进展，基于CNN的图像识别技术也一直是学术界与工业界一致追捧的热点。

三、机器人情感获得

1.智能C器人现状

目前智能机器人的研究还主要基于智能控制技术，通过预先定义好的机器人行动规则，编程实现复杂的自动控制，完成机器人的移动过程。而人类进行动作、行为的学习主要是通过模仿及与环境的交互。从这个意义上说，目前智能机器人还不具有类脑的多模态感知及基于感知信息的类脑自主决策能力。在运动机制方面，目前几乎所有的智能机器人都不具备类人的外周神经系统，其灵活性和自适应性与人类运动系统还具有较大差距。

2.机器人情感获得的可能性

人脑是在与外界永不停息的交互中，在高度发达的神经系统的处理下获得情感。智能机器人在不断的机器学习和大数据处理中，中枢处理系统不断地自我更新、升级，便具备了获得情感的可能性及几率。不断地更新、升级的过程类似于生物的进化历程，也就是说，智能机器人有充分的可能性获得与人类同等丰富的情感世界。

3.机器人获得情感的利弊

机器人获得情感在理论可行的情况下，伴之而来的利弊则众说纷纭。一方面，拥有丰富情感世界的机器人可以带来更多人性化的服务，人机合作也可进行地更加深入，可以为人类带来更为逼真的体验和享受。人类或可与智能机器人携手共创一个和谐世界。但是另一方面，在机器人获得情感时，机器人是否能彻底贯彻人类命令及协议的担忧也迎面而来。

4.规避机器人情感获得的风险

规避智能机器人获得情感的风险应预备强制措施。首先要设计完备的智能机器人情感协议，将威胁泯灭于未然。其次，应控制智能机器人的能源获得，以限制其自主活动的能力，杜绝其建立独立体系的可能。最后，要掌控核心武器，必要时强行停止运行、回收、甚至销毁智能机器人。

三、总结

本文梳理了人工智能的发展历程与核心技术，可以毋庸置疑地说，人工智能具有极其广阔的应用前景，但也伴随着极大的风险。回顾其发展历程，我们有理由充分相信，在未来人工智能的技术会不断完善，难题会被攻克。作为世界上最热门的领域之一，在合理有效规避其风险的同时，获得情感的智能机器人会造福人类，并极大地帮助人们的社会生活。

参考文献

[1]韩晔彤.人工智能技术发展及应用研究综述[J].电子制作，2016，（12）：95.

[2]曾毅，刘成林，谭铁牛.类脑智能研究的回顾与展望[J].计算机学报，2016，（01）：212-222.

[3]张越.人工智能综述：让机器像人类一样思考

[4]张妮，徐文尚，王文文.人工智能技术发展及应用研究综述[J].煤矿机械，2009，（02）：4-7.

卷积神经网络概述篇5

黑科技？神经网络是个什么鬼

说到神经网络，很多朋友都会认为这是一个高大上的概念。从生物学角度来说，人类复杂的神经系统是由数目繁多的神经元组合而成，它们互相联结形成神经网络，经过对信息的分析和综合，再通过运动神经发出控制信息，从而实现各种精密活动，如识别各种物体、学习各种知识、完成各种逻辑判断等。

随着人工智能技术的发展，科学家开发出人工神经网络，它的构成原理和功能特点等方面更加接近人脑。它不是按给定的程序一步一步地执行运算，而是能够自身适应环境、总结规律、完成某种运算、识别或过程控制。比如多伦多大学的Krizhevsky等人构造了一个超大型卷积神经网络，有9层，共65万个神经。第一层神经元只能识别颜色和简单纹理，但是第五层的一些神经元可以识别出花、圆形屋顶、键盘、乌、黑眼圈等更为抽象丰富的物体（图1）。因此神经网络实际上是基于人工智能技术而形成的一种和人类神经网络相似的网络系统。

媲美Photoshop 神经网络磨皮技术背后

如上所述，现在神经网络技术发展已经非常迅猛，而且运用在各个领域。神经网络磨皮则是指该技术在照片识别和美化方面的运用。那么它是怎样实现对照片的美化？在Photoshop中磨皮操作是用户先选中人脸区域，然后再使用Photoshop内置的方法实现磨皮。神经网络磨皮原理类似，只不过这些操作是自动完成的。

首先是对照片人脸识别。要实现对照片的美容就必须先精确识别人脸，由于人脸有五官这个显著特征，因此神经网络磨皮技术只要通过机器对一定数量的人脸照片进行识别、读取，然后就可以精确识别人脸。它的原理和常见的人脸识别技术类似（图2）。

其次则是美化。在完成人脸识别后就需要对美化操作进行机器学习，以磨皮为例。因为人脸的每个年龄阶段皮肤性质是不同的，为了达到更真实的磨皮效果，神经网络磨皮是实现用户“回到”幼年或者“穿越”到老年脸部皮肤的效果。研究人员将年龄段分类为0～18岁、19～29岁、30～39岁、40～49岁、50～59岁和60岁以上这几个阶段（图3）。

然后准备两个深度学习机器同时工作。两个机器一个用来生成人脸，一个用来鉴别人脸。而且两个机器会通过分析人脸图像，提前学习到各年龄段人脸大概是什么样子的。在每个年龄分组里，研究人员让机器学习超过5000张标记过年龄的人脸图像。通过大量的照片学习后，机器就可以学会每个年龄分组内的标签，它可以准确知道每个人不同年龄阶段的脸部特征。这样无论你是要磨皮为年轻时的皮肤光滑、圆润状态，还是要变为50岁以后皱褶、粗糙的皮肤，神经磨皮都可以轻松帮助你实现。

当然学习有个通病，就是在合成过程中，机器可能会丧失掉图片原有的识别资料（1D）。为了解决这个问题，上述介绍中的人脸鉴别机器就发挥功效了。它通过查看这个照片的识别资料是不是唯一的，如果不是的话照片则会被拒绝输出。研究人员让机器合成10000张从数据库中抽取出来的人像，这些照片之前从未用来训练机器。然后他们用开发的软件程序来检测训练前后的两张照片是否为同一个人，测试结果显示有80%经训练的照片都被认为和原照片是同一个人（而作为对比，用其他方法加工照片，平均测试结果只有50%）。举个简单例子，如果40岁的用户将自己磨皮为20岁的样子，如果软件程序来检测训练前后的两张照片为同一个人，那么就输出磨皮效果，从而让用户可以轻松磨皮到20岁的状态。这样经过训练的神经磨皮算法可以很真实地实现人脸的磨皮。

神经网络 不H仅是磨皮

从上述介绍可以知道，神经网络磨皮技术可以让用户可以很轻松地熟悉磨皮操作。对于用户来说，磨皮操作极为简单，他们只要输入年龄数字，一切磨皮效果都可以通过程序内部算法自动实现。

卷积神经网络概述篇6

过去10年，人们对机器学习的兴趣激增。几乎每天，你都可以在各种各样的计算机科学课程、行业会议、华尔街日报等等看到有关机器学习的讨论。在所有关于机器学习的讨论中，许多人把机器学习能做的事情和他们希望机器学习做的事情混为一谈。从根本上讲，机器学习是使用算法从原始数据中提取信息，并在某种类型的模型中表示这些信息。我们使用这个模型来推断还没有建模的其他数据。

神经网络是机器学习的一种模型，它们至少有50年历史了。神经网络的基本单元是节点(node)，基本上是受哺乳动物大脑中的生物神经元启发。神经元之间的连接也以生物的大脑为模型，这些连接随着时间的推移而发展的方式是为“训练”。

在20世纪80年代中期和90年代初期，许多重要的架构进步都是在神经网络进行的。然而，为了得到好的结果需要大量时间和数据，这阻碍了神经网络的采用，因而人们的兴趣也减少了。在21世纪初，计算能力呈指数级增长，计算技术出现了“寒武纪大爆发”。在这个10年的爆炸式的计算增长中，深度学习成为这个领域的重要的竞争者，赢得了许多重要的机器学习竞赛。直到2017年，这种兴趣也还没有冷却下来；今天，我们看到一说机器学习，就不得不提深度学习。

作者本人也注册了Udacity的“Deep Learning”课程，这门课很好地介绍了深度学习的动机，以及从TensorFlow的复杂和/或大规模的数据集中学习的智能系统的设计。在课程项目中，我使用并开发了用于图像识别的卷积神经网络，用于自然语言处理的嵌入式神经网络，以及使用循环神经网络/长短期记忆的字符级文本生成。

本文中，作者总结了10个强大的深度学习方法，这是AI工程师可以应用于他们的机器学习问题的。首先，下面这张图直观地说明了人工智能、机器学习和深度学习三者之间的关系。

人工智能的领域很广泛，深度学习是机器学习领域的一个子集，机器学习又是人工智能的一个子领域。将深度学习网络与“经典的”前馈式多层网络区分开来的因素如下:

比以前的网络有更多的神经元更复杂的连接层的方法用于训练网络的计算机能力的“寒武纪大爆炸”自动特征提取

这里说的“更多的神经元”时，是指神经元的数量在逐年增加，以表达更复杂的模型。层(layers)也从多层网络中的每一层都完全连接，到在卷积神经网络中层之间连接局部的神经元，再到在循环神经网络中与同一神经元的循环连接(recurrent connections)。

深度学习可以被定义为具有大量参数和层的神经网络，包括以下四种基本网络结构：

无监督预训练网络卷积神经网络循环神经网络递归神经网络

在本文中，主要介绍后三种架构。基本上，卷积神经网络(CNN)是一个标准的神经网络，通过共享的权重在空间中扩展。CNN设计用于通过内部的卷积来识别图像，它可以看到图像中待识别的物体的边缘。循环神经网络(RNN)被设计用于识别序列，例如语音信号或文本。它的内部有循环，这意味着网络上有短的记忆。递归神经网络更像是一个层级网络，在这个网络中，输入必须以一种树的方式进行分层处理。下面的10种方法可以应用于所有这些架构。

1.反向传播

反向传播(Back-prop)是一种计算函数偏导数(或梯度)的方法，具有函数构成的形式(就像神经网络中)。当使用基于梯度的方法(梯度下降只是方法之一)解决优化问题时，你需要在每次迭代中计算函数梯度。

对于神经网络，目标函数具有组合的形式。如何计算梯度呢？有两种常用的方法：(i)解析微分(Analytic differentiation)。你已经知道函数的形式，只需要用链式法则(基本微积分)来计算导数。(ii)利用有限差分进行近似微分。这种方法在计算上很昂贵，因为函数值的数量是O(N)，N指代参数的数量。不过，有限差分通常用于在调试时验证back-prop实现。

2.随机梯度下降法

一种直观理解梯度下降的方法是想象一条河流从山顶流下的路径。梯度下降的目标正是河流努力达到的目标——即，到达最底端(山脚)。

现在，如果山的地形是这样的，在到达最终目的地之前，河流不会完全停下来(这是山脚的最低点，那么这就是我们想要的理想情况。)在机器学习中，相当从初始点(山顶)开始，我们找到了解决方案的全局最小(或最佳)解。然而，可能因为地形的性质迫使河流的路径出现几个坑，这可能迫使河流陷入困境。在机器学习术语中，这些坑被称为局部极小值，这是不可取的。有很多方法可以解决这个问题。

因此，梯度下降很容易被困在局部极小值，这取决于地形的性质(用ML的术语来说是函数的性质)。但是，当你有一种特殊的地形时(形状像一个碗，用ML的术语来说，叫做凸函数)，算法总是保证能找到最优解。凸函数对ML的优化来说总是好事，取决于函数的初始值，你可能会以不同的路径结束。同样地，取决于河流的速度(即，梯度下降算法的学习速率或步长)，你可能以不同的方式到达最终目的地。这两个标准都会影响到你是否陷入坑里(局部极小值)。

3.学习率衰减

根据随机梯度下降的优化过程调整学习率(learning rate)可以提高性能并减少训练时间。有时这被称为学习率退火(learning rate annealing)或自适应学习率(adaptive learning rates)。训练过程中最简单，也是最常用的学习率适应是随着时间的推移而降低学习度。在训练过程开始时使用较大学习率具有进行大的改变的好处，然后降低学习率，使得后续对权重的训练更新更小。这具有早期快速学习好权重，后面进行微调的效果。

两种常用且易于使用的学习率衰减方法如下：

逐步降低学习率。在特定的时间点较大地降低学习率。

4 . Dropout

具有大量参数的深度神经网络是非常强大的机器学习系统。然而，过拟合在这样的网络中是一个严重的问题。大型网络的使用也很缓慢，这使得在测试时将许多不同的大型神经网络的预测结合起来变得困难。Dropout是解决这个问题的一种方法。

Dropout的关键想法是在训练过程中随机地从神经网络中把一些units(以及它们的连接)从神经网络中删除。这样可以防止单元过度适应。在训练过程中，从一个指数级的不同的“稀疏”网络中删除一些样本。在测试时，通过简单地使用一个具有较小权重的单一网络，可以很容易地估计所有这些“变瘦”了的网络的平均预测效果。这显著减少了过拟合，相比其他正则化方法有了很大改进。研究表明，在视觉、语音识别、文档分类和计算生物学等监督学习任务中，神经网络的表现有所提高，在许多基准数据集上获得了state-of-the-art的结果。

5. Max Pooling

最大池化(Max pooling)是一个基于样本的离散化过程。目标是对输入表示(图像，隐藏层输出矩阵等)进行下采样，降低其维度，并允许对包含在分区域中的特征进行假设。

这在一定程度上是为了通过提供一种抽象的表示形式来帮助过拟合。同时，它通过减少学习的参数数量，并为内部表示提供基本的平移不变性(translation invariance)，从而减少计算成本。最大池化是通过将一个最大过滤器应用于通常不重叠的初始表示的子区域来完成的。

6.批量归一化

当然，包括深度网络在内的神经网络需要仔细调整权重初始化和学习参数。而批量标准化有助于实现这一点。

权重问题：无论权重的初始化如何，是随机的也好是经验性的选择也罢，都距离学习到的权重很遥远。考虑一个小批量(mini batch)，在最初时，在所需的特征激活方面将会有许多异常值。

深度神经网络本身是有缺陷的，初始层中一个微小的扰动，就会导致后面层巨大的变化。在反向传播过程中，这些现象会导致对梯度的分散，这意味着在学习权重以产生所需输出之前，梯度必须补偿异常值，而这将导致需要额外的时间才能收敛。

批量归一化将梯度从分散规范化到正常值，并在小批量范围内向共同目标(通过归一化)流动。

学习率问题：一般来说，学习率保持较低，只有一小部分的梯度校正权重，原因是异常激活的梯度不应影响学习的激活。通过批量归一化，减少异常激活，因此可以使用更高的学习率来加速学习过程。

7.长短时记忆

LSTM网络在以下三个方面与RNN的神经元不同：

能够决定何时让输入进入神经元；能够决定何时记住上一个时间步中计算的内容；能够决定何时让输出传递到下一个时间步长。

LSTM的优点在于它根据当前的输入本身来决定所有这些。所以，你看下面的图表：

当前时间标记处的输入信号x(t)决定所有上述3点。输入门从点1接收决策，遗忘门从点2接收决策，输出门在点3接收决策，单独的输入能够完成所有这三个决定。这受到我们的大脑如何工作的启发，并且可以基于输入来处理突然的上下文/场景切换。

8. Skip-gram

词嵌入模型的目标是为每个词汇项学习一个高维密集表示，其中嵌入向量之间的相似性显示了相应词之间的语义或句法相似性。Skip-gram是学习单词嵌入算法的模型。

Skip-gram模型(以及许多其他的词语嵌入模型)的主要思想是：如果两个词汇项(vocabulary term)共享的上下文相似，那么这两个词汇项就相似。

换句话说，假设你有一个句子，比如“猫是哺乳动物”。如果你用“狗”去替换“猫”，这个句子仍然是一个有意义的句子。因此在这个例子中，“狗”和“猫”可以共享相同的上下文(即“是哺乳动物”)。

基于上述假设，你可以考虑一个上下文窗口(context window，一个包含k个连续项的窗口)，然后你跳过其中一个单词，试着去学习一个能够得到除跳过项外所有项的神经网络，并预测跳过的项是什么。如果两个词在一个大语料库中反复共享相似的语境，则这些词的嵌入向量将具有相近的向量。

9.连续词袋(Continuous Bag Of Words)

在自然语言处理问题中，我们希望学习将文档中的每个单词表示为一个数字向量，使得出现在相似的上下文中的单词具有彼此接近的向量。在连续的单词模型中，我们的目标是能够使用围绕特定单词的上下文并预测特定单词。

我们通过在一个庞大的语料库中抽取大量的句子来做到这一点，每当我们看到一个单词时，我们就会提取它周围的单词。然后，我们将上下文单词输入到一个神经网络，并预测位于这个上下文中心的单词。

当我们有成千上万的这样的上下文单词和中心词以后，我们就有了一个神经网络数据集的实例。训练神经网络，最后编码的隐藏层输出表示特定单词的嵌入。而当我们对大量的句子进行训练时也能发现，类似语境中的单词得到的是相似的向量。

10.迁移学习

让我们考虑图像如何穿过卷积神经网络。假设你有一个图像，你应用卷积，并得到像素的组合作为输出。假设这些输出是边缘(edge)。现在再次应用卷积，现在你的输出就是边或线的组合。然后再次应用卷积，你的输出是线的组合，以此类推……你可以把它看作是每一层寻找一个特定的模式。神经网络的最后一层往往会变得非常特异化。如果你在ImageNet上工作，你的网络最后一层大概就是在寻找儿童、狗或飞机等整体图案。再往后倒退几层，你可能会看到网络在寻找眼睛或耳朵或嘴巴或轮子这样的组成部件。

卷积神经网络概述篇7

关键词：卷积神经网络；人脸识别；大样本；对抗生成网络

中图分类号：TP391 文献标识码：A 文章编号：2095-1302（2017）07-00-04

0 引 言

近几年，基于大量训练数据的卷积神经网络（Convolutional Neural Networks，CNN）在目标检测、目标识别、显著性检测、行为识别、人脸识别和对象分割等计算机视觉领域取得了举世瞩目的成果。这些令人鼓舞的成绩主要归功于以下几点：

（1）将大量有标签的数据作为训练集，学习出具有百万参数的模型，从而使卷积神经网络能够有效提取对象的本质特征；

（2）不断改进性能优异的网络结构，如Very Deep VGG Network[1]，Google Inception Network[2]和Deep Residual Networks[3]等；

（3）各种并行计算硬件设备（如GPU）的支持，大大提高了CNN训练模型的效率。其中，将标签的大量数据作为训练集起着至关重要的作用。

本文以人脸识别为例，讨论和综述多样本算法的研究现状和发展方向。

有效的特征是目标识别的关键，对人脸识别问题来说亦如此。传统的主成分分析（Principal Component Analysis，PCA）[4，5]，线性区分分析（Linear Discriminant Analysis， LDA）[6]和局部二值模式化（Local Binary Pattern，LBP）[7，8]等取得了不错的成绩。基于传统特征的人脸识别受限于环境，此类特征作用在复杂或者背景多变的人脸图像时，其识别性能往往大幅下降，如在LFW数据集上其识别率骤然下降[9]。

采用CNN作为特征提取模型，主要考虑到该模型的所有处理层，包括像素级别的输入层，均可从数据中学习到可调节的参数。即CNN能自哟哟笫据中学习特征，无需人工设计特征。合理有效的特征需从大量数据和大量参数中自动学习获取，从而达到优秀的识别性能。基于卷积神经网络的世界领先方法均使用了上百万的数据，其中最具有代表性的如VGG-Face网络需要260万个人脸图像样本进行训练[10]，Facebook的DeepFace网络需要440万个有标签的人脸图像样本训练[11]。而Google更使用了2亿样本数据来训练FaceNet网络[12]。

1 多样本获取现状

如引言所述，有效合理的特征是目标识别的关键，而CNN能从大量有标签的数据中自动学习图像的本质特征。获得图像特征的关键因素是有标签的大数据。因此许多研究的前提工作均聚焦在人工获取数据和给数据加标签方面。然而，获取百万级的数据并非易事。大数据获取需要人工从网上下载、处理，然后给数据添加标签，耗费大量的人力物力。虽然也有一些公开免费的数据集，且收集该类数据相对比较容易，如CASIA-WebFace[13]，有49万个图像，但远少于Facebook和Google的数据集。在这种情况下，缺乏大量样本直接阻碍了深度学习方法的使用，成为阻碍提高检测率和识别率的瓶颈。除了深度学习技术提取特征需要大量样本外，已有研究证明[14-19]，基于传统方法的技术同样需要大量样本作为支撑。在这种形势下，通过图像处理与机器学习技术自动增加样本集已成为必要手段。

无论基于传统方法的识别问题，还是基于深度学习的识别问题，大量有标签的数据作为训练集在算法中起着举足轻重的作用。如果样本不足，算法往往过拟合，无法提高算法的性能。为了获得更多样本，一些研究工作从网络上获取数据，例如在IMDb上，已经把9万有标签的数据集扩大到了26万 [10]。除此之外，Facebook获取了440万个有标签的人脸进行DeepFace网络训练[11]，而Google使用2亿个数据训练FaceNet网络[12]。

目前获取方法具有如下局限：

（1）现有方法耗时耗力，需要经费支持。获取百万级的数据并非易事。大数据获取需要人工从网上下载、处理，然后给数据添加标签，耗费大量的人力物力。这种情况下，只有像Facebook和Google这样的大公司会收集大量有标签的数据进行网络训练。而大多数情况下的数据收集涉及个人隐私与财力物力等问题，对于一般的小公司或科研院所而言，收集数据普遍难度较大。

（2）收集特殊图片困难。对于一些特殊的图像，如医学图像，遥感图像，现实中数量本身就少，加之无法直接从网上获取，因此小样本很容易导致过拟合。

2 样本集扩大算法研究现状

2.1 基于传统方法的多样本算法研究现状

对于传统的样本生成算法，如果数据集中有足够的训练样本，均可得到比较满意的识别结果，但在现实的人脸数据库中，人脸的数据样本却是有限的。文献[20]表明，增加图像样本的数量可以较大幅度提高识别的准确率。

为了增加样本数量，提高识别准确率，科研工作者已做了大量工作。其中，借助原始样本产生虚拟样本是一种有效的增加数据集方法。这种方法大致分为如下几类：

（1）通过人脸图像的对称性来得到原始样本的虚拟样本，如Xu[14，15]和Liu等[21]提出借助原始图像的“对称脸”和“镜像脸”产生虚拟样本，从而扩大数据集并提高人脸识别的正确率，Song[22]也提出相应的算法来改进人脸识别的性能；

（2）通过改变图像的光照、姿势和表情等来产生虚拟样本，例如Boom等用一种称为VIG的方法对未知光照情况进行建模[16]，Abdolali[17]和Ho[18]等提出了类似的算法扩大数据集；

（3）基于人脸图像自身的特征生成虚拟样本，Ryu等根据原始样本的分布来产生虚拟样本[19]，Liu等也根据图像本身特性来产生虚拟样本[23]。

（4）基于数学的多样本产生方法，如Zhang等提出利用奇异值分解的方法获得基于原始样本的虚拟样本[24]。借助图像合成方法生成的新样本如图1所示。

图1 借助图像合成方法生成新样本

除了借助图像处理方法获得原始样本的新样本外，还可以利用图像合成算法获取多样本，本研究做了相关实验，其结果如图1所示。假设数据集中有c类人脸图像，每类有ni个样本，令表示第i类中的第j个样本，这里i=1，2，…，c，j=1，2，…，ni，h和w分别代表样本xij的高和宽（均为像素值）。用X=[X1，X2，…，Xc]代表所有样本，则Xi=[xi1，xi2，…，xini]，i=1，2，…，c代表第i类样本。则有：

其中， P（Xi）代表所生成的第i类新样本， f（g）表示图像处理函数，代表多个样本的串联，即将多个样本联合起来得到一个类别的新样本。

2.2 基于深度学习的多样本生成算法研究现状

大量有标签的训练数据是机器学习成功的关键，尤其对于强大的深度学习技术，大数据集能提高CNN的性能，防止过拟合[25]。为了扩充数据集，已有一些工作在不改变图像语义的情况下进行，如水平镜像[26]、不同尺度的剪裁[27，28]、旋转[29]和光照变化[27]等传统方法。

DeepID[30]采取了增大数据集手法来训练网络，只有大的数据集才能使得卷积神经网络训练得更加充分，该研究采用两种方法增大数据集：

（1）选择采集好的数据，即映入CelebFaces数据集。

（2）将原始数据集中的图片多尺度、多通道、多区域的切分，然后分别进行训练，再把得到的向量串联起来，即得到最后的向量。

以上方法仅局限于相对简单的图像处理技术，该类方法生成的多样本具有一定的局限性。比如，真正意义上的旋转应按一定的角度进行3D旋转，而不仅仅是图像本身的角度旋转。合成数据能一定程度上解决以上问题，如Shotton等通过随机森林合成3D深度数据来估计人体姿势，Jaderberg等使用合成数据来训练CNN模型识别自然场景下的文字[31]。这些研究的结果均优于使用剪裁，旋转等传统方法。但使用3D合成图像比较复杂，需要较多的前期工作。

近年来，借助生成对抗网络（Generative Adversarial Networks，GANs）来生成原始样本的方法吸引了很多学者。2014年6月，Goodfellow 等发表了论文《Generative Adversarial Nets》[32]，文中详尽介绍了GANs的原理、优点及其在图像生成方面的应用，标志着GANs的诞生。早期的GANs模型存在许多问题，如GANs网络不稳定，甚至有时该网络永远不会开始学习，生成的结果无法令人满意。文献[32]中生成器生成的图片十分模糊，针对此问题，Denton等提出一个被称为 LAPGANs的模型[33]，该模型用多个卷积神经网络连续生成图像，这些新图像的清晰度不断提高，最终得到高分辨率图像。GANs除了基于图像生成图像外，还可以通过文字生成图像，如文献[34]搭起了文本到图像的桥梁，通过GANs将文本直接转换成对的图像。文献[35]将GAN应用于超分辨率中，该文献提出了全新的损失函数，使得 GANs 能对大幅降采样后的图像恢复其生动纹理和小颗粒细节。另外，Radford 等提出了名为DCGANs的网络[36]，该文献指出，用大数据集训练出的 GANs 能学习一整套层级的特征，并具有比其他无监督学习模型更好的效果。以上方法均为基于一大类原始样本生成另一大类图像。

基于GAN生成样本的过程如图2所示。首先将同类别的原始图像输入到生成对抗网络GAN的生成器网络G中，生成“假冒”图像G1和G2，接着借助判别器D来判断输入的图像是真实图像还是“假冒”图像。生成器G努力生成类似原始样本的图像，力争判别器D难以区分真假；而判别器D应不断提高自身性能，有能力鉴别出由生成器G生成的图像为赝品。生成器G和判别器D的价值函数如下：

生成器G最小化log（1-D（G（z））），判别器D最大化logD（x），使得最大概率按照训练样本的标签分类， 生成模型G隐式定义了一个概率分布Pg，希望Pg 收敛到数据真实分布Pdata。

图2 GAN生成新样本示意图

3 结 语

综上所述，基于原始样本的多样本生成算法是一个值得深入研究探索的问题，具备清晰而明确的理论意义和现实应用意义。虽然研究人员已经对相关问题进行了一些研究，取得了一系列成果，但是多样本的产生方法缺乏全面、深入的理解，尚未出现具有里程碑意义的研究成果。具体而言，本文认为，基于原始样本的多样本生成问题需要在如下几个方面展开深入的研究：

（1）在研究多样本生成算法时，保留原始样本的本质特征，如在人脸识别中，抛弃不必要信息（光照、表情和姿势）的影响是一项十分有意义的工作。

（2）在合成新样本时，设计合理有效的构造元素，使合成的新表示更接近自然亦是一个值得研究的方向。

（3）基于生成对抗网络，研究某一类对象的生成新样本的核心算法是一项有意义的工作。

参考文献

[1] K Simonyan， A Zisserman.Very deep convolutional networks for large-scale image recognition [Z]. Computer Science， 2014.

[2] C Szegedy，W Lin，Y Jia， et al. Going deeper with convolutions[C]. in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2015.

[3] K He，X Zhang，S Ren，et al. Deep residual learning for image recognition[C]. in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2016.

[4] Turk， Matthew， Pentland， et al.Eigenfaces for Recognition[J]. Journal of Cognitive Neuroscience， 2014，3（1）： 71-86.

[5] A Pentland.Looking at People： Sensing for Ubiquitous and Wearable Computing[J].IEEE Transactions on Pattern Analysis & Machine Intelligence， 2000，22（1）： 107-119.

[6] C Liu， H Wechsler.Robust coding schemes for indexing and retrieval from large face databases[J]. IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society， 2000，9（1）： 132-137.

[7] T Ojala，M Pietik?inen.Multiresolution gray-scale and rotation invariant texture classification with local binary patterns[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence， 2002，24（7）： 404-420.

[8] T Ahonen， A Hadid， M Pietikainen.Face Description with Local Binary Patterns： Application to Face Recognition[J]. European Conference on Computer Vision， 2004，28（12）： 469-481.

[9] GB Huang， M Mattar， T Berg，et al. Labeled faces in the wild： A database for studying face recognition in unconstrained environments[Z].Month，2008.

[10] OM Parkhi， A Vedaldi， A Zisserman.Deep Face Recognition[C]. British Machine Vision Conference， 2015.

[11] Y Taigman，M Yang， Marc， et al. DeepFace： Closing the Gap to Human-Level Performance in Face Verification[C]. in Conference on Computer Vision and Pattern Recognition，2014.

[12] F Schroff，D Kalenichenko，J Philbin.FaceNet： A unified embedding for face recognition and clustering[C]. in IEEE Conference on Computer Vision & Pattern Recognition，2015.

[13] D Yi，Z Lei， S Liao， et al.Learning face representation from scratch[Z]. Computer Science， 2014.

[14] Y Xu， X Zhu， Z Li， et al.Using the original and ‘symmetrical face’ training samples to perform representation based two-step face recognition[J]. Pattern Recognition， 2013，46（4）： 1151-1158.

[15] Y Xu.Integrate the original face image and its mirror image for face recognition[J]. Neurocomputing， 2014，31（7）： 191-199.

[16] BJ Boom， LJ Spreeuwers， RNJ Veldhuis.Virtual illumination grid for correction of uncontrolled illumination in facial images[J]. Pattern Recognition， 2011，44（9）： 1980-1989.

[17] F Abdolali，S Seyyedsalehi. Improving pose manifold and virtual images using bidirectional neural networks in face recognition using single image per person[Z]. in International Symposium on Artificial Intelligence and Signal Processing，2011.

[18] HT Ho，R Chellappa. Pose-invariant face recognition using Markov random fields[J].IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society， 2013，22（4）： 1573.

[19] Y.-S.， Ryu.，S.-Y.， O..Simple hybrid classifier for face recognition with adaptively generated virtual data[J]. Pattern Recognition Letters， 2012，23（7）： 833-841.

[20] A Wagner，J Wright， A Ganesh，et al.Toward a Practical Face Recognition System： Robust Alignment and Illumination by Sparse Representation[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence， 2012，34（2）： 372-386.

[21] Z Liu，X Song，Z Tang.Integrating virtual samples and fuzzy discriminant analysis for sparse representation-based face classification[J]. Journal of Electronic Imaging， 2015，24（2）： 23013.

[22] YJ Song，YG Kim，UD Chang，et al. Face recognition robust to left/right shadows； facial symmetry[J]. Pattern Recognition， 2006，39（8）： 1542-1545.

[23] Z Liu， X Song， Z Tang.Fusing hierarchical multi-scale local binary patterns and virtual mirror samples to perform face recognition[J]. Neural Computing & Applications， 2015，26（8）： 2013-2026.

[24] G Zhang，W Zou，X Zhang，et al. Singular value decomposition based sample diversity and adaptive weighted fusion for face recognition[J]. Digital Signal Processing， 2017，62： 150-156.

[25] K Chatfield，K Simonyan，A V edaldi，et al. Return of the devil in the details： Delving deep into convolutional nets[Z]. Computer science， 2014.

[26] H Yang， I Patras.Mirror， mirror on the wall， tell me， is the error small？ [J]. Der Chirurg； Zeitschrift für alle Gebiete der，2015，69（12）：235-240.

[27] A Krizhevsky， I Sutskever， GE Hinton. ImageNet Classification with Deep Convolutional Neural Networks [J]. Advances in Neural Information Processing Systems， 2012，25（2）： 1097-1105.

[28] G Levi，T Hassner. Age and gender classification using convolutional neural networks[C].in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops，2015.

[29] S Xie， Z Tu. Holistically-nested edge detection[C]. in Proceedings of the IEEE International Conference on Computer Vision，2015.

[30] Y Sun， X Wang， X Tang.Deep Learning Face Representation from Predicting 10，000 Classes[C]. in Computer Vision and Pattern Recognition，2014.

[31] M Jaderberg， K Simonyan，A Vedaldi，et al.Synthetic data and artificial neural networks for natural scene text recognition[Z]. Eprint Arxiv， 2014.

[32] I Goodfellow，J Pougetabadie， M Mirza， et al. Generative adversarial nets[Z]. in Advances in neural information processing systems， 2014.

[33] E Denton，S Chintala，A Szlam. Deep Generative Image Models using a Laplacian Pyramid of Adversarial Networks[Z]. Computer science，2015.

[34] S Reed，Z Akata， X Yan，et al. Generative adversarial text to image synthesis[C]. in Proceedings of The 33rd International Conference on Machine Learning，2016.

[35] C Ledig， L Theis， F Huszar，et al. Photo-realistic single image super-resolution using a generative adversarial network[Z]. arXiv preprint， 2016.

卷积神经网络概述篇8

关键词：云计算 "党建云"平台 基层党建

一、调研背景

高校基层党建工作是一项需要与时俱进、不断创新的系统工程，作为高校党务工作者要把握“云计算”时代的机遇，探索和推进高校党建信息化、科学化、现代化建设，使其在高校网络平台上发挥出积极的作用。

二、调研对象和方法

1.调查对象

课题组于2012年11月至2013年10月期间，在东北大学、沈阳工业大学、沈阳师范大学、东北师范大学、吉林大学等5所院校中开展了“推进‘党建云’平台建设，创新高校基层党建工作模式”的研究调研工作。

本次调研活动共发放调查问卷1200份，回收有效问卷1050份。问卷的回收率为：本科生92.6%，硕士研究生87.8%，教工89.2%。此次问卷调查范围广、基数大、回收率高，真实可靠地反映了当前“党建信息化”和“基层党建工作”在各大院校开展的基本情况。

2.调查方法

为了增强调查数据的准确性，课题组利用SPSS软件对采集的数据进行分析，结合科学的统计方法进行论证。课题组在问卷调查分析的基础上，组织召开党员交流座谈会，查阅文献资料和参考其他高校的相关调研资料，辅助纠正可能由于外界环境影响、统计过程失误等因素造成的数据偏差。

三、高校基层党建工作现状和调研对象情况的研究简述

1.高校基层党建工作现状简述

在新媒体技术迅猛发展的信息化时代背景下，高校党建工作也迎来了时代的挑战，结合问卷调查的数据显示，课题组总结了高校党建工作面临着以下几个比较集中的问题。

首先，信息来源日趋多元化，但各个组织之间缺乏有效沟通渠道。随着计算机技术的发展和普及，开放性网络中各种意识形态的“渗透”，导致部分大学生缺乏对党、对国家的正确认识，不利于高校思想政治教育工作的顺利进行。

其次，近年来高校扩招和国内、外高校之间联系沟通日益紧密，国际化步伐的加快，境内、外交流工作学习的党员师生人数不断增加，传统信息网络技术架构模式已经无法完全满足工作的新需求。

第三，基层党组织生活形式单一，缺乏吸引力。受到高校生活范围的局限，基层党组织的生活形式单一、内容单调，使党员对党组织生活缺少热情。党性教育方式生硬无味，释疑解惑的说服力不强。

2.调研对象对党建信息化平台认知情况简述

信息化对高校师生带来了前所未有的影响，此次课题组以高校大学生和教职工两个人群为主要调研对象，从数据分析结果掌握不同人群对新媒体技术的认识和态度现状。

当前在校大学生思想活跃，对新思想、新观念、新事物、新科技的学习和接受快，在校教职工对于新媒体信息技术的了解认知程度不及在校大学生。调查的数据中显示，在“上网方式”、“使用微信微博程度”方面，学生手机网民人数略高于教职工手机网民，学生使用微信、微博的程度也高于教职工。关于“建设党建信息化平台必要性”方面，有67%的教职工认为很有必要，有52%的大学生认为很有必要。从“对云计算的了解程度”来看，大多数人对这一概念比较模糊，但是都有兴趣进一步了解，大部分师生都是支持态度。

四、调研分析和结果研究

1.传统党建工作模式与“党建云”平台工作模式的对比分析研究

课题组首先通过与其他高校实地互访调研和调查问卷等形式，了解了各高校目前基层党建工作现状及出现的问题。此外，结合本课题组现已建立运行的“党建云”信息化平台进行对比和分析：

第一，科学设计模块，实现党建网络由“管理平台”向“应用平台”转变，改变从上而下的架构体系，从党员需求出发，科学地模块化设计，实现信息、信息收集、常务管理、学习培训、数据对接和后台管理等多种功能。

第二，开发服务功能，实现基层党员由“被动接受”向“主动需求”转变，以建设服务型党组织为出发点，将资讯服务、网上办公、自主学习等功能融入平台之中，党员足不出户即可实现所需的多种功能。

2.“党建云”平台试运行阶段使用状况分析研究

“党建云”平台中，对教师和学生党员将进行分层次、分对象地授予相应权限和参与模式，为所有基层党建工作设置相关模块，对共享基础架构进行整合，对基层党建网络信息进行再造，将网络和数据进行有效链接，将传统的多层次指挥体制转变为一站式联合发展。

“党建云”平台的资料数据库中涵盖学院所有教工党员和学生党员的基本信息，在资料库中的所有人员均可在平台中实现信息消息、手机短信接收消息、党务管理、网上办公、自主学习、信息查询、书记信箱等功能，基本达到了党建工作信息化。

3.“党建云”平台对创新高校基层党建工作的积极意义分析研究

（1）创设服务党员需求的新平台，拓展党组织服务的新功能

一方面，它进一步打破时空隔离、规范基层工作、提升党员意识、实现主动管理、提高服务水平，推动实现基层党建工作从封闭向开放转变、从传统向现代转变、从被动向主动转变、从单边向互动转变、从管理向服务转变，实现新时期基层党建工作科学化的更高水平；另一方面，将有效提升党组织的服务力。“党建云”平台在设计上将政治理论学习、问卷调研、党员评议、办公和生活资讯等融入一体，创设服务党员需求的新平台，有效拓展党组织服务的新功能。

（2）拓宽基层党组织管理的覆盖面与影响力

利用“云计算”将新闻联播等节目上传至“党建云”平台，并通过手机、QQ等渠道自动弹出正确精准的消息，避免大学生收到个别错误信息，导致冲动招惹事端，进一步增强了党组织的凝聚力，扩大了党组织教育管理的覆盖面，提升了党组织的服务力，实现了优势资源的共享性。

（3）巩固基层党建工作宣传阵地，打造大学生精神家园

“云计算”的资源共享功能，有效克服了传统党建教材形式单一、内容更新速度慢的弊端，并能将各大信誉度高的网站、微博、群嵌入到高校党建教育网络平台，为开展党建宣传工作提供了充裕的空间，在此基础上建立一个完全属于高校基层党建独有的权威网站，打造一个全新的精神家园。

参考文献

[1]雷万云.云计算技术平台及应用案例[M].清华大学出版社.2011年5月1日

[2]王克君，金英. 论“云计算”在高校基层党建工作中的架构模式与导向功能[J].学校党建与思想教育.2012（12）