部分文档作品中含有的国旗、国徽等图片，仅作为作品整体效果示例展示，禁止商用。设计者仅对作品中独创性部分享有著作权。
1、第三章深度学习的算法3.1神经网络经典算法3.2梯度下降3.3动量算法3.4反向传播of12513.6迁移学习3.5弱监督学习3.7小样本学习3.8Dropout第三章深度学习的算法of12523.1 神经网络经典算法监督学习 利用一组已知类别的样本调整分类器的参数，使其达到所要求性能的过程 数据集中所使用的每一个样本都有一个对应的标签（label），而样本和标签之间则是通过学习进行关联。监督学习算法 逻辑回归模型 支持向量机3.1.1监督学习算法第三章 深度学习的算法of12533.1 神经网络经典算法逻辑回归模型F(x)曲线的增长速度在两端呈现较慢趋势，而在中心附近则呈现较快趋势第三章 深
3、wyxyxxyxxy w xw x对数似然函数为通过对计算极大值就可以得到的估计值 。1()log 1expNTTiiiiL wy w xw x w第三章 深度学习的算法of12583.1 神经网络经典算法学习得到的二项逻辑回归模型exp()(1)1exp()TTw xP Yxw x1(0)1exp()TP Yxw x第三章 深度学习的算法of12593.1 神经网络经典算法支持向量机（SVM）一类按监督学习方式对数据进行二元分类的非线性分类器函数，其决策边界是对学习样本求解的最大边距超平面。第三章 深度学习的算法of125103.1 神经网络经典算法支持向量机（SVM）进一步可以改写成如
4、下形式：()1()(,)miiif xbak x x一般是非线性的，如高斯函数。()(,)ik x x可以将 x 替换为特征函数 的输出，得1()()()mTiif xbaxx第三章 深度学习的算法of125113.1 神经网络经典算法支持向量机（SVM）进一步可以改写成如下形式：目标：SVM的参数由样本学习获得。约束条件：第三章 深度学习的算法of125123.1 神经网络经典算法K近邻其他简单的监督学习方法对于给定一个样本 x，根据其 k 个最近邻的训练样本的类别，通过多数表决等方式对新的输入样本的类别进行预测，如果这 k 个最近邻样本参数属于某一类别，则判定该输入样本 x 也属于这个类别
5、。第三章 深度学习的算法of125133.1 神经网络经典算法决策树用来描述对样本分类时其分类过程的树形结构。决策树由结点和有向边组成，结点又分成内结点和叶结点两种类型，内结点对应样本的一个特征或属性，叶结点表示样本的一个类别。从根结点开始，对样本的某一特征进行测试，将样本分配到其对应的子结点，递归这一过程，直至叶结点，最后的叶节点为该样本所对应的类别。其他简单的监督学习方法预测用户偿还贷款的能力第三章 深度学习的算法of125143.1 神经网络经典算法3.1.2 无监督学习 训练集中每个样本不带任何标记信息，通过对这些样本的学习，来揭示样本特征的内在性质及规律。聚类学习是一种典型的无监督学
6、习，它将数据集中的样本划分为若干个互不相交的子集，每个子集称为一个“簇”。第三章 深度学习的算法of125153.1 神经网络经典算法3.1.2 无监督学习第三章 深度学习的算法of125163.1 神经网络经典算法3.1.3 半监督学习 半监督学习使用大量的未标记数据，以及九游智能体育科技同时使用标记数据，来进行模式识别工作。在带标记的样本上使用监督学习构建模型，再让该模型通过未标记样本来提升学习性能，并且这个过程不用依赖外界的交互，是一个自动进行的过程。在半监督学习中，通常要做一些将数据分布信息与类别标记相联系的假设，当模型假设正确时，无类标签的样例能够帮助改进学习性能，最常见的假设是聚类假设和流形假设。
7、第三章 深度学习的算法of125173.1 神经网络经典算法半监督学习算法1.生成模型算法（Generate semi-supervised models）思想：假设一个模型，其分布满足：p(x,y)=p(y)p(xy)。其中，p(xy)是已知的条件概率分布。那么大量未经标记数据的联合分布就可以被确定。第三章 深度学习的算法of125183.1 神经网络经典算法半监督学习算法2自训练算法（Self-training）思想：首先训练带有标记的数据（监督训练），得到一个分类器。然后使用这个分类器对未标识的数据进行分类。根据分类结果，将可信程度较高的未标记数据及其预测标记加入训练集，扩充训练集规
8、模，重新学习以得到新的分类器。第三章 深度学习的算法of125193.1 神经网络经典算法半监督学习算法3.联合训练算法（Co-training）思想：首先根据已标记数据的两组不同特征来划分出不同的两个数据集，然后根据这两个不同的数据九游智能体育科技集分别训练出两个分类器。每个分类器用于无标识的数据集的分类，并且给出分类可信程度的概率值。第三章 深度学习的算法of125203.1 神经网络经典算法半监督学习算法4.半监督支持向量机（S3VMs）思想：半监督支持向量机（Semi-supervised support vector machines,S3VM或S3VMs）。S3VM算法同时使用带有标记和不带标记的
9、数据来寻找一个拥有最大类间距的分类面。第三章 深度学习的算法of125213.1 神经网络经典算法半监督学习算法5.基于图论的方法思想：首先从训练样本中构建图。图的顶点是已标记或者未标记的训练样本。两个顶点xi，xj之间的无向边表示两个样本的相似性，又称两个样本的相似性度量。根据图中的度量关系和相似程度，构造k-聚类图。然后再根据已标记的数据信息去标记为未标记数据。第三章 深度学习的算法of125223.1 神经网络经典算法3.1.4 强化学习 马尔可夫决策过程（Markov Decision Process，简称MDP）常常被拿来用以描述强化的学习任务强化学习的目的是取得最大化的预期利益，并
10、且强调如何基于环境而行动。第三章 深度学习的算法of125233.1 神经网络经典算法3.1.4 强化学习强化学习的目标是去学习怎么花更多的时间在更有价值的状态上，为了有一个更有价值的状态，我们需要MDP提供更多的信息。一个简单的马尔科夫决策（MDP）过程：第三章深度学习的算法3.2梯度下降3.3动量算法3.4反向传播of125243.6迁移学习3.5弱监督学习3.7小样本学习3.8Dropout3.1神经网络经典算法第三章 深度学习的算法of125253.2 梯度下降梯度下降指沿着目标能量函数的反梯度方向下降。第三章 深度学习的算法of125263.2 梯度下降梯度下降 从机器学习角度考虑，
11、模型的优化问题转化为求解模型的目标函数的最小值，首先需明确目标函数的梯度下降方向，然后以该方向前进，不断逼近目标函数的最优值。梯度下降步骤第三章 深度学习的算法of125273.2 梯度下降 梯度下降法包含批量梯度下降算法（BGD）、随机梯度算法（SGD）和小批量梯度下降算法（MBGD）三种。批量梯度下降随机梯度小批量梯度下降第三章 深度学习的算法of125283.2 梯度下降小批量梯度下降法的迭代更新过程收敛的充分条件学习率的确定常通过监测目标函数的值随时间变化的学习曲线来确定最佳的学习率。综合考虑总训练时间和最终代价，一般将初始学习率的值设为高于迭代100次左右后模型达到最好效果时的学习率
12、。第三章 深度学习的算法of125293.2 梯度下降梯度下降更新公式对比批量梯度下降小批量梯度下降随机梯度下降第三章深度学习的算法3.2梯度下降3.3动量算法3.4反向传播of125303.6迁移学习3.5弱监督学习3.7小样本学习3.8Dropout3.1神经网络经典算法第三章深度学习的算法of125313.3 动量算法动量 动量表示迭代优化量，即参数值（如梯度、权重、学习率等）的更新量，这些参数值在优化过程中是进行不断更新的，通过动量的方式可以推动目标值向优化值不断靠近。与梯度下降法相比，动量算法能帮助目标值穿越有着“狭窄山谷”形状的优化曲面，从而无限接近最优点。评价动量算法性能好坏的其
13、中一个标准是其爬坡能力的强弱。3.3.1 动量第三章深度学习的算法of125323.3 动量算法带动量的随机梯度下降算法 该算法是引入一个变量v，让其充当速度角色，v在这里表示参数在参数空间前进的速度，包括方向和速率，其值等于负梯度的指数衰减平均值。参数更新规则如下所示：3.3.1 动量()()1(;),)iiigL f xym vvmgv第三章深度学习的算法of125333.3 动量算法带动量的小批量梯度下降算法3.3.1 动量第三章深度学习的算法of125343.3 动量算法 Nesterov动量算法是在动量算法的基础上进行改进提出的，它是在标准动量算法中新增加了一个权重校正因子v。其更新
14、规则如下所示：3.3.2 Nesterov 动量算法()()1(;),)iiivvvL f xymv 动量算法在优化过程中也能直接绕过鞍点，但是因为存在累积的更新量，动量算法绕过鞍点的时机要晚一些。第三章深度学习的算法3.2梯度下降3.3动量算法3.4反向传播of125353.6迁移学习3.5弱监督学习3.7小样本学习3.8Dropout3.1神经网络经典算法第三章深度学习的算法of125363.4 反向传播3.4.1 前馈神经网络 根据神经元的网络拓扑结构，神经网络模型包括前向网络和反馈网络，不同的网络模型有不同的优势和应用。在前馈神经网络中，各神经元可以接收前一层神经元的信号，并产生输出到
15、下一层。网络中无反馈，信号从输入层向输出层单向传播。第三章深度学习的算法of125373.4 反向传播3.4.2 反向传播算法 反向传播(Backpropagation，缩写为BP)是“误差反向传播”的简称，该方法要求有对每个输入值想得到的已知输出，计算损失函数的梯度，用这一梯度来更新权值以最小化损失函数。反向传播算法(BP算法)类似随机最速下降法（SGD），算法的目的是根据实际的输入与输出数据，计算模型的参数（权系数）。主要有两个阶段：激励传播与权重更新。第三章深度学习的算法of125383.4 反向传播3.4.2 反向传播算法1.简单网络的BP算法假设有P个训练样本，即有P个输入输出对：其
16、中，输入向量为 目标输出向量为（实际上或期望的）：网络输出向量为（理论上的）：第三章深度学习的算法of125393.4 反向传播1.简单网络的BP算法 记 wij 为从输入向量的第 j(j=1,m)个分量到输出向量的第i(i=1,n)个分量的权重。通常理论值与实际值有一误差。设：第 i 个神经元的输出可表示为其中，ipm=-1,wim=(第 i 个神经元的阈值)，特别当 f 是线性函数时第三章深度学习的算法of125403.4 反向传播1.简单网络的BP算法 网络学习则是指不断地把目标输出与网络输出比较，并根据极小原则修改参数 wij，使误差平方和达到最小:求E 最小值的梯度最速下降法，就是Delta学习规则记 wij 表示递推一次的修改量。则有第三章深度学习的算法of125413.4 反向传播2.多隐层前馈神经网络的BP算法（2）设 uk(i)表示第 k 层第 i 神经元所接收的信息，wk(i,j)表示从第 k-1层第 j 个元到第k层第 i 个元的权重，ak(i)表示第 k 层第 i 个元的输出。（3）处于不同层的神经元都有信息交换，但同一层的神经元之间没有信息传输。（4）信息传输
《深度学习与图像识别》课件深度学习环境配置与入门(1)深度学习概述.pptx
《深度学习与图像识别》课件深度学习环境配置与入门(2)深度学习环境配置.pptx
《深度学习与图像识别》课件第二章 深度学习常用工具包入门(1)深度学习数学基础.ppt
《深度学习与图像识别》课件第二章 深度学习常用工具包入门(2)深度学习常用模块.ppt
