地 址：北京市海淀区北四环西路9号 ,主 营：人脸识别,活体检测,身份证识别,银行卡识别,名片识别,车牌识别，OCR识别等及智能识别技术。
不论是AI也好，其他学科也好，学习、研讨的过程中不时深思学科的历史，总结学科的开展现状，找出最重要的理念，总能让人能“吾道一以贯之”。软件工程师James Le近期依据他研讨的经历总结出了AI研讨必需要晓得的十种深度学习办法，十分具有启示性。
人们对机器学习的兴味在过去十年阅历了爆炸式的开展。计算机科学项目中、业界会议中、媒体报道中，你都可以看到机器学习的影子。但是似乎一切关于机器学习的讨论中，人们常常会把AI能做什么和他们希望AI能做什么混为一谈。
从基本上来讲，机器学习其实就是运用算法从原始数据中提取信息，并以某品种型的模型表示出来；然后我们运用这个模型来推断我们尚未建模的其他数据。
神经网络作为机器学习的一类模型，它们曾经存在了至少50年。神经网络的根本单元是节点，大致上模拟了哺乳动物大脑中的生物神经元的节点；节点之间的链接（也是模拟生物大脑）随着时间的推移（锻炼）而演化。
在上世纪八十年代中期和九十年代早期，许多重要的神经网络构架都曾经做出了，不过要想取得好的结果还需求足够强大的计算才能和大致量的数据集，这些当时在当时很不理想，所以也招致人们对机器学习的热情逐步淡漠了下来。在21世纪初，计算机的计算才能呈现了指数级的增长——业界见证了计算机技术的“寒武纪大迸发”，这在之前简直是不可想象的。深度学习作为这个范畴中一个重要的架构，在计算才能迸发式增长的十年中，博得了许多重要的机器学习竞赛。这个红利的热度直到今年仍未降温；今天，我们看到在机器学习的每个角落里都会提到深度学习。
为了更深化地理解这些，我参与了一门“深度学习”课程，并开发了一个图像辨认的神经网络以及基于循环神经网络（RNN）和长短项记忆（LSTM）的自然言语处置。
不论是AI也好，其他学科也好，学习、研讨的过程中不时深思学科的历史，总结学科的开展现状，找出最重要的理念，总能让人能“吾道一以贯之”。软件工程师James Le近期依据他研讨的经历总结出了AI研讨必需要晓得的十种深度学习办法，十分具有启示性。
人们对机器学习的兴味在过去十年阅历了爆炸式的开展。计算机科学项目中、业界会议中、媒体报道中，你都可以看到机器学习的影子。但是似乎一切关于机器学习的讨论中，人们常常会把AI能做什么和他们希望AI能做什么混为一谈。
从基本上来讲，机器学习其实就是运用算法从原始数据中提取信息，并以某品种型的模型表示出来；然后我们运用这个模型来推断我们尚未建模的其他数据。
神经网络作为机器学习的一类模型，它们曾经存在了至少50年。神经网络的根本单元是节点，大致上模拟了哺乳动物大脑中的生物神经元的节点；节点之间的链接（也是模拟生物大脑）随着时间的推移（锻炼）而演化。
在上世纪八十年代中期和九十年代早期，许多重要的神经网络构架都曾经做出了，不过要想取得好的结果还需求足够强大的计算才能和大致量的数据集，这些当时在当时很不理想，所以也招致人们对机器学习的热情逐步淡漠了下来。在21世纪初，计算机的计算才能呈现了指数级的增长——业界见证了计算机技术的“寒武纪大迸发”，这在之前简直是不可想象的。深度学习作为这个范畴中一个重要的架构，在计算才能迸发式增长的十年中，博得了许多重要的机器学习竞赛。这个红利的热度直到今年仍未降温；今天，我们看到在机器学习的每个角落里都会提到深度学习。
为了更深化地理解这些，我参与了一门“深度学习”课程，并开发了一个图像辨认的神经网络以及基于循环神经网络（RNN）和长短项记忆（LSTM）的自然言语处置。
最近，我也开端阅读一些深度学习方面的学术论文。下面这些是我搜集到的几篇对深度学习范畴的开展有严重影响的几篇论文：
意义：释放了一个深度卷积激活特征的开源完成——DeCAF，以及一切相关的网络参数，使视觉研讨人员可以深化地在一系列视觉概念学习范例中停止实验。
意义：提供了第一个能够运用强化学习从高维感官输入中直接学习控制战略的深度学习模型。
在这些学习和研讨中，我发现大量十分有意义的学问点。在这里我将分享十个深度学习的办法，AI工程师可能会将这些应用到他们的机器学习问题当中。
不过，首先先让我们来定义一下什么是“深度学习”。对很多人来说，给“深度学习”下一个定义的确很有应战，由于在过去的十年中，它的方式曾经渐渐地发作了很大的变化。
先来在视觉上感受一下“深度学习”的位置。下图是AI、机器学习和深度学习三个概念的一个关系图。
AI的范畴要相对较普遍，机器学习是AI的一个子范畴，而深度学习是机器学习范畴中的一个子集。
因而深度学习能够被定义为在以下四个根本网络框架中具有大量参数和层的神经网络：
卷积神经网络 根本上就是用共享权重在空间中停止扩展的规范神经网络。设计CNN主要是为了经过内部卷积来辨认图片，内部卷积能够看到待辨认物体的边。
循环神经网络 根本上是在时间上停止扩展的规范神经网络，由于边进入下一个时间步，而不是在同一时间步进入下一个层。设计RNN主要是为了辨认序列，例如语音信号或者文本。它里面的循环意味着网络中存在短暂的记忆。
递归神经网络 更相似于分层网络，其中输入序列没有真正的时间面，而是输入必需以树状方式分层处置。
反向传播是“误差反向传播”的简称，它是一种计算函数（在神经网络中以函数方式存在）偏微分的办法。当你要用一个基于梯度的办法来处理一个最优问题时（留意梯度降落只是处理这类问题的一种办法），你希望在每一次迭代中计算函数梯度。
关于神经网络而言，目的函数具有合成的方式。那么如何计算梯度呢？普通状况下有两种常见的办法：
用有限差分办法来近似微分。这种办法的计算量很大，由于函数评价的数量是O（N），其中N是参数的数量。与微分剖析法相比，这是比拟昂贵的。不过，有限差分通常在调试时考证后端完成。
一个直观了解梯度降落的办法是去想象一条溯源山顶的河流。这条河流会沿着山势梯度的方向流向山麓下的最低点。
假如让人来走，可能就不一样了，你可能会先随意选一个方向，然后沿着这个方向的梯度向下走；过一会儿再随机换一个方向向下走；最后你发现本人差不多也到了谷底了。
随机梯度降落的想法就是每次在Delta f_i 中随机选取一个计算替代上面的Delta f_i，以这个随机选取的方向作为降落的方向。这样的办法反而比梯度降落可以更快地抵达（部分）最优解。
在锻炼模型的时分，通常会遇到这种状况：我们均衡模型的锻炼速度和损失（loss）后选择了相对适宜的学习率（learning rate），但是锻炼集的损失降落到一定的水平后就不在降落了，比方training loss不断在0.7和0.9之间来回震荡，不能进一步降落。如下图所示：
遇到这种状况通常能够经过恰当降低学习率（learning rate）来完成。但是，降低学习率又会延长锻炼所需的时间。
学习率衰减（learning rate decay）就是一种能够均衡这两者之间矛盾的处理计划。学习率衰减的根本思想是：学习率随着锻炼的停止逐步衰减。
Dropout 能够很好地处理这个问题。Dropout说的简单一点就是在前向传导的时分，让某个神经元的激活值以一定的概率p中止工作，表示图如下：
Hinton在其论文中做了这样的类比，无性繁衍能够保存大段的优秀基因，而有性繁衍则将基因随机拆了又拆，毁坏了大段基因的结合顺应性；但是自然选择了有性繁衍，物竞天择，适者生存，可见有性繁衍的强大。dropout 也能到达同样的效果，它强迫一个神经单元，和随机选择出来的其他神经单元共同工作，消弭削弱了神经元节点间的结合顺应性，加强了泛化才能。
池化（Pooling）是卷积神经网络中另一个重要的概念，它实践上是一种方式的向下采样。有多种不同方式的非线性池化函数，而其中“最大池化（Max pooling）”是最为常见的。它是将输入的图像划分为若干个矩形区域，对每个子区域输出最大值。
直觉上，这种机制可以有效地缘由在于，在发现一个特征之后，它的准确位置远不及它和其他特征的相对位置的关系重要。池化层会不时地减小数据的空间大小，因而参数的数量和计算量也会降落，这在一定水平上也控制了过拟合。通常来说，CNN的卷积层之间都会周期性地插入池化层。
包括深度网络在内的神经网络需求认真调整权重初始化和学习参数。批规范化使这些变得轻松许多。
无论权重的初始化如何，是随机的还是经历性的选择，它们离学习权重都会很远。思索一个小批量，初期在所需的特征激活方面会有很多异常值。
深层神经网络自身是病态的，初始层中的微小扰动都会招致后面层的十分大的变化。
在反向传播过程中，这些现象会招致梯度弥散。这就意味着在学习权重产生所需求的输出前，必需对梯度的异常值停止补偿，这将招致需求额外的时段来收敛。
批量归一化使这些梯度从分散到正常值并在小批量范围内流向共同目的（经过归一化）。
学习率问题：普通来说，学习率需求坚持较低的值，使得只要一小局部的梯度来校正权重，缘由是要使异常激活的梯度不影响已学习到的激活。经过批量规范化，能够减少这些异常激活，因而也就能够运用更高的学习率来加速学习过程。
LSTM的美好之处在于它可以依据当前的输入自身来决议一切这些。 所以你看下面的图表：
当前时间的输入信号x（t）决议一切上述3个点。 输入门决议点1，遗忘门决议点2，输出门决议点3。任何一条输入都可以采取一切这三个决议。这种设计其实是遭到了我们大脑如何工作的启示，并且能够基于输入来处置忽然的上下文切换。
词嵌入模型的目的是为每个词项学习一个高维密集表示，其中嵌入向量之间的类似性显现了相应词之间的语义或句法类似性。 Skip-gram是一个学习词嵌入算法的模型。
skip-gram模型（以及许多其他的词语嵌入模型）背后的主要思想如下：两个词项类似，假如它们共享类似的上下文。
换句话说，假定你有一个句子，例如“猫是哺乳动物”；假如你用“狗”而不是“猫”，这个句子还是一个有意义的句子。
因而在这个例子中，“狗”和“猫”能够共享相同的上下文（即“是哺乳动物”）。
基于上述假定，你能够思索一个上下文窗口（一个包含k个连续项的窗口），然后你跳过其中一个单词，试着去学习一个可以得到除跳过项外的一切项的神经网络，并预测跳过的这个项。假如两个词在一个大语料库中重复共享类似的语境，则这些词的嵌入向量将具有相近的向量。
在自然言语处置问题中，我们希望学习将文档中的每个单词表示为一个数字的向量，使得呈现在类似的上下文中的单词具有彼此接近的向量。在连续的单词模型中，目的是可以运用盘绕特定单词的上下文并预测特定单词。
我们经过在一个大的语料库中采取大量的句子来做到这一点，每当我们看到一个单词时，我们就提取四周的单词。 然后，我们将上下文单词输入到一个神经网络，并预测在这个上下文中间的单词。
当我们有成千上万个这样的上下文单词和中间词时，我们就有一个神经网络数据集的实例。 我们锻炼神经网络，最后编码的躲藏层输出表示了特定单词的嵌入。 恰巧，当我们对大量的句子停止锻炼时，相似语境中的单词得到类似的向量。
让我们想一下如何在CNN中处置一张图片。假定有一张图片，你对它停止卷积处置，然后你得到的输出是像素的组合，我们权且称之为“边”吧。我们再次运用卷积，这时分你得到的输出将是边的组合，我们称之为“线”。假如再次运用卷积，那么你将得到线的组合，等等。
每一层都是在寻觅相应的特定形式。你的神经网络最后一层普通会给出十分特定的形式。或许你在处置ImageNet，你的网络最后一层可能是在找孩子、狗或飞机或别的任何东西。假如你向前两层看，网络可能是在找眼睛、耳朵、嘴巴或者轮子。
深度卷积神经网络中的每一层的深化都是在构建越来越高层次的特征表示。最后两层会产生你输入模型的数据中的特定形式。换句话说，早期的层提取的特征则普遍得多，在提取的大量的类中有很多简单的形式。
迁移学习就是当你用一个数据集锻炼CNN时，砍掉最后的一（些）层，再用另一个不同的数据集重新锻炼最后一（些）层的模型。直观地说，你在重新锻炼模型来辨认不同的高级层次特征。作为结果，锻炼时间大幅减少。所以当你没有足够的数据或者锻炼的资源时，迁移学习是十分有用的一个工具。
这篇文章只是展现了这些办法的普通概述。我倡议阅读下面这些文章以取得对这些概念更细致的解释：
深度学习十分注重技术，而对每一个新的想法却没有太多详细的解释。大多数新的idea只是用实验结果来证明它们的工作。深度学习就像玩乐高，控制它有一定的应战性，但是入门还是很容易的。
意义：释放了一个深度卷积激活特征的开源完成——DeCAF，以及一切相关的网络参数，使视觉研讨人员可以深化地在一系列视觉概念学习范例中停止实验。
意义：提供了第一个能够运用强化学习从高维感官输入中直接学习控制战略的深度学习模型。
在这些学习和研讨中，我发现大量十分有意义的学问点。在这里我将分享十个深度学习的办法，AI工程师可能会将这些应用到他们的机器学习问题当中。
不过，首先先让我们来定义一下什么是“深度学习”。对很多人来说，给“深度学习”下一个定义的确很有应战，由于在过去的十年中，它的方式曾经渐渐地发作了很大的变化。
先来在视觉上感受一下“深度学习”的位置。下图是AI、机器学习和深度学习三个概念的一个关系图。
AI的范畴要相对较普遍，机器学习是AI的一个子范畴，而深度学习是机器学习范畴中的一个子集。
因而深度学习能够被定义为在以下四个根本网络框架中具有大量参数和层的神经网络：
卷积神经网络 根本上就是用共享权重在空间中停止扩展的规范神经网络。设计CNN主要是为了经过内部卷积来辨认图片，内部卷积能够看到待辨认物体的边。
循环神经网络 根本上是在时间上停止扩展的规范神经网络，由于边进入下一个时间步，而不是在同一时间步进入下一个层。设计RNN主要是为了辨认序列，例如语音信号或者文本。它里面的循环意味着网络中存在短暂的记忆。
递归神经网络 更相似于分层网络，其中输入序列没有真正的时间面，而是输入必需以树状方式分层处置。
反向传播是“误差反向传播”的简称，它是一种计算函数（在神经网络中以函数方式存在）偏微分的办法。当你要用一个基于梯度的办法来处理一个最优问题时（留意梯度降落只是处理这类问题的一种办法），你希望在每一次迭代中计算函数梯度。
关于神经网络而言，目的函数具有合成的方式。那么如何计算梯度呢？普通状况下有两种常见的办法：
用有限差分办法来近似微分。这种办法的计算量很大，由于函数评价的数量是O（N），其中N是参数的数量。与微分剖析法相比，这是比拟昂贵的。不过，有限差分通常在调试时考证后端完成。
一个直观了解梯度降落的办法是去想象一条溯源山顶的河流。这条河流会沿着山势梯度的方向流向山麓下的最低点。
假如让人来走，可能就不一样了，你可能会先随意选一个方向，然后沿着这个方向的梯度向下走；过一会儿再随机换一个方向向下走；最后你发现本人差不多也到了谷底了。
随机梯度降落的想法就是每次在Delta f_i 中随机选取一个计算替代上面的Delta f_i，以这个随机选取的方向作为降落的方向。这样的办法反而比梯度降落可以更快地抵达（部分）最优解。
在锻炼模型的时分，通常会遇到这种状况：我们均衡模型的锻炼速度和损失（loss）后选择了相对适宜的学习率（learning rate），但是锻炼集的损失降落到一定的水平后就不在降落了，比方training loss不断在0.7和0.9之间来回震荡，不能进一步降落。如下图所示：
遇到这种状况通常能够经过恰当降低学习率（learning rate）来完成。但是，降低学习率又会延长锻炼所需的时间。
学习率衰减（learning rate decay）就是一种能够均衡这两者之间矛盾的处理计划。学习率衰减的根本思想是：学习率随着锻炼的停止逐步衰减。
Dropout 能够很好地处理这个问题。Dropout说的简单一点就是在前向传导的时分，让某个神经元的激活值以一定的概率p中止工作，表示图如下：
Hinton在其论文中做了这样的类比，无性繁衍能够保存大段的优秀基因，而有性繁衍则将基因随机拆了又拆，毁坏了大段基因的结合顺应性；但是自然选择了有性繁衍，物竞天择，适者生存，可见有性繁衍的强大。dropout 也能到达同样的效果，它强迫一个神经单元，和随机选择出来的其他神经单元共同工作，消弭削弱了神经元节点间的结合顺应性，加强了泛化才能。
池化（Pooling）是卷积神经网络中另一个重要的概念，它实践上是一种方式的向下采样。有多种不同方式的非线性池化函数，而其中“最大池化（Max pooling）”是最为常见的。它是将输入的图像划分为若干个矩形区域，对每个子区域输出最大值。
直觉上，这种机制可以有效地缘由在于，在发现一个特征之后，它的准确位置远不及它和其他特征的相对位置的关系重要。池化层会不时地减小数据的空间大小，因而参数的数量和计算量也会降落，这在一定水平上也控制了过拟合。通常来说，CNN的卷积层之间都会周期性地插入池化层。
包括深度网络在内的神经网络需求认真调整权重初始化和学习参数。批规范化使这些变得轻松许多。
无论权重的初始化如何，是随机的还是经历性的选择，它们离学习权重都会很远。思索一个小批量，初期在所需的特征激活方面会有很多异常值。
深层神经网络自身是病态的，初始层中的微小扰动都会招致后面层的十分大的变化。
在反向传播九游智能体育科技过程中，这些现象会招致梯度弥散。这就意味着在学习权重产生所需求的输出前，必需对梯度的异常值停止补偿，这将招致需求额外的时段来收敛。
批量归一化使这些梯度从分散到正常值并在小批量范围内流向共同目的（经过归一化）。
学习率问题：普通来说，学习率需求坚持较低的值，使得只要一小局部的梯度来校正权重，缘由是要使异常激活的梯度不影响已学习到的激活。经过批量规范化，能够减少这些异常激活，因而也就能够运用更高的学习率来加速学习过程。
LSTM的美好之处在于它可以依据当前的输入自身来决议一切这些。 所以你看下面的图表：
当前时间的输入信号x（t）决议一切上述3个点。 输入门决议点1，遗忘门决议点2，输出门决议点3。任何一条输入都可以采取一切这三个决议。这种设计其实是遭到了我们大脑如何工作的启示，并且能够基于输入来处置忽然的上下文切换。
词嵌入模型的目的是为每个词项学习一个高维密集表示，其中嵌入向量之间的类似性显现了相应词之间的语义或句法类似性。 Skip-gram是一个学习词嵌入算法的模型。
skip-gram模型（以及许多其他的词语嵌入模型）背后的主要思想如下：两个词项类似，假如它们共享类似的上下文。
换句话说，假定你有一个句子，例如“猫是哺乳动物”；假如你用“狗”而不是“猫”，这个句子还是一个有意义的句子。
因而在这个例子中，“狗”和“猫”能够共享相同的上下文（即“是哺乳动物”）。
基于上述假定，你能够思索一个上下文窗口（一个包含k个连续项的窗口），然后你跳过其中一个单词，试着去学习一个可以得到除跳过项外的一切项的神经网络，并预测跳过的这个项。假如两个词在一个大语料库中重复共享类似的语境，则这些词的嵌入向量将具有相近的向量。
在自然言语处置问题中，我们希望学习将文档中的每个单词表示为一个数字的向量，使得呈现在类似的上下文中的单词具有彼此接近的向量。在连续的单词模型中，目的是可以运用盘绕特定单词的上下文并预测特定单词。
我们经过在一个大的语料库中采取大量的句子来做到这一点，每当我们看到一个单词时，我们就提取四周的单词。 然后，我们将上下文单词输入到一个神经网络，并预测在这个上下文中间的单词。
当我们有成千上万个这样的上下文单词和中间词时，我们就有一个神经网络数据集的实例。 我们锻炼神经网络，最后编码的躲藏层输出表示了特定单词的嵌入。 恰巧，当我们对大量的句子停止锻炼时，相似语境中的单词得到类似的向量。
让我们想一下如何在CNN中处置一张图片。假定有一张图片，你对它停止卷积处置，然后你得到的输出是像素的组合，我们权且称之为“边”吧。我们再次运用卷积，这时分你得到的输出将是边的组合，我们称之为“线”。假如再次运用卷积，那么你将得到线的组合，等等。
每一层都是在寻觅相应的特定形式。你的神经网络最后一层普通会给出十分特定的形式。或许你在处置ImageNet，你的网络最后一层可能是在找孩子、狗或飞机或别的任何东西。假如你向前两层看，网络可能是在找眼睛、耳朵、嘴巴或者轮子。
深度卷积神经网络中的每一层的深化都是在构建越来越高层次的特征表示。最后两层会产生你输入模型的数据中的特定形式。换句话说，早期的层提取的特征则普遍得多，在提取的大量的类中有很多简单的形式。
迁移学习就是当你用一个数据集锻炼CNN时，砍掉最后的一（些）层，再用另一个不同的数据集重新锻炼最后一（些）层的模型。直观地说，你在重新锻炼模型来辨认不同的高级层次特征。作为结果，锻炼时间大幅减少。所以当你没有足够的数据或者锻炼的资源时，迁移学习是十分有用的一个工具。
这篇文章只是展现了这些办法的普通概述。我倡议阅读下面这些文章以取得对这些概念更细致的解释：
深度学习十分注重技术，而对每一个新的想法却没有太多详细的解释。大多数新的idea只是用实验结果来证明它们的工作。深度学习就像玩乐高，控制它有一定的应战性，但是入门还是很容易的。
上一条：手机端文字拍照辨认技术下一条：视频字幕OCR辨认技术专业智能识别技术：人脸识别,活体检测,身份证识别SDK，银行卡识别SDK,名片识别SDK,车牌识别SDK,云端OCR识别,提供API识别接口,支持Android,ios,windows,linux等平台
