分别单独无监督地训练每一层 RBM 网络，确保特征向量映射到不 同特征空间时，都尽可能多地保留特征信息； 在 DBN 的最后一层设置 BP 网络，接收 RBM 的输出特征向量作为 它的输入特征向量，有监督地训练实体关系分类器。而且每一层 RBM 网络只能确保自身层内的 权值对该层特征向量映射达到最优， 并不是对整个 DBN 的特征向量映射达到最优，所以反向传播网络还 将错误信息自顶向下传播至每一层 RBM，微调整个 DBN 网络。RBM 网络训练模型的过程可以看作对一个深层 BP 网络权值参数的初始化 ，使DBN 克服了 BP 网络因随机初始化权值参数而容易陷入局部最优 和训练时间长的缺点。 上述训练模型中第一步在深度学习的术语叫做预训练，第二步叫 做微调。最上面有监督学习的那一层，根据具体的应用领域可以换成 任何分类器模型，而不必是BP网络。

　　深度学习（Deep Learning）是机器学习研究中的一个新的领域，深度学习 是当下最热门的方向之一。其动机在于建立、模拟人脑进行分析学习的神九游体育科技经 网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。 深度学习热潮爆发以来，诸多研究者都在不懈地努力着，希望能够把它应 用于解决计算机视觉的各种任务上，从高层次（high-level）的识别（ recognition），分类（classification）到低层次（low-level）的去噪（ denoise）。让人不禁联想起当年的稀疏表达（sparse representation）的热 潮，而深度学习如今的风靡程度看上去是有过之而无不及。深度学习也有横 扫high-level问题的趋势，high-level的很多方向都在被其不断刷新着数据。 作为强大的特征（feature）学习工具，在给定足够多的训练集的情况下， 它可以帮助用户学习到这个任务下的具有很强分辨能力的特征。

　　深度学习可通过学习一种深层非线性网络结构，实现复杂函数逼近，表征 输入数九游体育科技据分布式表示，并展现了强大的从少数样本集中学习数据集本质特征 的能力。多层的好处在于可以用较少的参数表示复杂的函数。

　　 深度学习的实质，是通过构建具有很多隐层的机器学习模型和海量的训练 数据，来学习更有用的特征，从而最终提升分类或预测的准确性。因此，“深 度模型”是手段，“特征学习”是目的。区别于传统的浅层学习，深度学习的不 同在于： 强调了模型结构的深度，通常有5层、6层，甚至10多层的隐层节点； 明确突出了特征学习的重要性，也就是说，通过逐层特征变换，将样本在 原空间的特征表示变换到一个新特征空间，从而使分类或预测更加容易。与 人工规则构造特征的方法相比，利用大数据来学习特征，更能够刻画数据的 丰富内在信息。

　　2006年，加拿大多伦多大学教授、机器学习领域的泰斗G. E. Hinton和他的学生R. R. Salakhutdinov在science上发表了一篇文章（用 神经网络实现数据降维），开启了深度学习在学术界和工业界的浪潮。 这篇文章有两个主要观点： 多隐层的人工神经网络具有优异的特征学习能力，学习得到的特征对 数据有更本质的刻画，从而有利于可视化或分类； 深度神经网络在训练上的难度，可以通过“逐层初始化”（layer-wise pre-training）来有效克服，在这篇文章中，逐层初始化是通过无监督学 习实现的。

　　DBNs由多个限制玻尔兹曼机（RBM）层组成。RBM被“限制”为一个可视层 和一个隐层，层间存在连接，但层内的单元间不存在连接。隐层单元被训练 去捕捉在可视层表现出来的高阶数据的相关性。

　　深度学习在近期赢得了很多关注， 特别是 百度也开始发力深度学习 后（Institute of Deep Learning）， 更是在国内引起了很多关注。在计 算能力变得日益廉价的今天，深度学习试图建立大得多也复杂得多的神 经网络。 很多深度学习的算法是无监督或半监督式学习算法，用来处理存在少 量未标识数据的大数据集。常见的深度学习算法包括： 受限波尔兹曼机（Restricted Boltzmann Machine） 深度信念网络（ Deep Belief Networks） 卷积神经网络（Convolutional Neural Networks） 堆栈式自动编码器（Stacked Auto-encoders）