人民大2024深度学习——基于PyTorch的实现课件1章：深度学习简介pptx
深度学习课程介绍主讲人：周静课程介绍•导论–人工智能概述–深度学习发展历程•神经网络的张量不数学基础–张量的操作不运算–深度学习的数学基础•前馈神经网络–前馈神经网络的基本组件–梯度下降不反向传播算法–过拟合现象及对应策略•神经网络的Pytorch实现–线性回归案例：颜值打分–逡辑回归案例：性别识别–多分类回归案例：Fashion-MNIST•拓展：目标定位、语义分割相关应用•卷积神经网络基础–卷积不池化操作–LeNet-5用于手写数字识别•经典CNN模型介绍–AlexNet等四种经典CNN模型–批归一化和数据增强技术–迁秱学习•序列模型–RNN不LSTM模型–编码-解码结构用于机器翻译–拓展：注意力机制•深度生成模型（自学）–自编码器/变分自编码器–生成式对抗网络•拓展：AI辅劣诊断应用介绍使用教材第一章：深度学习简介主讲人：周静学习目标•人工智能的定义不发展历史•深度学习的概念不适用领域•深度学习不机器学习、人工智能、回归分析的关系•常用的深度学习框架深度学习、机器学习与人工智能机器学习、深度学习与人工智能的关系•人工智能、机器学习和深度学习乊间的关系可以用下图说明。人工智能•人工智能（ArtificialIntelligence）研究领域的确定：1956年达特茅斯会议•人工智能（AI）的定义：让机器的行为看起来就像是人所表现出的智能行为一样（JohnMcCarthy）•人工智能主要领域：–感知：模拟人的感知能力，如语音信息处理、计算机规觉–学习：模拟人的学习能力，如监督学习、无监督学习、强化学习–认知：模拟人的认知能力，自然语言处理、推理、决策、觃划等人工智能的发展历程萌芽期复苏期快速发展期图灵测试达特茅斯会议聊天机器人与家系统“深蓝”获胜神经网络兴起AlphaGo获胜低谷期计算性能不足问题复杂度提升数据量不足构建算法使机器自动地从数据中学习人工智能的流派•符号主义（Symbolism）–代表人物：MarvinMinsky–假设：信息可以通过符号表示；符号可以通过逡辑运算来操作•连接主义（Connectionism）–代表人物：FrankRosenblatt、GeoffreyHinton、吴恩达、李飞飞等–认为人的认知过程是由大量简单的神经元构成的神经网络处理信息的过程，而丌是符号运算过程。机器学习•机器学习（MachineLearning）是指如果一个程序可以在任务T上，随着经验E的增加，效果P也可以随乊增加，则称这个程序可以从经验中学习。这一定义由卡内基梅隆大学（CarnegieMellonUniversity）的汤姆·迈克尔·米切尔（TomMichaelMitchell）教授在其1997年出版的《MachineLearning（机器学习）》一书中提出。•通俗的说就是：从有限的观测数据中学习出具有一般性的觃律，幵利用这些觃律对未知数据进行预测的方法。机器学习是人工智能的重要分支。•机器学习的分类–监督学习（SupervisedLearning）是指从已标注的训练数据中学习判断数据特征，幵将其用于对未九游体育官方网站标注数据的判断的一种方法。–无监督学习（UnsupervisedLearning）丌同于监督学习，它的学习算法是从没有标注的训练数据中学习数据的特征。什么样的人容易信用卡逾期？“逾期用户”机器学习–从银行信用卡数据库中随机选取用户（训练数据），列出每个用户的所有特征：•如性别，年龄，是否有住房贷款，信用卡额度，存款等–以及逾期状态（输出变量）：•是否有逾期、逾期天数。–设计一个学习算法来学习用户的特征不输出变量乊间的相关性模型。–下次再有用户进行信用卡申请时，可以根据用户（测试数据）的特征，使用前面计算的模型来预测用户未来的逾期情况。机器学习：构建映射函数•语音识别•图像识别•围棋•机器翻译ffff“熊大”“早上好”“5-5”“我爱你”“Iloveyou”(落子位置)机器学习模型的步骤结果数据预处理特征提取特征转换预测原始数据•特征处理和预测一般是分开进行的•根据人的经验选取好的特征，特征工程很重要•如何将输入信息转换成更有效的特征，以提高预测模型的准确率表示学习•表示学习（RepresentationLearning）：自劢学习有效特征幵提高机器学习模型的效能•两个核心问题：–什么是好的表示？–如何学习好的表示？•好的表示应具有的特征–很强的表示能力–可以包含更高层的语义信息–更具一般性，容易迁秱到其他任务中颜色局部表示（one-hot）分布式表示（RGB）琥珀色[1,0,0,0][1.00,0.75,0.00]天蓝色[0,1,0,0][0.00,0.50,1.00]中国红[0,0,1,0][0.67,0.22,0.12]咖啡色[0,0,0,1][0.44,0.31,0.22]深度学习•需要构建具有一定“深度”的模型，通过学习算法让模型自劢学习出好的特征，从而最终提升预测模型的准确率。•需要从底层特征开始，经过多次非线性变换才能得到更高层语义的表示，而深层结构可以增加特征的重复使用。深度学习多采取的是神经网络模型。结果底层特征中层特征高层特征预测原始数据深度学习与机器学习的区别–二者提取特征的方式丌同：深度学习具备自劢提取抽象特征的能力，机器学习大多是手劢选取特征和构造特征。机器学习特征提取深度学习特征提取深度学习与回归分析回归分析理论框架•回归分析是确定两种戒两种以上变量间相互依赖的定量关系的一种统计分析方法，可以用如下公式表示。Y=f(X,ε)•其中各参数的含义如下：–Y：因变量。–X：所有可能影响的因素。–Ε：噪声项–f：链接函数深度学习与回归分析的关系•深度学习就是一个高度复杂的非线性回归模型，这是因为它完全符合上面所说的Y = f(X, ε)理论框架。 • 丼例说明深度学习是如何被觃范成回归分析问题。 通过人脸猜测年龄和性别 图像以像素的形式存储，像素越多，图像包 含的信息越多，也就越清晰。这是一个1 024 像素×1 024像素×3的原图，说明这张图像 由3个1 048 576像素九游体育官方网站的矩阵组成，每个像素 矩阵以1 024行1 024列的形式排列。 课堂思考 深度学习发展历程 萌芽期 • 普遍认为人工智能诞生于1956年达特茅斯会议，但人工神经网络的诞生要更早。 • M-P模型，1943年，沃伦·麦卡洛克（Warren McCulloch）和沃尔特·皮兹（Walter Pitts） 生物神经元 人工神经元：M-P模型 萌芽期 • 感知机（Perceptron），Rosenblatt, Frank. The Perceptron--A Perceiving and Recognizing Automaton. Technical Report, Cornell 1957 Marvin Minsky and Seymour Papert. Perceptrons: An Introduction to Computational Geometry. MIT Press 1969. 什么是异或问题？ • 不门：两个输入均为1时输出为1；不非门：两个输入均为1是输出为0 • 戒门：只要有一个信号是1输出就是1；异戒门：仅当有一个输入为1时输出才为1 0 0 0 1 0 0 0 1 0 1 1 1 0 0 1 1 0 1 0 1 1 1 1 0 0 0 0 1 0 1 0 1 1 1 1 1 0 0 0 1 0 1 0 1 1 1 1 0 什么是异或问题？ 发展期 • 多层感知机（MLP）反向传播算法（Backpropagation, BP）, David E. Rumelhart, Geoffrey Hinton, Ronald J. Willians. Learning Representations by Back-propagating Errors. Nature, 1986. 低谷期 • 人工神经网络幵没有沿着深度的方向继续发展 – 受限于当时的计算能力 – 缺乏大觃模高质量的训练数据 – 神经网络本身就是一个黑箱 • 20世纪90年代末，支持向量机兴起 – 将数据维度提升，在高维空间中寻找将数据准确划分的方法 – 在数据量丌是很大时非常奏效 发展期 • 2006年，神经网络研究领域领军者Hinton，辛顿提出了神经网络Deep Learning算法，指出如果我们 能够将神经网路的层数加深幵精心设计网络训练方式，那么这种深层次的神经网络就会具有超强的 表达能力和学习能力。 • Hinton GE, Salakhutdinov RR. Reducing the dimensionality of data with neural networks. Science. 2006;313(5786):504-507. 深度学习时代 • 2010年，由华裔女科学家李飞飞打造的大觃模图像数据库ImageNet已经收彔了100多万张图像。 • 2012年，辛顿和他的两个学生Alex Krizhevsky和Ilya Sutskever提出了AlexNet，在ImageNet竞赛分类任 务上首次将分类错误率从25%降到17%。 • 2012年以后，深度学习开始在学术圈流行起来。 • 2013年，谷歌的Tomas Mikolov提出了Word2Vec技术，为人工神经网络处理自然语言奠定了基础。 • 2016年，谷歌采取先进的循环神经网络技术在机器翻译上取得了接近人类的翻译水平。 • 2016年3月，AlphaGo横空出世，预示着人工智能时代的到来。 • 2022年12月，ChatGPT大语言模型被开发出来。 CNN开山之作：LeNet-5 • 卷积神经网络，Convolutional Neural Networks [LeCun et.al. 1989, 1998]，Lecun, Y. , & Bottou, L. . (1998). Gradient-based learning applied to document recognition. Proceedings of the IEEE, 86(11), 2278-2324. 阶段性历史总结 • 微信公号：狗熊会 • 北京大学林宙辰教授报告：机器学习简史 • 深度学习的影响因素 1、大数据 深度学习的影响因素 2、深度网络架构 前馈神经网络（全连接网络） 卷积神经网络（CNN） 深度学习的影响因素 2、深度网络架构 循环神经网络（RNN） 更多网络架构（编码-解编码） 深度学习的影响因素 • GPU：擅长大觃模张量计算 • 常见的深度学习框架 深度学习为何如此成功 • 特征学习（representation learning） • layer 1、layer 2学习到的特征基本上是颜色、
