“深度学习”和“多层神经网路”的区别

“深度学习”和“多层神经网路”的区别  

“深度学习”和“多层神经网路”的区别

“深度学习”和“多层神经网路”不存在区别关系。深度学习的网路结构是多层神经网路的一种。深度学习中最著名的卷积神经网路CNN，在原来多层神经网路的基础上，加入了特征学习部分，这部分是模仿人脑对讯号处理上的分级的。广义上说深度学习的网路结构也是多层神经网路的一种。传统意义上的多层神经网路是只有输入层、隐藏层、输出层。其中隐藏层的层数根据需要而定，没有明确的理论推导来说明到底多少层合适。而深度学习中最著名的卷积神经网路CNN，在原来多层神经网路的基础上，加入了特征学习部分，这部分是模仿人脑对讯号处理上的分级的。具体操作就是在原来的全连线的层前面加入了部分连线的卷积层与降维层，而且加入的是一个层级。输入层-卷积层-降维层-卷积层-降维层--.--隐藏层-输出层简单来说，原来多层神经网路做的步骤是：特征对映到值。特征是人工挑选。深度学习做的步骤是讯号->特征->值。特征是由网路自己选择。需要使用深度学习解决的问题有以下的特征：深度不足会出现问题。人脑具有一个深度结构。认知过程逐层进行，逐步抽象。深度学习的核心思想：把学习结构看作一个网路，则深度学习的核心思路如下：①无监督学习用于每一层网路的pre-train；②每次用无监督学习只训练一层，将其训练结果作为其高一层的输入；③用自顶而下的监督演算法去调整所有层

深度学习的概念源于人工神经网路的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分散式特征表示。 多层神经网路是指单计算层感知器只能解决线性可分问题，而大量的分类问题是线性不可分的。克服单计算层感知器这一侷限性的有效办法是，在输入层与输出层之间引入...  深度学习的概念源于人工神经网路的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分散式特征表示。

多层神经网路是指单计算层感知器只能解决线性可分问题，而大量的分类问题是线性不可分的。克服单计算层感知器这一侷限性的有效办法是，在输入层与输出层之间引入隐层（隐层个数可以大于或等于1）作为输入模式“的内部表示”　，单计算层感知器变成多（计算）层感知器。

深度学习是一种学习方式，指的是采用深度模型进行学习，不是模型。多层神经网路是一种模型

深度学习是一种学习方式，指的是采用深度模型进行学习，不是模型。多层神经网路是一种模型。多层神经网路只要够深就能称为深度模型。但是深度模型不止只有够深的多层神经网路一种，还有 DBM、DBN 等图模型，也有一些带反馈的神经网路如 RNN 。

多层神经网路都是全连线结构，比如1000＊1000的图片作为输入，那么一层的引数需要10^12个。这样就带来一些问题。
深度学习在多层神经网路的基础上，采用区域性连线，权职共享，下菜样等技术，使得一层的引数从10w个，缩小到100*10*10=1w个。使得多层结构可以工作的更高效。
在我的视讯课程，用Python做深度学习，里有更详细的解释。

以往的多层神经网路只是代表多层BP网路，现在的DNN网路形式也是那样的，不过还添加了许多新的结构，比如卷积神经网路、递回神经网路、脉冲神经网路等，其中加入了很多优化手段。
其实主要是之前神经网路一度被SVM等机器学习方法打压，现在要翻身，换个名字比较高大上。

作者：杨延生
连结：:zhihu./question/26017374/answer/31868340
来源：知乎
著作权归作者所有，转载请联络作者获得授权。
"深度学习"是为了让层数较多的多层神经网路可以训练，能够work而演化出来的一系列的 新的结构和新的方法。
新的网路结构中最著名的就是CNN，它解决了传统较深的网路引数太多，很难训练的问题，使用了“区域性感受野”和“权植共享”的概念，大大减少了网路引数的数量。关键是这种结构确实很符合视觉类任务在人脑上的工作原理。
新的结构还包括了：LSTM，ResNet等。
新的方法就多了：新的启用函式：ReLU，新的权重初始化方法（逐层初始化，XAVIER等），新的损失函式，新的防止过拟合方法（Dropout, BN等）。这些方面主要都是为了解决传统的多层神经网路的一些不足：梯度消失，过拟合等。
---------------------- 下面是原答案 ------------------------
从广义上说深度学习的网路结构也是多层神经网路的一种。
传统意义上的多层神经网路是只有输入层、隐藏层、输出层。其中隐藏层的层数根据需要而定，没有明确的理论推导来说明到底多少层合适。
而深度学习中最著名的卷积神经网路CNN，在原来多层神经网路的基础上，加入了特征学习部分，这部分是模仿人脑对讯号处理上的分级的。具体操作就是在原来的全连线的层前面加入了部分连线的卷积层与降维层，而且加入的是一个层级。
输入层 - 卷积层 -降维层 -卷积层 - 降维层 -- .... -- 隐藏层 -输出层
简单来说，原来多层神经网路做的步骤是：特征对映到值。特征是人工挑选。
深度学习做的步骤是 讯号->特征->值。 特征是由网路自己选择。