二、深度学习的框架

1.深度神经网络DNN

DNN是层数很深的全连接网络，层数决定了神经网络对数据的刻画能力——利用每层更少的神经元拟合更加复杂的函数。2006年Hinton利用预训练方法缓解了局部最优解问题，将隐含层推动到了7层，揭开了深度学习的浪潮。（注意这里的“深度”并没有固定的定义——在语音识别领域，4层就认为是比较深的了；而在图像识别领域20层的模型屡见不鲜。2016年提出的highway network以及深度残差学习（deep residual learning）进一步杜绝了梯度消失达到了一百多层。）

优点：

• 更好的数据刻画能力。

缺点：

• 参数数量膨胀（训练开销大），没有考虑数据的固有局部特征（如图像中的轮廓、边界等等）。

2.卷积神经网络CNN

卷积神经网络更改了神经网络的结构，不再是全连接的结构了，大量的减少了网络的参数；同时，通过参数共享进一步减少了网络参数。它考虑到了空间结构和局部特征，非常适用于图像处理领域。
优点：

• 具有位移、缩放以及其他形式扭曲不变性

• 隐式地从训练数据中进行学习，避免了显式的特征抽取

• 同一特征映射面上的神经元权值相同，所以网络可以并行学习

• 布局更接近于实际的生物神经网络，权值共享降低了网络的复杂性，特别是多维输入向量的图像可以直接输入网络这一特点避免了特征提取和分类过程中数据重建的复杂度，在语音识别和图像处理方面有着独特的优越性

3.循环神经网络RNN

鉴于深度学习在现实任务中的广泛适用性，它已经吸引了众多技术专家、投资者和非专业人员的关注。尽管深度学习最著名的成果是使用前馈卷积神经网络（convnets）来解决计算机视觉问题，少数公众的注意力已经投入到使用递归神经网络来对时间关系进行建模。

在普通的全连接网络或者CNN中，每层神经元的信号只能向上传播，样本的处理在各个时刻独立，因此又称为前馈神经网络。而在RNN中，神经元的输出可以在下一个时间戳直接作用到自身；即第i层的神经元在m时刻的输入包含i-1层在该时刻的输出以及其自身在m-1时刻的输出。在此基础上发展出了长短期记忆LSTM网络。
优点：

• 可以对时间序列上的变化建模，适用于处理语音、自然语言等领域

4.深度置信网络DBN

深度置信网络（deep belief networks，DBN）是一种包含多层隐单元的概率生成模型，可被视为多层简单学习模型组合而成的复合模型。可以作为深度神经网络的预训练部分，并为网络提供初始权重，再使用反向传播或者其他判定算法作为调优的手段。

总结

虽然我们可以对深度学习的各种方法进行分类，但是广义上来说NN或者DNN是包含了其它各种变种方法的。在实际使用中往往也是多种结构的融合。
另外深度学习的结构多种多样，除了上文提到的结构，还会出现其他的结构。