一、深度学习的定义

1、定义

1. wiki：深度学习是机器学习的分支，它试图使用包含复杂结构或者由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。

2. 李彦宏：简单的说，深度学习就是一个函数集，如此而已。

3. 深度学习将特征提取和分类结合到一个框架中，用数据学习特征，是一种可以自动学习特征的方法。

4. 深度学习是一种特征学习方法，把原始的数据通过非线性的复杂模型转换为更高层次、更抽象的表达。

2、相关背景知识

深度学习起源于神经网络，但现在已超越了这个框架。至今已有数种深度学习框架，如深度神经网络、卷积神经网络和深度置信网络和递归神经网络等，已被应用计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

深度学习的动机在于建立可以模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像、文本和声音等。深度学习通过学习一种深层非线性网络结构，只需简单的网络结构即可实现复杂函数的逼近，并展现了强大的从大量无标注样本集中学习数据集本质特征的能力。深度学习能够获得可更好地表示数据的特征，同时由于模型的层次深（通常有5层、6层，甚至10多层的隐层节点，“深”的好处是可以控制隐层节点的数目为输入节点数目的多项式倍而非多达指数倍）、表达能力强，因此有能力表示大规模数据。

3、一些问题

神经网络面临的问题：

• 理论分析难度大

• 训练方法需要经验和技巧

• 计算量大、优化求解难度大

• BP算法中的梯度弥散或者消失问题（误差随着层数的增加指数递减），只能处理浅层（小于等于3）

层数的影响

多层：

• 多层表示更符合人类的学习方式：从一个单词的发音到大脑的理解之间存在多个隐层，这与深度学习的过程很一致。

• 可以自动生成数据模型，用较少的参数表示复杂的函数。

• 在分层训练的过程中，本应用于修正模型参数的误差随着层数的增加指数递减，这导致了模型训练的效率低下。

浅层：

• 有限样本和计算单元情况下对复杂函数的表示能力有限，针对复杂分类问题其泛化能力受到一定制约。

• 需要依靠人工来抽取样本的特征，手工选取特征是一件非常费力的事情，能不能选取好很大程度上靠经验和运气。