传统的机器学习再许多问题上都有良好效果,但却无法解决人工智能的关键问题,如语音识别、对象识别等。于是,深度学习应运而生。
维数灾难
当数据的维数很高时,很多机器学习问题变得相当困难。在低维空间,仅需要少量样本便可将样本空间填充得非常稠密,随着维度得增加需要的样本数则是指数型增长的趋势,很显然我们无法在收集数据上花费如此大量的时间,少量样本在高维空间的系数存在将导致模型的繁华能力很弱。
局部不变性和平滑正则化
机器学习中我们一般会通过先验经验来决定学习什么样的函数集,许多模型完全依靠这些先验获得良好的泛化。其中最广泛使用的隐式 ‘‘先验’’ 是平滑先验(smoothness prior),或局部不变性先验(local constancy prior)。这个先验表明我们学习的函数不应在小区域内发生很大的变化。