文章目录

  1. 1. 参考资料

1981 年的诺贝尔医学奖,颁发给了 David Hubel 和 Torsten Wiesel,以及 Roger Sperry。前两位的主要贡献是,发现了人的视觉系统的信息处理是分级的。从视网膜出发,经过低级的 V1 区提取边缘特征,到 V2 区的基本形状或目标的局部,再到高层的整个目标(如判定为一张人脸),以及到更高层的PFC(前额叶皮层)进行分类判断等。也就是说高层的特征是低层特征的组合,从低层到高层的特征表达越来越抽象和概念化,也即越来越能表现语义或者意图。

这个发现激发了人们对于神经系统的进一步思考。大脑的工作过程,或许是一个不断迭代、不断抽象概念化的过程。例如,从原始信号摄入开始(瞳孔摄入像素),接着做初步处理(大脑皮层某些细胞发现边缘和方向),然后抽象(大脑判定眼前物体的形状,比如是椭圆形的),然后进一步抽象(大脑进一步判定该物体是张人脸)。这个过程其实和我们的常识是相吻合的,因为复杂的图形,往往就是由一些基本结构组合而成的。同时我们还可以看出:大脑是一个深度架构,认知过程也是深度的。

深度学习,恰恰就是通过组合低层特征形成更加抽象的高层特征(或属性类别)。例如,在计算机视觉领域,深度学习算法从原始图像去学习得到一个低层次表达,例如边缘检测器、小波滤波器等,然后在这些低层次表达的基础上,通过线性或者非线性组合,来获得一个高层次的表达。此外,不仅图像存在这个规律,声音也是类似的。比如,研究人员从某个声音库中通过算法自动发现了 20 种基本的声音结构,其余的声音都可以由这 20 种基本结构来合成。

在进一步阐述深度学习之前,我们需要了解什么是机器学习。机器学习是人工智能的一个分支。简单来说,机器学习就是通过算法,使得机器能从大量历史数据中学习规律,从而对新的样本做智能识别或对未来做预测。

深度学习是机器学习中的一个新的领域,其动机在于建立可以模拟人脑进行分析学习的神经网络,它模仿人脑的机制来解释数据,例如,图像、声音和文本。深度学习是无监督学习的一种。无监督学习,就是不需要通过人工方式进行样本类别的标注来完成学习。

它们有个比较大的区别,那就是传统的机器学习通常是需要人提前先来做特征提取,把提取过的特征向量化后再丢给模型去训练,这里人要做相当的前置工作

深度学习之所以被称为“深度”,是因为之前的机器学习方法都是浅层学习。深度学习可以简单理解为传统神经网络的发展。深度学习采用了与神经网络相似的分层结构:系统是一个包括输入层、隐藏层、输出层的多层网络,只有相邻层节点之间有连接,而同一层以及跨层节点之间相互无连接。这种分层结构,比较接近人类大脑的结构。

实际生活中,人们为了实现对象的分类,首先必须做的事情是如何来表达一个对象,即必须抽取一些特征来表示一个对象。例如,区分人和猴子的一个重要特征是是否有尾巴。特征选取的好坏对最终结果的影响非常大。深度学习框架将特征和分类器结合到一个框架中,用数据去学习特征,在使用中减少了手工设计特征的巨大工作量。准确地说,深度学习首先利用无监督学习对每一层网络进行逐层预训练,每次用无监督学习只训练一层,并将训练结果作为更高一层的输入,最后用监督学习去调整所有层。

参考资料

(完)

微信公众号

文章目录

  1. 1. 参考资料