2016 - 2024

感恩一路有你

predelayer 深度学习是什么意思?

浏览量:1834 时间:2021-03-15 22:11:43 作者:admin

深度学习是什么意思?

深度学习是近几年来随着信息社会发展、学习科学发展及课程改革向纵身推进而出现的一种新的学习样态和形式。

关于深度学习的概念解释,目前有多种答案,不少专家学者都作出了本质含义一致到表述略有不同的解释。



黎加厚教授认为,深度学习是在理解的基础上,学习者能够批判地学习新思想和事实,并将它融入原有的认知结构中,能够在众多思想间进行联系,并能够将已有知识迁移到新的情境中,做出决策和解决问题的学习。

郭华教授认为,深度学习是在教师的引领下,学生围绕具有挑战性的学习主题,全身心地积极参与、体验成功、获得发展的有意义的学习过程,并具有批判理解、有机整合、建构反思与迁移应用的特征。

深度学习具有几个特质。一是触及人的心灵深处的学习。二是体验式学习。三是深刻理解与实践创新的学习。

深度学习是培养学生学科素养、创新能力,提高学生学习质量效果、促进教学改革的新的学习型态,也是目前教学改革所追求的目标与境界之一。

深度学习和普通的机器学习有什么区别?

放张图可以看出关系。机器学习是人工智能的重要区域之一,深度学习是机器学习的分流之一。深度学习在前几年迅速蹿红的原因是突破了一些传统机器学习解决不了的问题。

机器学习的意义在于代替人力完成重复的工作,识别出统一的规律(模式)。但对于传统的机器学习来说,特征的提取难度并不小(特征可以是像素、位置、方向等等)。特征的准确度会很大程度决定大多数机器学习算法的性能,为了使特征准确,将涉及到大量的人力投入特征工程的部分,来对特征进行调整改善。而这一系列工作的完成,是在数据集所含有的信息量足够并且易于识别这一前提下的,如果这一前提没有满足,传统机器学习算法会在杂乱的信息中丧失性能。深度学习的应用便是基于这一问题产生的,它的深层神经网络让它可以在杂乱中学习,自动发现任务所联系的特征(可以把它看成自发地学习特征工程),提取高层次的特征,因而大大减少了任务中在特征工程部份所要耗费的时间。

另一明显的不同之处是二者对数据集大小的偏好。传统的机器学习在制定完善的规则下,在处理较小规模的数据时,会展示出很好的性能,深度学习反而表现不佳;随着数据集的规模不断变大,深度学习的性能才会逐渐展现出来,并且越来越优良,对比可见下图。

是否存在通用的神经网络模型,可以处理图像,语音以及NLP?

对于目前的深度学习模型来说,尽管深度学习的一个目标是设计能够处理各种任务的算法,然而截至目前深度学习的应用仍然需要一定程度的特化,还没有通用的神经网络处理模型。不过各个模型也在互相借鉴,彼此融合,共同提高,象有些创新能同时改进卷积神经网络和循环神经网络,比如批标准化与注意力等。通用的模型还有待未来研究提出。

图像和视频处理,计算机视觉,目前最流行的是cnn,即卷积神经网络,及其变形和发展,cnn适合处理空间数据,在计算机视觉领域应用广泛。象陆续出现的AlexNet,VGGNet,GoogLeNet,ResNet等都很有特色。以上几种模型是图像分类识别使用的。象图像分割,目标检测等还有更多针对性模型提出和得到广泛应用。

语音处理,2012 年前,最先进的语音识别系统是隐马尔可夫模型(HMM) 和高斯混合模型(GMM) 的结合。目前最流行的是深度学习的RNN循环神经网络,及其发展长短时记忆网络LSTM,以及GRU,双向RNN,分层RNN等。

自然语言处理,除了传统方法,目前深度学习用于自然语言处理的模型经历了基于CNN的模型,基于RNN的模型,基于Attention机制的模型,基于Transformer的模型等几个发展阶段。NLP有很多模型和方法,不同的任务场景有不同的模型和策略来解决某些问题。

predelayer pretraining tuning

版权声明:本文内容由互联网用户自发贡献,本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。