专栏名称: 36大数据
关注大数据和互联网趋势,最大,最权威,最干货的大数据微信号(dashuju36)。大数据第一科技媒体。不发软文,只做知识分享。
目录
相关文章推荐
网信内蒙古  ·  解读2024年全国数据资源调查情况 ·  4 小时前  
网信内蒙古  ·  解读2024年全国数据资源调查情况 ·  4 小时前  
InfoTech  ·  DeepSeek更新了! ·  3 天前  
人工智能与大数据技术  ·  15亿美元AI独角兽崩塌,全是印度程序员冒充 ... ·  2 天前  
人工智能与大数据技术  ·  AI 正在培养“文盲”程序员? ·  4 天前  
51好读  ›  专栏  ›  36大数据

数据科学家必须知道的10个深度学习架构

36大数据  · 公众号  · 大数据  · 2017-10-13 07:50

正文

请到「今天看啥」查看全文


2. VGG Net


“VGG Net”是由牛津大学“视觉图像研究组”的研究人员引入的。VGG网络的最大特点是它的金字塔状,靠近图像的底部比较宽阔,而顶部的层相对窄且深。

如图所示,VGG Net包含了连续的卷积层,卷积层后紧接着聚积层。聚积层负责让各个层变得更窄。在这篇由组内研究人员共同完成的论文中,他们提出了各种类型的网络,这些网络架构的主要差异是深度不同。

VGG网络的优势在于:


这是对一个特定任务进行基准测试非常有效的网络架构。


同时,网上有大量免费的VGG预训练网络,因此,VGG通常会被用于各种各样的应用程序。


而另一方面,VGG主要的缺陷在于如果从头开始训练的话,其训练速度会非常慢。即使是用一个相当不错的GPU,它还是需要超过一周的时间才能正常运行。


Original Paper link( https://arxiv.org/abs/1409.1556 )

Link for code implementation( https://github.com/fchollet/keras/blob/master/keras/applications/vgg16.py )


3
GoogleNet


GoogleNet(又称“InceptionNet”)是由谷歌的研究人员们设计的一个网络架构。GoogleNet在2014年的ImageNet大赛中获得了冠军,证明了它是一个功能强大的模型。


在这个网络架构中,研究人员们不仅加深了网络深度(GoogleNet包含22个层,而VGG网络只有19个层),还研究出了一个叫做“Inception模块”的新方法。

如上图所示,这个架构与我们之前看到的有序性架构相比,发生了巨大的改变。在单个层中出现了各种各样的“特征提取器”。这间接地提高了网络的性能,因为当处理任务时,网络在自我训练过程中的选择非常广泛。它既可以选择卷积输入,也可以选择直接将输入聚积起来。

最终的架构包含了许多一个个相互叠加的Inception模块。大部分最上面的层都有它们自己的输出层,所以GoogleNet的训练与其他模型有细微的差别。但这些差别能够帮助模型更快地完成卷积,因为这些层不仅有共同的训练,还有各自独立的训练。


GoogleNet的优势有:


GoogleNet的训练速度比VGGNet要快。


与预训练的VGG网络相比,预训练的GoogleNet所占规模更小。一个VGG模型所占空间可以超过500MB,而GoogleNet只占96MB。


目前为止,GoogleNet还没有直接的缺陷,但是文章中提出了一些有助于GoogleNet进一步完善的改变方案。其中有一个改变方案被称作“XceptionNet”,在这个网络中,“初始模块”的散度限制被提高了。理论上来说,其散度现在可以是无限的了。


Original Paper link( https://arxiv.org/abs/1512.00567 )

Link for code implementation( https://github.com/fchollet/keras/blob/master/keras/applications/inception_v3.py )


4
ResNet


ResNet是一个真正地定义了深度学习架构深度的网络架构。“残差网络”,也就是我们所说的ResNet,包含了许多连续的“残差模块”,这些“残差模块”构成了ResNet架构的基础。“残差模块”如下图所示:

简单来说,一个“残差模块”有两个选择——它可以选择在输入上执行一组函数,也可以选择跳过这些步骤。


与GoogleNet类似,这些“残差模块”相互叠加,从而形成一个完整的网络的。


由ResNet引入的一些新技术有:


使用标准的SGD,而不是花哨的“自适应学习”技术。这是通过一个能够保持正常训练的初始化函数来完成的。


改变输入预处理的方式,先将输入分批,然后再输入至网络。


ResNet的主要优势在于,成千上万的残差层都能用于建立一个网络,而且都能被用于训练。这与平常的“时序网络”稍有不同,“时序网络”的性能会因为层数的增加而降低。


Original Paper link( https://arxiv.org/abs/1512.03385 )

Link for code implementation( https://github.com/fchollet/keras/blob/master/keras/applications/resnet50.py )


5
ResNeXt


据称,ResNeXt是目前为止最先进的物体识别技术。ResNeXt建立于inception和ResNet的基础之上,是一个全新的、改良的网络架构。下图总结了ResNeXt的一个残差模块:

Original Paper link( https://arxiv.org/pdf/1611.05431.pdf )

Link for code implementation( https://github.com/titu1994/Keras-ResNeXt )


6
RCNN(Region Based CNN)


RCNN据说是用于解决物体识别问题的深度学习架构中最具影响力的网络架构。为了解决识别检测问题,RCNN试图框出图像中的所有物体,然后再识别图像中的物体具体是什么。其操作流程如下:







请到「今天看啥」查看全文