AI疯狂进阶——感受野篇

核心导读:

1. 神经网络感受野是什么?

2. 感受野的分布是啥样子的?

3. 感受野是不是越大越好?

4. 多路感受野融合提高精度?

5. 如何计算神经网络感受野?

1. 神经网络感受野是什么?

在卷积神经网络中,感受野是卷积神经网络每一层输出的特征图上的像素点在原始图像上映射的区域大小。神经元感受野之外的图像内容并不会对该神经元的值产生影响,所以必须确保这个神经元的感受野覆盖所有相关的图像区域。在应用工程中,通过调节网络的深度,卷积的kernel size等参数控制网络的感受野大小 。感受野的概念尤为重要,对于理解和诊断CNN网络有着极大的帮助。本文对感受野相关的问题进行了总结,下面一一阐述:

2.感受野的分布是啥样子的?

《Understanding the Effective Receptive Field in Deep Convolutional Neural Networks》论文中引出了theoretical receptive field (理论感受野)和Effective Receptive Fields(实际感受野)这2个概念。通常实际感受野小于理论感受野,随着具体的任务变化。作者进一步在数学上证明了 Effective Receptive Fields 在 1D 是一个高斯分布,随后推出 2D/大于2D的情况都是近似高斯分布,如下图所示。

3.感受野是不是越大越好?

我们需要关注网络的感受野是否足够,例如在需要检测或者识别图片中大目标的时候。但这并不意味着感受野越大越好,在某些场景中过大的感受野甚至会降低模型的性能,例如《The Receptive Field as a Regularizer in Deep Convolutional Neural Networks for Acoustic Scene Classification》论文通过1*1 Conv替换3*3Conv缩小ResNet和DenseNet等网络的感受野在ASC场景获取了比原始模型更高的精度;《Gated Recurrent Convolution Neural Network for OCR 》论文提出了GRCL 结构来限制无效感受野,提高了STR的识别精度,下图展示了改进后特征响应图,可以看出RCNN能强化文字上的响应,减弱无效背景的响应。

4.多路感受野融合提高精度?

Inception网络提出多路卷积融合的思路,实际是在同一个尺度上多种感受野信息的融合,主要是为了解决图像大小分布差异较大的问题。《MixNet: Mixed Depthwise Convolutional Kernels》Google Brain最近提出Mixed Depthwise Convolution,类似Inception的单元结构,以此来提高网络表达能力。Google Brain在MobilenetV2的基础上用MDConv替换3*3 Depthwise Conv进行了多组实验,在大多数情况下都取得了更好的效果,接着在Imagenet上用Auto ML搜索出MixNet-L,取得了78.9%的top-1分类精度,同时FLOPs小于600M,超过Resnet153。

5.感受野如何计算?

感受野的计算方式有两种,下面给出其中一个计算公式和计算示例

6.小结

感受野作为神经网络隐藏的重要特性还有很多需要发掘的地方,在实际的工程项目中我们需要考虑这一块的影响,细节往往决定成败,与其沉迷在研究高大上的算法架构,真不如沉下心把一些基础性的研究工作做透彻。

(伍国梦18591489813)正面操作拼过了ai疯狂电脑算什么水平? - ______ 1.在人口落后的情况下,能正面打赢疯狂AI说明你微操做的很好了.2.而且能拖到接近满人口大战,说明你前期骚扰做的也很好.3.但打电脑和打人始终是有区别的,这涉及到意识、操作、战术等许多因素.总之,能打成你这样也很不容易了,当赢疯狂AI成为经常,那我想VS10级的人也没几个能做到吧.

(伍国梦18591489813)宋 周密的《野步》注释及翻译 - ______ 作品原文 野 步 周密 麦陇风来翠浪斜,草根肥水噪(zào)新蛙. 羡他无事双蝴蝶,烂醉东风野草花. 作品鉴赏 此诗的大意是:和煦的风吹斜了麦陇的新稻,小青蛙在水洼草根处不停地叫着.多么羡慕那无忧无虑的蝴蝶啊,暂且沉醉在这...

(伍国梦18591489813)魔兽争霸打ai疯狂电脑打能提高水平吗 - ______ 开两家疯狂的电脑 不准造炮台 不准造成批的飞行单位(例如什么12只飞龙) 并且要攻的时候 必须分两边打 一团部队打一家 另外团打另外家 这个 确实可以提高水平 操作 多线 能得到极大提升

(伍国梦18591489813)随风潜入夜 润物细无声全诗 - ______ 春夜喜雨 好雨知时节,当春乃发生. 随风潜入夜,润物细无声. 野径云俱黑,江船火独明. 晚看红湿处,花重锦官城. 【注解】 好雨:指春雨,及时的雨. 乃:就. 发生:催发植物生长,萌发生长. 潜:暗暗地,静悄悄地. 润物:...

(伍国梦18591489813)鬼吹灯之牧野诡事手游什么职业厉害 - ______ 一、摸金 【职业介绍】 摸金的雏形始于战国时期,精通“寻龙诀”和“分金定穴”,注重技术环节.曹操设立摸金校尉一职,专门掘丘,所以摸金门弟子又被称为摸金校尉.摸金派最擅长定穴,即找墓,以“分金定穴”著称,不擅武...

(伍国梦18591489813)正面操作拼过了ai疯狂电脑算什么水平? - ______ 当赢疯狂AI成为经常,那我想VS10级的人也没几个能做到吧,这涉及到意识、操作.总之,能打成你这样也很不容易了、战术等许多因素,说明你前期骚扰做的也很好.3.但打电脑和打人始终是有区别的1.在人口落后的情况下,能正面打赢疯狂AI说明你微操做的很好了.2.而且能拖到接近满人口大战

(伍国梦18591489813)星际争霸编辑器中电脑问题!! - ______ 可能是你没设置Location吧,你得划一个这玩意儿以决定AI所使用的范围,一般划主基地上就可以了……还得用个Run AI Script At Location的触发. 顺便说一句还有种叫Insane的难度(疯狂).特点是狂出高级兵种,但是已有兵种未被消灭光的话是不会出新兵的.他人评价是既疯狂又弱智.如果选择这样的AI就要给它事先设置一些建筑,这样电脑据说会很难打. 注意带“Expansion”的字样的AI才会使用和建造母巢之战里的新东西. 其余的可以去CSGA问……

(伍国梦18591489813)春夜喜雨的诗意是什么 - ______ 《春夜喜雨》是杜甫在公元761年(唐肃宗上元二年)春天,在成都浣花溪畔的草堂时写的.此时杜甫因陕西旱灾来到四川定居成都已两年.他亲自耕作,种菜养花,与农民交往,因而对春雨之情很深,写下了这首诗描写春夜降雨、润泽万物的...