澳门威利斯人_威利斯人娱乐「手机版」

来自 办公软件 2020-01-19 15:06 的文章
当前位置: 澳门威利斯人 > 办公软件 > 正文

学习笔记TF033,梵高眼中的世界

  • Introduction
  • Architecture
    • Image Transformation Network 图像转变互连网
      • Residual Connections 残差连接
      • Down-sampling and Up-sampling
    • Loss Network 损失互联网

读书笔记TF033:落成ResNet,tf033resnet

ResNet(Residual Neural Network卡塔尔(قطر‎,微软钻探院 Kaiming He等4名中原人建议。通过Residual Unit操练152层深神经互连网,ILSVRC 二〇一四较量亚军,3.57%top-5错误率,参数量比VGGNet低,效果非凡卓绝。ResNet布局,超级快加快超深神经网络练习,模型正确率十分大升高。英斯ption V4,英斯ption Module、ResNet结合。ResNet推广性好。

瑞十教师Schmidhuber(LSTM网络发明者,1996年卡塔尔国建议Highway Network。消逝极深神经互连网难操练难题。改良每层激活函数,从前激活函数只是对输入非线性转变y=H(x,WH卡塔尔(قطر‎,Highway NetWork保留一定比例原始输入x,y=H(x,WH卡塔尔·T(x,WT卡塔尔国 x·C(x,WC卡塔尔国,T调换周全,C保留周密,令C=1-T。后边意气风发层新闻,一定比重不通过矩阵乘法和非线性别变化换,直接传输下黄金时代层。Highway Network,gating units学习决定互连网音讯流,学习原始新闻应封存比例。gating机制,Schmidhuber教授早年LSTM循环神经网络gating。几百上千层深Highway Network,直接梯度下跌算法锻炼,合作各样非线性激活函数,学习极深神经互联网。Highway Network允许演习狂妄深度网络,优化措施与网络深度独立。

ResNet 允许原始输入音讯直接传输到后层。Degradation难点,不断加剧神经互联网深度,准确率先上涨到达饱和,再下滑。ResNet灵感,用全等映射直接将前层输出传到后层。神经网络输入x,期待输出H(x卡塔尔,输入x直接传到输出作开首结果,学习指标F(x卡塔尔=H(xState of Qatar-x。ResNet残差学习单元(Residual Unit卡塔尔,不再念书欧洲经济共同体输出H(xState of Qatar,只学习输出输入差异H(x卡塔尔国-x,残差。

ResNet,非常多旁路支线,输入直接连到后层,后层直接攻读残差,shortcut或connections。直接将输入消息绕道传到输出,尊崇新闻完整性,整个网络只学习输入、输出差距,简化学习指标、难度。

两层残新式学习单元包涵五个相似输出通道数3x3卷积。三层残差网络用Network In Network和英斯ption Net 1x1卷积。在中等3x3卷积前后都用1x1卷积,先降维再升维。假诺输入输出维度差别,对输入x线性映射调换维度,再接后层。

layername outputsize 18-layer 34-layer 50-layer 101-layer 152-layer
conv1 112x112 7x7,64,stride 2
conv2_x 56x56 3x3 max pool,stride 2
3x3,64x2 3x3,64x3 1x1,64x3 1x1,64x3 1x1,64x3
3x3,64 3x3,64 3x3,64 3x3,64 3x3,64
1x1,256 1x1,256 1x1,256
conv3_x 28x28 3x3,128x2 3x3,128x4 1x1,128x4 1x1,128x4 1x1,128x8
3x3,128 3x3,128 3x3,128 3x3,128 3x3,128
1x1,512 1x1,512 1x1,512
conv4_x 14x14 3x3,256x2 3x3,256x6 1x1,256x6 1x1,256x23 1x1,256x36
3x3,256 3x3,256 3x3,256 3x3,256 3x3,256
1x1,1024 1x1,1024 1x1,1024
conv5_x 7x7 3x3,512x2 3x3,512x3 1x1,512x3 1x1,512x3 1x1,512x3
3x3,512 3x3,512 3x3,512 3x3,512 3x3,512
1x1,2048 1x1,2048 1x1,2048
1x1 average pool,1000-d fc,softmax
FLOPs 1.8x10^9 3.6x10^9 3.8x10^9 7.6x10^9 11.3x10^9

ResNet结构,湮灭层数不断加强练习集相对误差增大现象。ResNet网络演练截断误差随层数增大慢慢减小,测量检验集表现变好。谷歌(Google卡塔尔借鉴ResNet,建议Inception V4和英斯ption-ResNet-V2,ILSVRC错误率3.08%。《Identyty Mappings in Deep Residual Networks》建议ResNet V2。ResNet残差学习单元传播公式,前馈消息和报告复信号可直接传输。skip connection 非线性激活函数,替换Identity Mappings(y=x卡塔尔国。ResNet每层都用Batch Normalization。

Schmidhuber教师,ResNet,没有gates LSTM互联网,输入x传递到后层进度一贯爆发。ResNet等价RNN,ResNet相近多层网络间集成方法(ensemble卡塔尔(قطر‎。

《The Power of Depth for Feedforward Neural Networks》,理论表明加深网络比加宽互连网更实用。

Tensorflow完成ResNet。contrib.slim库,原生collections。collections.namedtuple设计ResNet基本Block模块组named tuple,创制Block类,独有数据布局,未有具体方法。典型Block,多少个参数,scope、unit_fn、args。
Block('block1', bottleneck, [(256, 64, 1)] * 2 [(256, 64, 2)]State of Qatar,block1是Block名称(或scope卡塔尔,bottleneck是ResNet V2残差学习单元。最后参数是Block args,args是列表,每一种成分对应bottleneck残差学习单元。后面四个因素(256, 64, 1卡塔尔国,第三要素(256, 64, 2卡塔尔国,每一种成分都以莫斯利安tuple(depth,depth_bottleneck,stride卡塔尔。(256, 64, 3State of Qatar代表bottleneck残差学习单元(多个卷积层卡塔尔,第三层输出通道数depth 256,前两层输出通道数depth_bottleneck 64,中间层步长stride 3。残差学习单元构造[(1x1/s1,64),(3x3/s3,64),(1x1/s1,256)]。

降采集样板subsample方法,参数inputs(输入卡塔尔、factor(采集样本因子卡塔尔(قطر‎、scope。fator1,不做修改直接回到inputsx,不为1,用slim.max_pool2d最大池化完毕。1x1池化尺寸,stride步长,达成降采集样板。

定义conv2d_same函数创设卷积层,假诺stride为1,用slim.conv2d,padding格局SAME。stride不为1,显式pad zero。pad zero总量kernel_size-1 pad_beg为pad//2,pad_end为余下一些。tf.pad补零输入变量。已经zero padding,只需padding情势VALID的slim.conv2d创制此卷积层。

概念堆放Blocks函数,参数net输入,blocks是Block class 列表。outputs_collections收集各end_points collections。两层循环,各种Block,每种Residual Unit聚成堆。用八个tf.variable_scope命名残差学习单元block/unit_1形式。第2层循环,每个Block每个Residual Unit args,展开depth、depth_bottleneck、stride。unit_fn残差学习单元生成函数,顺序成立连接全部残差学习单元。slim.utils.collect_named_outputs函数,输出net增添到collection。全数Block全体Residual Unit堆集完,重回最终net作stack_blocks_dense函数结果。

创建ResNet通用arg_scope,定义函数参数默许值。定义练习标志is_training暗中同意True,权重衰减速度weight_decay默许0.001。BN衰减速率暗中认可0.997,BN epsilon默许1e-5,BN scale暗许True。先安装好BN每一样参数,通过slim.arg_scope设置slim.conv2d暗中认可参数,权重正则器设L2正则,权重伊始化器设slim.variance_scaling_initializer(卡塔尔国,激活函数设ReLU,规范化器设BN。最大池化padding方式默许设SAME(诗歌中用VALID卡塔尔,特征对齐更简便易行。多层嵌套arg_scope作结果回到。

概念宗旨bottleneck残差学习单元。ResNet V2故事集Full Preactivation Residual Unit 变种。每层前都用Batch Normalization,输入preactivation,不在卷积举行激活函数处理。参数,inputs输入,depth、depth_bottleneck、stride,outputs_collections收集end_points collection,scope是unit名称。用slim.utils.last_dimension函数获取输入最终维度输出通道数,参数min_rank=4节制起码4个维度。slim.batch_norm 输入 Batch Normalization,用ReLU函数预激活Preactivate。

定义shorcut,直连x,假若残差单元输入通道数depth_in、输出通道数depth大器晚成致,用subsample,步长stride,inputs空间降采样,确定保障空间尺寸和残差豆蔻梢头致,残差中间层卷积步长stride;假诺不相近,用步长stride 1x1卷积改造通道数,变意气风发致。

定义residual(残差卡塔尔,3层,1x1尺寸、步长1、出口通道数depth_bottleneck卷积,3x3尺寸、步长stride、输出通道数depth_bottleneck卷积,1x1尺码、步长1、出口通道数depth卷积,得最后residual,最终层未有正则项还未有激活函数。residual、shorcut相加,得最后结果output,用slim.utils.collect_named_outputs,结果增添collection,重临output函数结果。

概念生成ResNet V2主函数。参数,inputs输入,blocks为Block类列表,num_classes最终输出类数,global_pool标记是还是不是加最终风华正茂层全局平均池化,include_root_block标记是还是不是加ResNet互连网最前头7x7卷积、最大池化,reuse标记是不是重用,scope整个网络名称。定义variable_scope、end_points_collection,通过slim.arg_scope设slim.con2d、bottleneck、stack_block_dense函数的参数outputs_collections默认end_points_colletion。根据include_root_block标志,创设ResNet最前头64输出通道步长2的7x7卷积,接步长2的3x3最大池化。多个增长幅度2层,图片尺寸降低为三分之二。用stack_blocks_dense生成残差学习模块组,依照标志增添全局平均池化层,用tf.reduce_mean完毕全局平均池化,功效比直接avg_pool高。依照是还是不是有分类数,增多输出通道num_classes1x1卷积(无激活函数无正则项State of Qatar,增添Softmax层输出网络结果。用slim.utils.convert_to_dict 转变collection为Python dict。最后回到net、end_points。

50层ResNet,4个残差学习Blocks,units数量为3、4、6、3,总层数(3 4 6 3卡塔尔(قطر‎x3 2=50。残差学习模块前,卷积、池化把尺寸收缩4倍,前3个Blocks包罗步长2层,总尺寸裁减4x8=32倍。输入图片尺寸最后变224/32=7。ResNet不断用步长2层削减尺寸,输出通道数持续扩张,到达2048。

152层ResNet,第二Block units数8,第三Block units数36。

200层ResNet,第二Block units数23,第三Block units数36。

评测函数time_tensorflow_run测量检验152层ResNet forward品质。图片尺寸224x224,batch size 32。is_training FLAG设False。resnet_v2_152开立互联网,time_tensorflow_run评测forward性能。耗时扩张八分之四,实用卷积神经网络布局,援救超深网络练习,实际工业应用forward质量不差。

参谋资料:
《TensorFlow实践》

接待付费咨询(150元每时辰卡塔尔国,作者的Wechat:qingxingfengzi

ResNet(Residual Neural Network卡塔尔,微软研商院 Kaiming He等4名中中原人民共和国人建议。通过Residual Unit练习152层深神经互连网,ILSV...

本文基于CVP奥迪Q5二〇一五中Fei Fei Li团队的<Perceptual Losses for Real-提姆e Style Transfer and Super-Resolution>一文。

在上一篇作品梵高眼中的社会风气实时图像风格转换简要介绍中,我们介绍了Gatys的算法,对单张白噪声图像实行梯度下跌。很显著,要是大家想要做一个关于图像艺术风格转变的app,大家不大概对每一张顾客上传的图像实行练习。那不只须要很短的时光,还亟需很强的计算力。大家希望完结实时风格转变,很显眼我们需求得以实现叁个前馈的神经互连网。也便是,对于每一张图片,大家只须要将其经过该前馈神经互连网,就足以一贯拿走改变后的图像。Fei Fei Li团队的算法做到了那一点。他们的算法包涵多少个网络:Image Transfer Network图像转移网络,和Loss Network损失互联网。在那之中Image Transfer Network即大家要求的前馈神经网络,而Loss Network只遵从于训练进度。接下来我们将助教该网络框架以至一些细节。

图片 1System overview

由上海教室我们能够清晰地看来整个网络框架。个中左侧虚框中的fw即Image Transfer Network,侧边虚框中的即Loss Network。输入图片通过fw互连网,得到y。通过练习后,y即为我们期待拿到的品格调换后的图片。y_s为目的风格图片,y_c为内容图片。再将y^, y_s, y_c输入到教练好的VGG16互联网,取得特别层数的值计算Loss,就能够使用梯度下跌进行练习。

在本文中,图像风格调换互连网由卷积层以致转置卷积层组成。互连网布局如下:

本文由澳门威利斯人发布于办公软件,转载请注明出处:学习笔记TF033,梵高眼中的世界

关键词: 澳门威利斯人 梵高 眼中 损失