资产情况

　　 数据来源：公司公告

　　 本次拟募集配套资金不超过5.1亿元，募集配套资金发行底价为12.78元/股，募集配套资金发行股份数量不超过39 906 103股，用于支付本次交易现金对价、用于标的公司的医疗设备采购及支付本次重大资产重组涉及的中介机构费。

　　 （二）交易对股权结构的影响

　　 本次交易前，美年健康的总股本为2 421 482 706股。本次交易完成后，公司总股本将增至2 612 251 083股（考虑募集配套资金）。本次交易完成前后，公司股本结构具体如表1-8。

　　 表1-8交易前后股权结构（考虑募集配套资金）

　　 数据来源：公司公告

　　 本次交易前，天亿投资持有上市公司11.22%的股份，为上市公司控股股东。本次交易后，在不考虑配套融资的情况下，天亿投资将持有上市公司10.57%的股份；在考虑配套融资的情况下，天亿投资将持有上市公司10.40%的股份，天亿投资仍为上市公司控股股东。本次交易前，上市公司实际控制人俞熔先生直接及间接持有上市公司30.79%股份；本次交易后，俞熔先生直接及间接持有上市公司股份891 534 481股，占上市公司总股本的比例分别为34.66%（不考虑配套融资）及34.13%（考虑配套融资）。上市公司实际控制人未发生变更。

　　 （三）交易后的财务状况

　　 两大巨头的“联姻”将带来显著地规模效应，巩固了美年健康的行业龙头地位。在市场份额、网点布局、经营管理等多方面带来正向的整合效应。

　　 本次交易将显著提升上市公司的整体规模，提高上市公司的总体盈利能力。本次交易完成后，上市公司资产规模、经营规模、每股收益都将大幅提升。

　　 表1-9交易前后主要财务指标（单位：万元）

　　 数据来源：公司公告

　　 （四）交易后的市场反应

　　 市场对此次交易存在一定的滞后反应，在2017年6月公告定增草案后，公司股价出现一个波峰，但很快回落。但从2017年年底开始，美年健康的股价大幅增长，且呈现良好的向上趋势（见图1-20）。

　　 图1-20美年健康近一年超额收益

　　 数据来源：Wind

　　 与美年健康的走势恰恰相反，爱康国宾在2017年经历了黑暗的波谷时期，其在7月和8月上半月的股价均跌破14元的发行价，资本价值受到了沉重打击。2018年起，爱康国宾的股价稍有恢复，这或许与2018年年初纳斯达克市场整体股价大幅上升有关。整体来看，爱康国宾的走势远远弱于纳斯达克指数。

　　 从市场来看，2017—2018年纳斯达克市场比沪深市场表现更好。从个股情况来看，爱康国宾表现远远弱于纳斯达克指数，而美年健康自6月公告并购消息后便向上超过沪深300和纳斯达克指数，在2017年年底并购成功后的表现更是强劲。与爱康国宾的颓势相比，两者的差距越来越大。

　　 从宏观层面看，医药行业近年来收到政府的支持和政策的推动，居民消费升级和健康意识的上升也使得医药，特别是健康体检行业具有极大的发展潜力。

　　 从行业层面看，美年健康作为体检行业龙头企业，具有良好的财务状况、先进的管理意识和准确的战略定位，是行业的佼佼者，也是健康体检产业的稀缺投资标的。

　　 从公司估值的情况看，美年健康当前股价对应PE 72/51/37x，公司是体检行业绝对龙头，经营模式成熟，增长确定性强，参考爱尔眼科PEG，合理估值21.42—23.33元，股价上涨空间16%—26%。这只是考虑目前体检主业所带来的安全边际，公司体检业务还具有流量价值。此外，完善生态圈闭环后可享有独立估值。因此，美年健康是确定性很强的成长股，目前处于高速增长阶段，并且安全边际广阔。

　　五、看得见的蓝海，高成长的体检龙头扬帆起航

　　 中国体检行业空间巨大，美年健康是专业体检领域绝对龙头，具有规模和资金优势。公司着力渠道下沉，在三四线城市的广阔蓝海区域加快布局，迅速实现盈利，保持业绩高速增长，并且天花板较高。美年健康在A股标的中有稀缺性，不仅是唯一连锁体检公司，而且公司很早就以体检为出发点，布局医疗大健康生态圈，估值在医药行业内较为独立。经过此次横向并购后，其龙头地位更为稳固，未来在城市布局、产业链闭环、业务拓展等方面有更大的发展空间。

　　 （一）血海蓝海，游刃有余

　　 自2015年上市以来，美年健康以“先参后控”方式快速新设、并购体检中心，扩大市场份额。在“重点城市与全国布局”的发展战略指导下，实行“加强一线城市占有率，巩固完善二三线城市布局，适时发展四线城市网点”的区域发展策略，加速体检中心扩张，基本实现全国布局。

　　 一二线城市与三四线城市的体检市场容量、竞争格局、发展阶段迥异，因此，美年健康也相应采取不同的策略进行布局。美年健康旗下体检中心有旗舰店、标准店、准标准店、经济店等四种标准，不同标准体检中心的面积、影像学设备配臵和客户体验等均有所不同：一般在一二线城市至少布局一家旗舰店，而在人口20万—30万人以上的三四线城市，目前至少设定

　　 导读：为了优化进化算法在神经网络结构搜索时候选网络训练过长的问题  ，参考ENAS和NSGA-III ，论文提出连续进化结构搜索方法(continuous evolution architecture search, CARS)  ，最大化利用学习到的知识  ，如上一轮进化的结构和参数 。首先构造用于参数共享的超网  ，从超网中产生子网  ，然后使用None-dominated排序策略来选择不同大小的优秀网络 ，整体耗时仅需要0.5 GPU day  。

　　 简介

　　 目前神经网络结构搜索的网络性能已经超越了人类设计的网络 ，搜索方法大致可以分为强化学习、进化算法以及梯度三种 ，有研究表明进化算法能比强化学习搜索到更好的模型  ，但其搜索耗时较多  ，主要在于对个体的训练验证环节费事  。可以借鉴ENSA的权重共享策略进行验证加速  ，但如果直接应用于进化算法 ，超网会受到较差的搜索结构的影响  ，因此需要修改目前神经网络搜索算法中用到的进化算法 。为了最大化上一次进化过程学习到的知识的价值  ，论文提出了连续进化结构搜索方法(continuous evolution architecture search, CARS) 。

　　 首先初始化一个有大量cells和blocks的超网(supernet) ，超网通过几个基准操作(交叉、变异等)产生进化算法中的个体(子网)  ，使用Non-dominated 排序策略来选取几个不同大小和准确率的优秀模型  ，然后训练子网并更新子网对应的超网中的cells  ，在下一轮的进化过程会继续基于更新后的超网以及non-dominated排序的解集进行  。另外  ，论文提出一个保护机制来避免小模型陷阱问题  。

　　

　　 方法 论文使用基因算法(GA)来进行结构进化  ，GA能提供很大的搜索空间  ，对于结构集 ，为种群大小  。在结构优化阶段 ，种群内的结构根据论文提出的pNSGA-III方法逐步更新  。为了加速 ，使用一个超网用来为不同的结构共享权重 ，能够极大地降低个体训练的计算量

　　 Supernet of CARS

　　 从超网中采样不同的网络  ，每个网络可以表示为浮点参数集合以及二值连接参数集合  ，其中0值表示网络不包含此连接  ，1值则表示使用该连接  ，即每个网络可表示为对完整的浮点参数集合是在网络集合中共享 ，如果这些网络结构是固定的  ，最优的可通过标准反向传播进行优化  ，优化的参数适用于所有网络以提高识别性能  。在参数收敛后  ，通过基因算法优化二值连接  ，参数优化阶段和结构优化阶段是CARS的主要核心

　　 参数优化

　　 参数为网络中的所有参数  ，参数  ，为mask操作  ，只保留对应位置的参数  。对于输入  ，网络的结果为  ，为-th个网络  ，为其参数

　　 给定GT  ，预测的损失为  ，则的梯度计算如公式1

　　 由于参数应该适用于所有个体  ，因此使用所有个体的梯度来计算的梯度  ，计算如公式2  ，最终配合SGD进行更新

　　 由于已经得到大量带超网共享参数的结构  ，每次都集合所有网络梯度进行更新会相当耗时  ，可以借鉴SGD的思想进行min-batch更新 。使用个不同的网络进行参数更新  ，编号为  。计算如公式3 ，使用小批量网络来接近所有网络的梯度  ，能够极大地减少优化时间  ，做到效果和性能间的平衡  。

　　 结构优化

　　 对于结构的优化过程 ，使用NSGA-III算法的non-dominated排序策略进行 。标记为个不同的网络 ，为希望优化的个指标 ，一般这些指标都是有冲突的 ，例如参数量、浮点运算量、推理时延和准确率  ，导致同时优化这些指标会比较难  。

　　 首先定义支配(dominate)的概念  ，假设网络的准确率大于等于网络  ，并且有一个其它指标优于网络  ，则称网络支配网络 ，在进化过程网络可被网络代替  。利用这个方法  ，可以在种群中挑选到一系列优秀的结构 ，然后使用这些网络来优化超网对应部分的参数  。

　　 尽管non-dominated排序能帮助选择的更好网络  ，但搜索过程仍可能会存在小模型陷阱现象  。由于超网的参数仍在训练  ，所以当前轮次的模型不一定为其最优表现 ，如果存在一些参数少的小模型但有比较高的准确率 ，则会统治了整个搜索过程  。因此 ，论文基于NSGA-III提出pNSGA-III ，加入准确率提升速度作为考虑

　　 假设优化目标为模型参数和准确率  ，对于NSGA-III  ，会根据两个不同的指标进行non-dominated排序 ，然后根据帕累托图进行选择  。而对于pNSGA-III  ，额外添加考虑准确率的增长速度的non-dominated排序  ，最后结合两种排序进行选择  。这样  ，准确率增长较慢的大模型也能得到保留  。如图2所示  ，pNSGA-III很明显保留的模型大小更广  ，且准确率与NSGA-III相当  。

　　

　　 CARS算法的连续优化 CARS算法的优化包含两个步骤 ，分别是网络结构优化和参数优化  ，另外  ，在初期也会使用参数warmup  。

　　 Parameter Warmup  ，由于超网的共享权重是随机初始化的  ，如果结构集合也是随机初始化  ，那么出现最多的block的训练次数会多于其它block  。因此  ，使用均分抽样策略来初始化超网的参数  ，公平地覆盖所有可能的网络  ，每条路径都有平等地出现概率  ，每种层操作也是平等概率 ，在最初几轮使用这种策略来初始化超网的权重  。

　　 Architecture Optimization  ，在完成超网初始化后  ，随机采样个不同的结构作为父代  ，为超参数 ，后面pNSGA-III的筛选也使用  。在进化过程中生成个子代  ，是用于控制子代数的超参 ，最后使用pNSGA-III从中选取个网络用于参数更新 。

　　 Parameter Optimization ，给予网络结构合集  ，使用公式3进行小批量梯度更新 。

　　 Search Time Analysis

　　 CARS搜索时 ，将数据集分为数据集和验证集 ，假设单个网络的训练耗时为 ，验证耗时 ，warmup共周期 ，共需要时间来初始化超网的参数  。假设进化共轮 ，每轮参数优化阶段对超网训练周期  ，所以每轮进化的参数优化耗时  ，为mini-batch大小 。结构优化阶段  ，所有个体是并行的  ，所以搜索耗时为  。CARS的总耗时如公式5 。

　　 实验

　　

　　 实验设置 supernet Backbones 超网主干基于DARTS的设置 ，DARTS搜索空间包含8个不同的操作 ，包含4种卷积、2种池化、skip连接和无连接  ，搜索normal cell和reduction cell ，分别用于特征提取以及下采样  ，搜索结束后  ，根据预设将cell堆叠起来

　　 Evolution Details 在DARTS中  ，每个中间节点与之前的两个节点连接  ，因此每个节点有其独立的搜索空间  ，而交叉和变异在搜索空间相对应的节点中进行  ，占总数的比例均为0.25  ，其余0.5为随机生成的新结构  。对于交叉操作 ，每个节点有0.5的概率交叉其连接  ，而对于变异 ，每个节点有0.5的概率随机赋予新操作  。

　　

　　 CIFAR-10的实验 Small Model Trap 图3训练了3个不同大小的模型 ，在训练600轮后  ，模型的准确率与其大小相关  ，从前50轮的曲线可以看出小模型陷阱的原因：

　　 小模型准确率上升速度较快

　　 小模型准确率的波动较大

　　 在前50轮模型C一直处于下风  ，若使用NSGA算法  ，模型C会直接去掉了  ，这是需要使用pNSGA-III的第一个原因 。对于模型B和C  ，准确率增长类似 ，但由于训练导致准确率波动  ，一旦模型A的准确率高于B ，B就会被去掉  ，这是需要使用pNSGA-III的第二个原因

　　 NSGA-III vs. pNSGA-III 如图2所示 ，使用pNSGA-III能避免小模型陷阱  ，保留较大的有潜力的网络

　　 Search on CIFAR-10 将CIFAR分为25000张训练图和25000张测试图  ，共搜索500轮 ，参数warmup共50轮  ，之后初始化包含128个不同网络的种群  ，然后使用pNSGA-III逐渐进化  ，参数优化阶段每轮进化训练10周期  ，结构优化阶段根据pNSGA-III使用测试集进行结构更新

　　 Search Time analysis 对于考量模型大小和准确率的实验 ，训练时间为1分钟  ，测试时间为5秒 ，warmup阶段共50轮 ，大约耗费1小时  。而连续进化算法共轮  ，对于每轮结构优化阶段 ，并行测试时间为 ，对于每轮的参数优化阶段 ，设定  ，大约为10分钟 ，大约为9小时 ，所以为0.4 GPU day  ，考虑结构优化同时要计算时延 ，最终时间大约为0.5 GPU day

　　 Evaluate on CIFAR-10 在完成CARS算法搜索后  ，保留128个不同的网络 ，进行更长时间的训练  ，然后测试准确率 。

　　 Comparison on Searched Block CARS-H与DARTS参数相似  ，但准确率更高  ，CARS-H的reduction block包含更多的参数 ，而normal block包含更少的参数  ，大概由于EA有更大的搜索空间  ，而基因操作能更有效地跳出局部最优解  ，这是EA的优势

　　

　　 Evaluate on ILSVRC2012 将在CIFAR-10上搜索到网络迁移到ILSVRC22012数据集  ，结果表明搜索到的结构具备迁移能力 。

　　 结论

　　 为了优化进化算法在神经网络结构搜索时候选网络训练过长的问题  ，参考ENAS和NSGA-III  ，论文提出连续进化结构搜索方法(continuous evolution architecture search, CARS) ，最大化利用学习到的知识  ，如上一轮进化的结构和参数  。首先构造用于参数共享的超网 ，从超网中产生子网  ，然后使用None-dominated排序策略来选择不同大小的优秀网络  ，整体耗时仅需要0.5 GPU day  。

　　    

　　以上就是小编为大家介绍的华为提出基于进化算法和权值共享的神经网络结构搜索，CIFAR-10上仅需单的全部内容，如果大家还对相关的内容感兴趣，请持续关注上海危机公关公司

　　本文标题：华为提出基于进化算法和权值共享的神经网络结构搜索，CIFAR-10上仅需单　　地址：/yuqingchuli/2022/0127/2880.html