机器心脏释放

　　机器编辑部

　　最近，Neurips 2019年在温哥华举行， 加拿大最近。腾讯AI实验室共选了14篇论文，位于国内企业的最前沿。这也是腾讯AI实验室的第四次参加了神经潮。在会议期间，我们从腾讯AI实验室选择了一个的论文，以解释。

　　在本文中， 它由腾讯AI实验室主导。本文由华南理工大学完成，作者使用加强学习方法学习神经网络结构转换器。它优化了专业网站设计公司价格任何神经网络结构。将其转换为更紧凑， 识别准确性。以下是对论文的详细解释。

　　NAT：用于准确和紧凑的架构的镶嵌结构变压器

　　纸联系：HTTPS：//论文。尼斯。CC / Paper / 8362-Nat-Natural-architecture-Transformer-of Comput-and Compact-aliachers。PDF。

　　现有的深度神经网络结构是手动设计的。要么通过神经网络结构搜索（NAS）方法自动搜索。然而，这些网络结构可能包含许多冗余计算操作，有一个优化的空间。为了优化网络结构，作者提出了一个神经网络结构转换器（神经结构变压器，作为NAT的方法。该方法可以使用较低的计算操作来替换网络结构中的冗余操作。从而实现性能改进，确保未引入其他参数和计算。

　　神经网络中的计算操作可以分为三类。那是n， O.他们之中，S表示跳跃连接，n表示为空连接（即两个节点之间没有连接），o表示除跳跃连接和空连接之外的其他操作（如卷积， 试点操作， 等等。）。明显地，这三个计算的大小是：o> s> n。为了降低网络结构的计算复杂性，我们希望NAT用于使用更少的操作来替换原始网络结构中的冗余。所以，NAT遵循以下转换规则：Oàs， oàn， Sàn。由于跳跃连接往往有利于提高模型的性能及其介绍很小，所以NAT也允许nàs。简而言之，NAT的转换方案如下所示。

　　品牌的网页设计服务好

　　具体来说，对于Obeys分布P（·）的任何网络结构β，NAT的寻找目标，通过改变上述允许的操作来获得。更佳结构α。可以编写此优化问题：

　　他们之中：

　　R（α│β）= R（α，w_α）-R（β，W_β），r（α，W_α）意味着更佳参数是网络结构α在验证集合上的性能; C（α）≤κ是计算所得模型的约束。

　　然而，非常困难直接获得更佳结构α。所以，NAT首先学习战略

　　那然后来自策略的样本α从学到的策略中获取。α服从

　　网页设计

　　.用于学习策略π，我们解决以下优化问题：

　　为了解决这个优化问题，作者在学习方法中使用战略梯度方法。为此，需要构建合适的策略功能。由于可以使用网络结构β（x，a）表示（其中a是相邻矩阵，x是一个节点功能），代表，作者的策略π（α|β，θ）使用两层体积神经网络（GCN），这是：

　　他们之中，

　　此外， 文章使用参数共享方法来避免来自头部的每个结构的参数。全面的，优化思想是以下两个步骤的迭代优化：

　　1， 更新神经网络参数W，（使用参数共享的想法）：

　　2， 更新θ，（使用更大熵鼓励探索）：

　　步骤2的第二步如下所示：

　　为了验证NAT效果，作者将NAT应用于人工设计的结构（如：VGG， reset， Mobilenet）和NAS（如enas， 飞镖， naonet）。结果显示在表1和表2中， 分别。

　　表格1。 NAT在手动设计的网络结构中进行了优化。

　　表2。 NAS方法中NAT网络结构的优化结果。

　　从表1和表2，你会看见，在ImageNet数据集上，NAT优化后， 该模型不仅仅是原始参考模型。在计算复杂性相似的情况下， 甚至更低，获得更高的识别准确性。

　　以下，可视化NAT优化后的模型结构。图1和2提供了手动和NAS设计的网络结构的优化结果， 分别。

　　图1。 NAT在手动设计的网络结构中进行了优化。

　　如图1所示，对于临时网络结构，NAT引入了额外的跳跃连接以提高识别准确性。

　　图2。 NAS在NAS设计的网络结构上进行了优化。

　　从图2中可以观察到，获得NAS方法的网络结构，NAT通过使用跳转连接或直接删除连接来减少冗余操作来减少量。

　　此外，作者也比较了不同的战略职能。结果发现，GCN优于传统的LSTM模型。简而言之，本研究专为自动化机器学习而设计， 网络结构设计，各种实用的机械学习问题，如性能优化的深度学习模型具有重要的指导意义。