|
可扩展以实现高效率或高精度的模型设计 通常，卷积神经网络架构是为一个特定目的而设计和优化的。 例如，ResNet 模型系列在最初始发布时针对 ImageNet 的最高准确度进行了优化。 MobileNets 经过优化，可以在移动设备上运行。 最后，EfficientNet 被设计为非常高效的视觉识别任务架构。 Radosavovic 等人在他们的论文“Designing Network Design Spaces”中。 决定设定一个非常不寻常但非常有趣的目标：他们着手探索和设计高度灵活的网络架构。 一种可以适应高效率或在移动设备上运行，但在适应最佳分类性能时也能高度准确的。 这种适应应该通过在量化线性函数（一组具有特定参数的公式）中设置正确的参数来控制，以确定网络的宽度和深度。
他们采用的方法也非常非传统：他们没有手工设计模型架构，而是建立了他们所谓的网络设计空间。 从网络设计空间派生 RegNet 模型 如果你只想在这里查看 RegNet 模型的具体描述。 我建议你阅读全文，因为如果不了解网络设计空间就很难理解 RegNet。 归根结底，RegNet其实不是一个架构，而是一个网络设计空间。 正如名称所暗示的那样，网络设计空间不仅由不同的模型架构组成，而且由定义可能模型架构空间的不同参数组成。 这与神经架构搜索不同，在神经架构搜索中，就是尝试不同的架构并搜索最合适的架构。 这些参数可以是网络的宽度、深度、组等。 RegNet 还仅使用了许多不同架构中的一种网络块，例如 bottleneck block。 为了得到最终的 RegNet 设计空间，作者首先定义了一个包含所有可能模型的空间，他们称之为 AnyNet。 这个空间从不同参数的各种组合中创建各种模型。 所有这些模型都使用相同的训练机制（epochs, optimizer, weight decay, learning rate scheduler）在 ImageNet 数据集上进行训练和评估。
从这个 AnyNet 空间，他们通过分析哪些参数导致 AnyNet 设计空间中最佳模型的良好性能，创建了初始 AnyNet 设计空间的逐步简化版本。 基本上，他们正在试验不同参数的重要性，以将设计空间缩小到只有好的模型。 这些从当前设计空间到更窄设计空间的改进包括设置共享bottleneck比率和共享group width，参数化宽度和深度以随着后期阶段增加。 最后，他们到达优化的 RegNet 设计空间，其中仅包含良好的模型以及定义模型所需的量化线性函数！ RegNet 设计空间 该网络由多个块组成的多个阶段组成，形成stem（start）、 body（main part）和head（end）。
在body内部，定义了多个stage，每个stage又由多个block组成。 如前所述，RegNet 中仅使用一种类型的块，即具有组卷积的标准残差bottleneck block。
如上所述，RegNet 模型的设计不是由深度和宽度等固定参数定义的，而是由所选参数控制的量化线性函数。 在优化之后，块宽度计算如下：
值得注意的是，对于每个附加block，每个block的宽度都增加了 wa 倍。 然后作者引入了一个额外的参数wm（这个可以自己设置）并计算sj：
最后，为了量化 uj，作者对 sj 进行舍入并计算量化的每个block的宽度：
现在已经计算了每个block的宽度，让我们进入stage。 为了获得每个阶段 i 的宽度，所有具有相同宽度的block都被简单地计算为一个stage，因为一次中的所有block都应该具有相同的宽度。 现在要从 RegNet 设计空间创建一个 RegNet，必须设置参数 d (depth), w0 (inital width), wa (slope), wm (width parameter), b (bottleneck) 和 g (group)。 作者以不同的方式设置这些参数以获得具有不同属性的不同 RegNet：
下面是这些网络与其他架构的对比。 结果 首先，我们看下 RegNet 的mobile性能。
在 FLOPS 数量相同的情况下，两种 RegNet 都优于其他移动优化网络或表现出相似的性能。 正如介绍中提到的，RegNet 被设计为高度灵活。 这在接下来的两个评估中得到了完美的体现。 首先，RegNets 的高效性能与 EfficientNet 架构的对比。
令人印象深刻的是，对于所有比较，RegNet 都有优势。 要么在更高的训练和推理速度下具有相似的准确性，要么在更高的准确性和更快的速度下，尤其是在低端。 此外，作者声称 RegNetX-F8000 比 EfficientNet-B5 快约 5 倍。 这是一个不可思议的飞跃！ 当 RegNet 配置为高精度时，结果看起来也不错。
这再次显示了 RegNet 的灵活性：模型可以指定为高效快速或高度准确。 这在以前在单一架构中是可能的。 在本文中，你了解了 RegNet，这是一个高度灵活且采用非常不同的方法的模型设计空间。 RegNet 不是一个单一的架构，它是一个由量化线性函数定义的设计空间。如果想了解更多细节，还是看一看原文。 |
