さまざまなサイズの体の部分やオブジェクト間のスケールの差異は、視覚認識タスクにとって難しい問題です。既存の作品は通常、専用のバックボーンを設計するか、この課題に取り組むために各タスクにニューラルアーキテクチャ検索(NAS)を適用します。ただし、既存の作品は、デザインまたは検索スペースに重大な制限を課します。これらの問題を解決するために、スケールを意識した表現を探索するためのワンショット学習方法であるScaleNASを紹介します。 ScaleNASは、マルチスケールの特徴集約を検索することにより、一度に複数のタスクを解決します。 ScaleNASは、任意の数のブロックとクロススケール機能の融合を可能にする柔軟な検索スペースを採用しています。柔軟な空間によって発生する高い検索コストに対処するために、ScaleNASは、グループ化されたサンプリングと進化的検索によって駆動されるマルチスケールスーパーネットのワンショット学習を採用しています。さらに再トレーニングすることなく、ScaleNetをさまざまな視覚認識タスクに直接展開して、優れたパフォーマンスを実現できます。 ScaleNASを使用して、人間の姿勢推定用のScaleNet-Pとセマンティックセグメンテーション用のScaleNet-Sの2つの異なるタスクの高解像度モデルを作成します。 ScaleNet-PとScaleNet-Sは、両方のタスクで既存の手動で作成されたNASベースの方法よりも優れています。 ScaleNet-Pをボトムアップの人間の姿勢推定に適用すると、最先端のHigherHRNetを上回ります。特に、ScaleNet-P4はCOCO test-devで71.6%のAPを達成し、新しい最先端の結果を達成しています。
Scale variance among different sizes of body parts and objects is a challenging problem for visual recognition tasks. Existing works usually design dedicated backbone or apply Neural architecture Search(NAS) for each task to tackle this challenge. However, existing works impose significant limitations on the design or search space. To solve these problems, we present ScaleNAS, a one-shot learning method for exploring scale-aware representations. ScaleNAS solves multiple tasks at a time by searching multi-scale feature aggregation. ScaleNAS adopts a flexible search space that allows an arbitrary number of blocks and cross-scale feature fusions. To cope with the high search cost incurred by the flexible space, ScaleNAS employs one-shot learning for multi-scale supernet driven by grouped sampling and evolutionary search. Without further retraining, ScaleNet can be directly deployed for different visual recognition tasks with superior performance. We use ScaleNAS to create high-resolution models for two different tasks, ScaleNet-P for human pose estimation and ScaleNet-S for semantic segmentation. ScaleNet-P and ScaleNet-S outperform existing manually crafted and NAS-based methods in both tasks. When applying ScaleNet-P to bottom-up human pose estimation, it surpasses the state-of-the-art HigherHRNet. In particular, ScaleNet-P4 achieves 71.6% AP on COCO test-dev, achieving new state-of-the-art result.