最近、ニューラルアーキテクチャ検索(NAS)アプローチに多くの注目が集まっています。これは、高レベルのビジョンタスクで手動で設計されたアーキテクチャよりも優れていることがよくあります。これに触発されて、NAS技術を活用して、低レベルの画像復元タスク用の効率的なネットワークアーキテクチャを自動的に設計しようとしています。この論文では、メモリ効率の高い階層型NAS HiNAS(HiNAS)を提案し、画像のノイズ除去と画像の超解像という2つのタスクに適用します。 HiNASは、勾配ベースの検索戦略を採用し、セルアーキテクチャの設計とセル幅の決定をそれぞれ担当する内部検索スペースと外部検索スペースを含む柔軟な階層検索スペースを構築します。内部検索スペースについては、レイヤーワイズアーキテクチャ共有戦略(LWAS)を提案し、より柔軟なアーキテクチャとより優れたパフォーマンスを実現します。外部探索空間については、メモリを節約し、探索速度を大幅に高速化するセル共有戦略を提案します。提案されたHiNASは、メモリと計算の両方の効率が高いです。単一のGTX1080TiGPUを使用すると、BSD 500でノイズ除去ネットワークを検索するのに約1時間、DIV2Kで超解像構造を検索するのに3.5時間しかかかりません。実験結果は、HiNASによって発見されたアーキテクチャは、最先端の方法と比較して非常に競争力のあるパフォーマンスを達成しながら、パラメータが少なく、推論速度が速いことを示しています。
Recently, much attention has been spent on neural architecture search (NAS) approaches, which often outperform manually designed architectures on highlevel vision tasks. Inspired by this, we attempt to leverage NAS technique to automatically design efficient network architectures for low-level image restoration tasks. In this paper, we propose a memory-efficient hierarchical NAS HiNAS (HiNAS) and apply to two such tasks: image denoising and image super-resolution. HiNAS adopts gradient based search strategies and builds an flexible hierarchical search space, including inner search space and outer search space, which in charge of designing cell architectures and deciding cell widths, respectively. For inner search space, we propose layerwise architecture sharing strategy (LWAS), resulting in more flexible architectures and better performance. For outer search space, we propose cell sharing strategy to save memory, and considerably accelerate the search speed. The proposed HiNAS is both memory and computation efficient. With a single GTX1080Ti GPU, it takes only about 1 hour for searching for denoising network on BSD 500 and 3.5 hours for searching for the super-resolution structure on DIV2K. Experimental results show that the architectures found by HiNAS have fewer parameters and enjoy a faster inference speed, while achieving highly competitive performance compared with state-of-the-art methods.