arXiv reaDer
Memory-Efficient Hierarchical Neural Architecture Search for Image Restoration
最近、高レベルの視覚認識タスクで手動で設計されたニューラルアーキテクチャよりも優れたパフォーマンスを発揮することを目的として、ニューラルアーキテクチャ検索(NAS)に多くの注目が集まっています。成功に触発されて、ここではNAS技術を活用して、低レベルの画像復元タスク用の効率的なネットワークアーキテクチャを自動的に設計しようとしています。特に、メモリ効率の高い階層型NAS(HiNASと呼ばれる)を提案し、画像のノイズ除去と画像の超解像という2つのタスクに適用します。 HiNASは勾配ベースの検索戦略を採用し、内部検索スペースと外部検索スペースを含む柔軟な階層検索スペースを構築します。彼らはそれぞれ、セルアーキテクチャの設計とセル幅の決定を担当しています。内部検索スペースについては、レイヤーごとのアーキテクチャ共有戦略(LWAS)を提案し、より柔軟なアーキテクチャとより優れたパフォーマンスを実現します。外側の検索スペースについては、メモリを節約し、検索速度を大幅に高速化するためのセル共有戦略を設計します。提案されたHiNAS方式は、メモリと計算の両方で効率的です。単一のGTX1080TiGPUを使用すると、BSD-500データセットでノイズ除去ネットワークを検索するのに約1時間、DIV2Kデータセットで超解像構造を検索するのに3.5時間しかかかりません。実験によると、HiNASによって検出されたアーキテクチャは、最先端の方法と比較して非常に競争力のあるパフォーマンスを達成しながら、パラメータが少なく、推論速度が速いことが示されています。コードはで入手できます。
Recently, much attention has been spent on neural architecture search (NAS), aiming to outperform those manually-designed neural architectures on high-level vision recognition tasks. Inspired by the success, here we attempt to leverage NAS techniques to automatically design efficient network architectures for low-level image restoration tasks. In particular, we propose a memory-efficient hierarchical NAS (termed HiNAS) and apply it to two such tasks: image denoising and image super-resolution. HiNAS adopts gradient based search strategies and builds a flexible hierarchical search space, including the inner search space and outer search space. They are in charge of designing cell architectures and deciding cell widths, respectively. For the inner search space, we propose a layer-wise architecture sharing strategy (LWAS), resulting in more flexible architectures and better performance. For the outer search space, we design a cell-sharing strategy to save memory, and considerably accelerate the search speed. The proposed HiNAS method is both memory and computation efficient. With a single GTX1080Ti GPU, it takes only about 1 hour for searching for denoising network on the BSD-500 dataset and 3.5 hours for searching for the super-resolution structure on the DIV2K dataset. Experiments show that the architectures found by HiNAS have fewer parameters and enjoy a faster inference speed, while achieving highly competitive performance compared with state-of-the-art methods. Code is available at:
updated: Sat Oct 09 2021 03:44:50 GMT+0000 (UTC)
published: Thu Dec 24 2020 12:06:17 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト