最近の研究によると、畳み込みニューラルネットワーク(CNN)アーキテクチャには、低周波数へのスペクトルバイアスがあり、Deep Image Prior(DIP)フレームワークのさまざまな画像復元タスクに活用されています。ネットワークがDIPフレームワークに課す誘導バイアスの利点は、アーキテクチャによって異なります。したがって、研究者は、検索を自動化して最もパフォーマンスの高いモデルを決定する方法を研究しました。ただし、一般的なニューラルアーキテクチャ検索(NAS)手法は、リソースと時間がかかります。さらに、最高のパフォーマンスを発揮するモデルは、画像ごとに個別にではなく、画像のデータセット全体に対して決定されます。これは非常にコストがかかります。この作業では、最初に、DIPフレームワークの最適なニューラルアーキテクチャが画像に依存することを示します。次に、この洞察を活用して、DIPフレームワークの画像固有のNAS戦略を提案します。これは、通常のNASアプローチよりも大幅に少ないトレーニングで済み、画像固有のNASを効果的に有効にします。特定の画像について、ノイズはトレーニングされていないCNNの大規模なセットに供給され、それらの出力のパワースペクトル密度(PSD)は、さまざまなメトリックを使用して破損した画像のパワースペクトル密度と比較されます。これに基づいて、画像固有のアーキテクチャの小さなコホートが選択され、破損した画像を再構築するようにトレーニングされます。このコホートの中から、再構成された画像の平均に最も近い再構成のモデルが最終モデルとして選択されます。提案された戦略の有効性は、(1)特定の検索スペースからの500以上のモデルを含むDIP用のNASデータセットでのパフォーマンスを実証すること(2)画像のノイズ除去、修復、および超解像タスクに関する広範な実験を実施することによって正当化されます。私たちの実験は、画像固有のメトリックが検索スペースをモデルの小さなコホートに減らすことができることを示しています。その中で、最良のモデルは、画像復元のための現在のNASアプローチよりも優れています。
Recent works show that convolutional neural network (CNN) architectures have a spectral bias towards lower frequencies, which has been leveraged for various image restoration tasks in the Deep Image Prior (DIP) framework. The benefit of the inductive bias the network imposes in the DIP framework depends on the architecture. Therefore, researchers have studied how to automate the search to determine the best-performing model. However, common neural architecture search (NAS) techniques are resource and time-intensive. Moreover, best-performing models are determined for a whole dataset of images instead of for each image independently, which would be prohibitively expensive. In this work, we first show that optimal neural architectures in the DIP framework are image-dependent. Leveraging this insight, we then propose an image-specific NAS strategy for the DIP framework that requires substantially less training than typical NAS approaches, effectively enabling image-specific NAS. For a given image, noise is fed to a large set of untrained CNNs, and their outputs' power spectral densities (PSD) are compared to that of the corrupted image using various metrics. Based on this, a small cohort of image-specific architectures is chosen and trained to reconstruct the corrupted image. Among this cohort, the model whose reconstruction is closest to the average of the reconstructed images is chosen as the final model. We justify the proposed strategy's effectiveness by (1) demonstrating its performance on a NAS Dataset for DIP that includes 500+ models from a particular search space (2) conducting extensive experiments on image denoising, inpainting, and super-resolution tasks. Our experiments show that image-specific metrics can reduce the search space to a small cohort of models, of which the best model outperforms current NAS approaches for image restoration.