arXiv reaDer
edge-SR:大衆向けの超解像
edge-SR: Super-Resolution For The Masses
従来の画像スケーリング(バイキュービックなど)は、1つの畳み込み層と1つのアップスケーリングフィルターと見なすことができます。その実装は、すべてのディスプレイデバイスと画像処理ソフトウェアに遍在しています。過去10年間で、いくつかの畳み込み層と多数のフィルターを使用して、画像の超解像(SR)のタスクのために深層学習システムが導入されました。これらの方法は、アップスケーリングタスクの画質のベンチマークを引き継いでいます。ディスプレイパネル、タブレット、ラップトップコンピューターなどのエッジデバイスで、従来のアップスケーラーをディープラーニングアーキテクチャに置き換えることは可能でしょうか?一方では、Edge-AIチップの現在の傾向は、ディープラーニングタスクを効率的に実行できるハードウェアの急速な開発により、この方向に有望な未来を示しています。一方、イメージSRでは、エッジデバイスでリアルタイムに実際に実行できる非常に小さなサイズに制限を押し付けているアーキテクチャはごくわずかです。従来のアップスケーラーと小さなディープラーニング構成の間のギャップを埋めることを目的として、この問題の可能な解決策を探ります。従来のアップスケーリングからディープラーニングのアップスケーリングへの移行として、エッジSR(eSR)を提案します。これは、解釈可能なメカニズムを使用して画像をアップスケールする1層アーキテクチャのセットです。確かに、1層アーキテクチャではディープラーニングシステムの品質に到達できません。それでも、高速要件の場合、eSRは画質と実行時のパフォーマンスのトレードオフで優れていることがわかります。このテクノロジーを大規模に採用するには、画像のアップスケーリングのためにクラシックアーキテクチャとディープラーニングアーキテクチャの間のギャップを埋めることが重要です。この問題を解決するための内部戦略を明らかにし、将来の改善とより大規模なネットワークのより良い理解に導くことができる解釈可能なシステムを持つことも同様に重要です。
Classic image scaling (e.g. bicubic) can be seen as one convolutional layer and a single upscaling filter. Its implementation is ubiquitous in all display devices and image processing software. In the last decade deep learning systems have been introduced for the task of image super-resolution (SR), using several convolutional layers and numerous filters. These methods have taken over the benchmarks of image quality for upscaling tasks. Would it be possible to replace classic upscalers with deep learning architectures on edge devices such as display panels, tablets, laptop computers, etc.? On one hand, the current trend in Edge-AI chips shows a promising future in this direction, with rapid development of hardware that can run deep-learning tasks efficiently. On the other hand, in image SR only few architectures have pushed the limit to extreme small sizes that can actually run on edge devices at real-time. We explore possible solutions to this problem with the aim to fill the gap between classic upscalers and small deep learning configurations. As a transition from classic to deep-learning upscaling we propose edge-SR (eSR), a set of one-layer architectures that use interpretable mechanisms to upscale images. Certainly, a one-layer architecture cannot reach the quality of deep learning systems. Nevertheless, we find that for high speed requirements, eSR becomes better at trading-off image quality and runtime performance. Filling the gap between classic and deep-learning architectures for image upscaling is critical for massive adoption of this technology. It is equally important to have an interpretable system that can reveal the inner strategies to solve this problem and guide us to future improvements and better understanding of larger networks.
updated: Fri Oct 15 2021 15:55:18 GMT+0000 (UTC)
published: Mon Aug 23 2021 18:00:19 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト