arXiv reaDer
画像から画像への変換と画像圧縮のための新しいフレームワーク
A Novel Framework for Image-to-image Translation and Image Compression
機械学習を使用したデータ駆動型のパラダイムは、画像処理と通信で広く普及しつつあります。特に、画像から画像(I2I)への変換は、画像合成、スタイル転送、画像復元などの画像処理の問題に対して一般的で広く使用されているアプローチです。同時に、ニューラルイメージの圧縮は、ビジュアルコミュニケーションにおける従来のコーディングアプローチのデータ駆動型の代替手段として登場しました。このホワイトペーパーでは、マルチドメイン画像合成に焦点を当てて、これら2つのパラダイムを組み合わせてI2I圧縮および変換フレームワークを統合する方法について説明します。最初に、量子化とエントロピーコーディングをI2I変換フレームワーク(つまりI2Icodec)に統合することにより、分散I2I変換を提案します。実際には、画像圧縮機能(つまり、自動エンコード)も望ましく、I2Icodecと一緒に通常の画像コーデックを展開する必要があります。したがって、単一のコーデックで変換機能と自動エンコード機能の両方を可能にする統合フレームワークをさらに提案します。変換/圧縮モードで条件付けられた適応残余ブロックは、目的の機能への柔軟な適応を提供します。実験は、単一のモデルを使用したI2I変換と画像圧縮の両方で有望な結果を示しています。
Data-driven paradigms using machine learning are becoming ubiquitous in image processing and communications. In particular, image-to-image (I2I) translation is a generic and widely used approach to image processing problems, such as image synthesis, style transfer, and image restoration. At the same time, neural image compression has emerged as a data-driven alternative to traditional coding approaches in visual communications. In this paper, we study the combination of these two paradigms into a joint I2I compression and translation framework, focusing on multi-domain image synthesis. We first propose distributed I2I translation by integrating quantization and entropy coding into an I2I translation framework (i.e. I2Icodec). In practice, the image compression functionality (i.e. autoencoding) is also desirable, requiring to deploy alongside I2Icodec a regular image codec. Thus, we further propose a unified framework that allows both translation and autoencoding capabilities in a single codec. Adaptive residual blocks conditioned on the translation/compression mode provide flexible adaptation to the desired functionality. The experiments show promising results in both I2I translation and image compression using a single model.
updated: Thu Nov 25 2021 14:44:31 GMT+0000 (UTC)
published: Thu Nov 25 2021 14:44:31 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト