arXiv reaDer
コンピュータビジョン指向の画像信号処理パイプライン設計のための生のベイヤーパターン画像合成
Raw Bayer Pattern Image Synthesis for Computer Vision-oriented Image Signal Processing Pipeline Design
本論文では、生成的敵対的ネットワーク(GAN)ベースの任意サイズのRAWベイヤー画像生成では定式化できない制約を追加する方法を提案します。理論的には、GANトレーニングで変換されたデータを使用することにより、可逆変換と微分可能変換の下での2つの分布間のJensen-Shannon(JS)発散の不変量により、元のデータ分布の学習を改善できることが示されています。提案された方法の恩恵を受けて、RAWベイヤーパターン画像は、変換をデモザイキングとして構成することによって生成することができます。別の変換を追加することにより、提案された方法が任意のサイズの高品質のRAWベイヤー画像を合成できることを示した。実験結果は、提案された方法によって生成された画像が、フレシェ開始距離(FID)スコア、ピーク信号対雑音比(PSNR)、および平均構造類似性(MSSIM)において既存の方法よりも優れており、トレーニングプロセスがより安定していることを示しています。著者の知る限り、RAW Bayerドメインにはオープンソースの大規模な画像データセットはありません。これは、コンピュータービジョンタスクの画像信号処理(ISP)パイプライン設計を調査することを目的とした研究作業に不可欠です。既存の一般的に使用されるカラー画像データセットを対応するRAWバイエルバージョンに変換することで、提案された方法は、RAW画像データセットの問題に対する有望な解決策になる可能性があります。また、実験では、合成されたRAWベイヤー画像を使用してオブジェクト検出フレームワークをトレーニングすることにより、パフォーマンスの低下を無視して、エンドツーエンドの方法(RAW画像から視覚タスクまで)で使用できることを示しています。
In this paper, we propose a method to add constraints that are un-formulatable in generative adversarial networks (GAN)-based arbitrary size RAW Bayer image generation. It is shown theoretically that by using the transformed data in GAN training, it is able to improve the learning of the original data distribution, owing to the invariant of Jensen-Shannon (JS) divergence between two distributions under invertible and differentiable transformation. Benefiting from the proposed method, RAW Bayer pattern images can be generated by configuring the transformation as demosaicing. It is shown that by adding another transformation, the proposed method is able to synthesize high-quality RAW Bayer images with arbitrary size. Experimental results show that images generated by the proposed method outperform the existing methods in the Fréchet inception distance (FID) score, peak signal to noise ratio (PSNR), and mean structural similarity (MSSIM), and the training process is more stable. To the best knowledge of the authors, there is no open-source, large-scale image dataset in the RAW Bayer domain, which is crucial for research works aiming to explore the image signal processing (ISP) pipeline design for computer vision tasks. Converting the existing commonly used color image datasets to their corresponding RAW Bayer versions, the proposed method can be a promising solution to the RAW image dataset problem. We also show in the experiments that, by training object detection frameworks using the synthesized RAW Bayer images, they can be used in an end-to-end manner (from RAW images to vision tasks) with negligible performance degradation.
updated: Wed Dec 15 2021 14:19:17 GMT+0000 (UTC)
published: Mon Oct 25 2021 11:40:36 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト