arXiv reaDer
条件付きGANを使用した生のベイヤーパターン画像合成
Raw Bayer Pattern Image Synthesis with Conditional GAN
本論文では、生成的敵対的ネットワーク(GAN)によってベイヤーパターン画像を生成する方法を提案します。理論的には、GANトレーニングで変換されたデータを使用すると、可逆変換と微分可能変換の下での2つの分布間のJensen Shannon(JS)発散の不変量により、元のデータ分布のジェネレーター学習を改善できることが示されています。ベイヤーパターン画像は、変換をデモザイキングとして構成し、既存の標準カラーデータセットをベイヤードメインに変換することで生成できます。提案された方法は、コンピュータービジョンタスクに最適なISP構成を見つけるなどのアプリケーションで有望です。または写真の場合でも、センサーコンピューティングの近く。実験は、提案された方法によって生成された画像が、FIDスコア、PSNR、およびSSIMで元のPix2PixHDモデルよりも優れており、トレーニングプロセスがより安定していることを示しています。物体検出のためのセンサーまたはセンサー近傍コンピューティングと同様の状況では、提案された方法を使用することにより、イメージセンサーを変更することなくモデルのパフォーマンスを向上させることができます。
In this paper, we propose a method to generate Bayer pattern images by Generative adversarial network (GANs). It is shown theoretically that using the transformed data in GANs training is able to improve the generator learning of the original data distribution, owing to the invariant of Jensen Shannon(JS) divergence between two distributions under invertible and differentiable transformation. The Bayer pattern images can be generated by configuring the transformation as demosaicing, by converting the existing standard color datasets to Bayer domain, the proposed method is promising in the applications such as to find the optimal ISP configuration for computer vision tasks, in the in sensor or near sensor computing, even in photography. Experiments show that the images generated by our proposed method outperform the original Pix2PixHD model in FID score, PSNR, and SSIM, and the training process is more stable. For the situation similar to in sensor or near sensor computing for object detection, by using our proposed method, the model performance can be improved without the modification to the image sensor.
updated: Mon Oct 25 2021 11:40:36 GMT+0000 (UTC)
published: Mon Oct 25 2021 11:40:36 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト