ディープラーニングニューラルネットワーク、特にGenerative Adversarial Networks(GAN)を使用した画像から画像への変換は、天体画像をシミュレートするための最も強力な方法の1つです。ただし、現在の作業は、監視された翻訳を使用したペア画像の利用に限定されており、機器および観測効果をエンコードするノイズバックグラウンドの再構築に関する議論はほとんどありません。これらの制限は、天体物理学におけるその後の科学的応用にとって有害である可能性があります。そのため、対になっていない画像を使用し、画像変換でノイズ特性を維持する方法の開発を目指しています。この作業では、半教師ありの方法でペア画像と非ペア画像の両方を活用するGANを使用した双方向画像変換モデルを提案し、高周波特徴によって特徴付けられるノイズを学習および再構築できるノイズエミュレートモジュールを紹介します。スローンデジタルスカイサーベイ(SDSS)とカナダフランスハワイ望遠鏡レガシーサーベイ(CFHT)のマルチバンド銀河画像を実験することにより、私たちの方法がグローバルおよびローカルプロパティを効果的に回復し、ベンチマーク画像変換モデルよりも優れていることを示します。私たちの知る限り、この研究は、天体物理学の研究に半教師あり法とノイズ再構成技術を適用する最初の試みです。
Image-to-image translation with Deep Learning neural networks, particularly with Generative Adversarial Networks (GANs), is one of the most powerful methods for simulating astronomical images. However, current work is limited to utilizing paired images with supervised translation, and there has been rare discussion on reconstructing noise background that encodes instrumental and observational effects. These limitations might be harmful for subsequent scientific applications in astrophysics. Therefore, we aim to develop methods for using unpaired images and preserving noise characteristics in image translation. In this work, we propose a two-way image translation model using GANs that exploits both paired and unpaired images in a semi-supervised manner, and introduce a noise emulating module that is able to learn and reconstruct noise characterized by high-frequency features. By experimenting on multi-band galaxy images from the Sloan Digital Sky Survey (SDSS) and the Canada France Hawaii Telescope Legacy Survey (CFHT), we show that our method recovers global and local properties effectively and outperforms benchmark image translation models. To our best knowledge, this work is the first attempt to apply semi-supervised methods and noise reconstruction techniques in astrophysical studies.