arXiv reaDer
FSID: 手続き型シーン生成による完全合成画像ノイズ除去
FSID: Fully Synthetic Image Denoising via Procedural Scene Generation
低レベルのコンピューター ビジョンおよび画像処理 ML タスクでは、一般化のために大規模なデータセットでのトレーニングが重要です。ただし、主にインターネットからの現実世界の画像に依存するという標準的な慣行には、特に商業的な状況において、画質、スケーラビリティ、およびプライバシーの問題が伴います。これに対処するために、低レベルの視覚タスクに合わせた手続き型の合成データ生成パイプラインとデータセットを開発しました。当社のアンリアル エンジン ベースの合成データ パイプラインは、ランダムな 3D オブジェクト、マテリアル、幾何学的変換の組み合わせをアルゴリズム的に大規模なシーンに取り込みます。次に、カメラのノイズ プロファイルを調整して、ノイズの多い画像を合成します。このパイプラインから、175,000 のノイズの多い画像とクリーンな画像のペアで構成される完全合成画像ノイズ除去データセット (FSID) を生成しました。次に、CNN ベースのノイズ除去モデルをトレーニングして検証し、この合成データだけでトレーニングされたモデルが、スマートフォンのカメラでキャプチャされた現実世界のノイズの多い画像で評価された場合に、競争力のあるノイズ除去結果を達成できることを実証しました。
For low-level computer vision and image processing ML tasks, training on large datasets is critical for generalization. However, the standard practice of relying on real-world images primarily from the Internet comes with image quality, scalability, and privacy issues, especially in commercial contexts. To address this, we have developed a procedural synthetic data generation pipeline and dataset tailored to low-level vision tasks. Our Unreal engine-based synthetic data pipeline populates large scenes algorithmically with a combination of random 3D objects, materials, and geometric transformations. Then, we calibrate the camera noise profiles to synthesize the noisy images. From this pipeline, we generated a fully synthetic image denoising dataset (FSID) which consists of 175,000 noisy/clean image pairs. We then trained and validated a CNN-based denoising model, and demonstrated that the model trained on this synthetic data alone can achieve competitive denoising results when evaluated on real-world noisy images captured with smartphone cameras.
updated: Wed Dec 07 2022 21:21:55 GMT+0000 (UTC)
published: Wed Dec 07 2022 21:21:55 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト