arXiv reaDer
エンドツーエンドの適応型モンテカルロノイズ除去と超解像
End-to-End Adaptive Monte Carlo Denoising and Super-Resolution
従来のモンテカルロパストレーシングは、大量の計算を犠牲にして高品質のレンダリングを実現できます。最近の研究では、ディープニューラルネットワークを利用して、超解像による低解像度またはサンプル数の少ないレンダリングを改善するか、後処理でニューラルネットワークのノイズを除去することにより、このプロセスを加速しています。ただし、ノイズ除去と超解像は、以前の作業では別々にしか考慮されていませんでした。この作業では、後処理で超解像とノイズ除去(SRD)を組み合わせることにより、モンテカルロパストレーシングをさらに高速化できることを示します。この新しいタイプのジョイントフィルタリングでは、パストレーシングによって低解像度でサンプル数の少ない(したがってノイズの多い)画像のみをレンダリングできます。パストレーシングは、ディープニューラルネットワークに送られ、高解像度でクリーンな画像を生成します。この作業の主な貢献は、SRDタスク用に特別に設計された新しいエンドツーエンドのネットワークアーキテクチャです。これには、共有コンポーネントを備えた2つのカスケードステージが含まれています。ノイズ除去と超解像には非常に異なる受容野が必要であることがわかりました。これは、ネットワーク設計に変形可能な畳み込みを導入するための重要な洞察です。広範な実験は、提案された方法が、SRDタスクに採用された以前の方法およびそれらの変形よりも優れていることを示しています。
The classic Monte Carlo path tracing can achieve high quality rendering at the cost of heavy computation. Recent works make use of deep neural networks to accelerate this process, by improving either low-resolution or fewer-sample rendering with super-resolution or denoising neural networks in post-processing. However, denoising and super-resolution have only been considered separately in previous work. We show in this work that Monte Carlo path tracing can be further accelerated by joint super-resolution and denoising (SRD) in post-processing. This new type of joint filtering allows only a low-resolution and fewer-sample (thus noisy) image to be rendered by path tracing, which is then fed into a deep neural network to produce a high-resolution and clean image. The main contribution of this work is a new end-to-end network architecture, specifically designed for the SRD task. It contains two cascaded stages with shared components. We discover that denoising and super-resolution require very different receptive fields, a key insight that leads to the introduction of deformable convolution into the network design. Extensive experiments show that the proposed method outperforms previous methods and their variants adopted for the SRD task.
updated: Mon Aug 16 2021 06:32:23 GMT+0000 (UTC)
published: Mon Aug 16 2021 06:32:23 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト