arXiv reaDer
半透明ボリューム レンダリングの単眼深度分解
Monocular Depth Decomposition of Semi-Transparent Volume Renderings
ニューラル ネットワークは、カラー画像から幾何学的情報を抽出することに大きな成功を収めています。特に、単眼深度推定ネットワークは、現実世界のシーンでますます信頼性が高まっています。この作業では、このような単眼深度推定ネットワークの半透明ボリューム レンダリング イメージへの適用性を調査します。表面が明確に定義されていないボリューム シーンで深度を定義することは非常に難しいことで知られているため、実際に出現したさまざまな深度計算を検討し、さまざまな程度を考慮した評価中に、これらのさまざまな解釈に対する最先端の単眼深度推定アプローチを比較します。レンダリングの不透明度。さらに、単一のカラー画像に基づいてシーンの階層化された表現を作成するために、これらのネットワークを拡張して色と不透明度の情報をさらに取得する方法を調査します。この階層化された表現は、元の入力レンダリングに合成される、空間的に分離された半透明の間隔で構成されます。私たちの実験では、単眼深度推定への既存のアプローチを適応させて、半透明のボリューム レンダリングで適切に実行できることを示しています。これには、追加のオブジェクトとラベルまたは追加のシェーディングを使用した再構成など、科学的視覚化の分野でいくつかのアプリケーションがあります。
Neural networks have shown great success in extracting geometric information from color images. Especially, monocular depth estimation networks are increasingly reliable in real-world scenes. In this work we investigate the applicability of such monocular depth estimation networks to semi-transparent volume rendered images. As depth is notoriously difficult to define in a volumetric scene without clearly defined surfaces, we consider different depth computations that have emerged in practice, and compare state-of-the-art monocular depth estimation approaches for these different interpretations during an evaluation considering different degrees of opacity in the renderings. Additionally, we investigate how these networks can be extended to further obtain color and opacity information, in order to create a layered representation of the scene based on a single color image. This layered representation consists of spatially separated semi-transparent intervals that composite to the original input rendering. In our experiments we show that existing approaches to monocular depth estimation can be adapted to perform well on semi-transparent volume renderings, which has several applications in the area of scientific visualization, like re-composition with additional objects and labels or additional shading.
updated: Sat Feb 18 2023 13:35:30 GMT+0000 (UTC)
published: Mon Jun 27 2022 13:18:02 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト