arXiv reaDer
エンドツーエンドの完全なプロジェクター補償
End-to-end Full Projector Compensation
完全なプロジェクター補正は、プロジェクターの入力画像を変更して、投影面の幾何学的および測光的外乱を補正することを目的としています。従来の方法は通常、2つの部分を別々に解決し、次善のソリューションに悩まされる可能性があります。このホワイトペーパーでは、CompenNeSt ++という名前の最初のエンドツーエンドの微分可能ソリューションを提案し、2つの問題を共同で解決します。まず、WarpingNetという名前の新しい幾何学的補正サブネットを提案します。このサブネットは、サンプリング画像からサンプリンググリッドを直接学習するために、カスケードから粗密構造で設計されています。次に、シャムアーキテクチャを使用して設計された、CompenNeStという新しいフォトメトリック補正サブネットを提案します。これは、投影面と投影画像の間のフォトメトリック相互作用をキャプチャし、そのような情報を使用して幾何学的に補正された画像を補正します。 WarpingNetをCompenNeStと連結することにより、CompenNeSt ++は完全なプロジェクター補償を実現し、エンドツーエンドのトレーニングが可能です。第三に、実用性を向上させるために、トレーニング画像の数とトレーニング時間を大幅に削減するために、新しい合成データベースの事前トレーニング戦略を提案します。さらに、将来の調査を容易にするために、最初のセットアップに依存しない完全補償ベンチマークを構築します。徹底的な実験において、本発明の方法は、有望な補償品質を備え、その一方で実際に便利であるという点で、先行技術を超える明確な利点を示している。
Full projector compensation aims to modify a projector input image to compensate for both geometric and photometric disturbance of the projection surface. Traditional methods usually solve the two parts separately and may suffer from suboptimal solutions. In this paper, we propose the first end-to-end differentiable solution, named CompenNeSt++, to solve the two problems jointly. First, we propose a novel geometric correction subnet, named WarpingNet, which is designed with a cascaded coarse-to-fine structure to learn the sampling grid directly from sampling images. Second, we propose a novel photometric compensation subnet, named CompenNeSt, which is designed with a siamese architecture to capture the photometric interactions between the projection surface and the projected images, and to use such information to compensate the geometrically corrected images. By concatenating WarpingNet with CompenNeSt, CompenNeSt++ accomplishes full projector compensation and is end-to-end trainable. Third, to improve practicability, we propose a novel synthetic data-based pre-training strategy to significantly reduce the number of training images and training time. Moreover, we construct the first setup-independent full compensation benchmark to facilitate future studies. In thorough experiments, our method shows clear advantages over prior art with promising compensation quality and meanwhile being practically convenient.
updated: Thu Jan 07 2021 18:49:49 GMT+0000 (UTC)
published: Thu Jul 30 2020 18:23:52 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト