ライトフィールドカメラは、狭距離深度センシングアプリケーションでの豊富な3D情報検索に重要な役割を果たします。プレノプティックカメラによって撮影された露出からライトフィールドを構成する際の主な障害は、4次元画像データを計算で較正、位置合わせ、および再配置することです。特定のプレノプティックカメラ専用のパイプラインを調整し、高い計算負荷を犠牲にして視点間の一貫性を向上させることにより、全体的な画質を向上させるためのいくつかの試みが提案されています。ここで紹介するフレームワークは、レンズの仕様に依存しない一般的なカメラキャリブレーションのための新しいマイクロイメージスケールスペース分析と、最適な輸送理論からの視差不変で費用効果の高い視点の色の均等化のおかげで、以前の成果を前進させます。センサーとマイクロレンズグリッドからのアーティファクトは革新的な方法で補正され、サブアパーチャ画像抽出、計算リフォーカス、およびサブサンプリング機能を備えたシャインプルーフレンダリングで優れた品質を実現します。確立された画像メトリックを使用したベンチマーク比較は、提案されたパイプラインがほとんどの場合、最先端のツールチェーンよりも優れていることを示唆しています。ワッサースタイン距離からの結果は、色の転送が既存の転送方法を上回っていることをさらに示しています。当社のアルゴリズムはオープンソースライセンスの下でリリースされており、依存関係がほとんどなく、ユーザーインターフェイスが異なるクロスプラットフォームの互換性を提供します。これにより、結果の再現とプレノプティックカメラ技術による実験が、同業者の研究者、開発者、写真家、データサイエンティスト、およびこの分野で働くその他の人々にとって便利になります。
Light-field cameras play a vital role for rich 3-D information retrieval in narrow range depth sensing applications. The key obstacle in composing light-fields from exposures taken by a plenoptic camera is to computationally calibrate, align and rearrange four-dimensional image data. Several attempts have been proposed to enhance the overall image quality by tailoring pipelines dedicated to particular plenoptic cameras and improving the consistency across viewpoints at the expense of high computational loads. The framework presented herein advances prior outcomes thanks to its novel micro image scale-space analysis for generic camera calibration independent of the lens specifications and its parallax-invariant, cost-effective viewpoint color equalization from optimal transport theory. Artifacts from the sensor and micro lens grid are compensated in an innovative way to enable superior quality in sub-aperture image extraction, computational refocusing and Scheimpflug rendering with sub-sampling capabilities. Benchmark comparisons using established image metrics suggest that our proposed pipeline outperforms state-of-the-art tool chains in the majority of cases. Results from a Wasserstein distance further show that our color transfer outdoes the existing transport methods. Our algorithms are released under an open-source license, offer cross-platform compatibility with few dependencies and different user interfaces. This makes the reproduction of results and experimentation with plenoptic camera technology convenient for peer researchers, developers, photographers, data scientists and others working in this field.