焦点深度(DFF)は、カメラの焦点の変化を使用して深度を推測する手法です。この作業では、畳み込みニューラルネットワーク(CNN)を提案して、焦点スタック内で最も焦点の合ったピクセルを見つけ、焦点推定から深度を推測します。ネットワークの重要な革新は、新しいディープディファレンシャルフォーカスボリューム(DFV)です。 DFVは、さまざまな焦点距離にわたって積み重ねられた特徴を使用して1次導関数を計算することにより、焦点分析のために焦点情報とコンテキスト情報の両方をキャプチャできます。さらに、まばらにサンプリングされた焦点スタックを処理し、最終的な予測に不確実性の推定を提供するために、焦点推定のための確率回帰メカニズムも導入します。包括的な実験は、提案されたモデルが、優れた一般化可能性と高速で複数のデータセットに対して最先端のパフォーマンスを達成することを示しています。
Depth-from-focus (DFF) is a technique that infers depth using the focus change of a camera. In this work, we propose a convolutional neural network (CNN) to find the best-focused pixels in a focal stack and infer depth from the focus estimation. The key innovation of the network is the novel deep differential focus volume (DFV). By computing the first-order derivative with the stacked features over different focal distances, DFV is able to capture both the focus and context information for focus analysis. Besides, we also introduce a probability regression mechanism for focus estimation to handle sparsely sampled focal stacks and provide uncertainty estimation to the final prediction. Comprehensive experiments demonstrate that the proposed model achieves state-of-the-art performance on multiple datasets with good generalizability and fast speed.