整流が信頼できない場合、単眼深度推定へのフォールバックを使用して、前処理、オンライン ステレオ整流、およびステレオ深度推定を行う、生産されたエンド ツー エンドのステレオ深度センシング システムの設計を提示します。次に、深度センシング システムの出力を新しいビュー生成パイプラインで使用して、スマート グラスでキャプチャした視点画像を使用して 3D 計算写真効果を作成します。これらの手順はすべて、携帯電話の厳しいコンピューティング バジェットでデバイス上で実行されます。ユーザーがさまざまなスマートフォンを使用できると想定しているため、設計は一般的である必要があり、特定のハードウェアや ML アクセラレータなどに依存することはできません。スマートフォンの GPU として。これらの各ステップは十分に研究されていますが、実用的なシステムの説明はまだ不足しています。このようなシステムでは、これらの各ステップが相互に連携して機能し、システム内の障害や理想的な入力データに満たない場合に適切にフォールバックする必要があります。熱などによるキャリブレーションの予期しない変更を処理し、実際の深度推定を確実にサポートし、スムーズなユーザー エクスペリエンスに必要なメモリとレイテンシの制約を順守する方法を示します。トレーニング済みのモデルが高速であり、6 年前の Samsung Galaxy S8 スマートフォンの CPU で 1 秒未満で実行されることを示しています。私たちのモデルは目に見えないデータにうまく一般化され、スマートグラスからキャプチャされたミドルベリーと野生の画像で良い結果を達成します.
We present the design of a productionized end-to-end stereo depth sensing system that does pre-processing, online stereo rectification, and stereo depth estimation with a fallback to monocular depth estimation when rectification is unreliable. The output of our depth sensing system is then used in a novel view generation pipeline to create 3D computational photography effect using point-of-view images captured by smart glasses. All these steps are executed on-device on the stringent compute budget of a mobile phone, and because we expect the users can use a wide range of smartphones, our design needs to be general and cannot be dependent on a particular hardware or ML accelerator such as a smartphone GPU. Although each of these steps is well-studied, a description of a practical system is still lacking. For such a system, each of these steps need to work in tandem with one another and fallback gracefully on failures within the system or less than ideal input data. We show how we handle unforeseen changes to calibration, e.g. due to heat, robustly support depth estimation in the wild, and still abide by the memory and latency constraints required for a smooth user experience. We show that our trained models are fast, that run in less than 1s on a six-year-old Samsung Galaxy S8 phone's CPU. Our models generalize well to unseen data and achieve good results on Middlebury and in-the-wild images captured from the smart glasses.