arXiv reaDer
Instance Shadow Detection
 インスタンスシャドウ検出は、オブジェクトインスタンスとペアになっているシャドウインスタンスを見つけることを目的とした、まったく新しい問題です。アプローチするために、まず、SOBAと呼ばれる新しいデータセットを準備します。これは、それぞれが個別のラベル付きマスクを備えた1,000枚の写真に含まれる3,623ペアのシャドウとオブジェクトインスタンスからなるShadow-OBject Associationにちなんで命名されました。次に、Light-guided Instance Shadow-object Associationにちなんで命名されたLISAを設計します。これは、シャドウとオブジェクトのインスタンスを、シャドウとオブジェクトの関連付けと光の方向とともに自動的に予測するエンドツーエンドのフレームワークです。次に、予測されたシャドウとオブジェクトのインスタンスをペアにし、それらを予測されたシャドウとオブジェクトの関連付けと照合して、最終結果を生成します。評価では、結果のパフォーマンスを測定するために、シャドウオブジェクトの平均精度という名前の新しいメトリックを作成しました。さらに、さまざまな実験を実施し、光の方向の推定と写真の編集における手法の適用性を実証しました。
Instance shadow detection is a brand new problem, aiming to find shadow instances paired with object instances. To approach it, we first prepare a new dataset called SOBA, named after Shadow-OBject Association, with 3,623 pairs of shadow and object instances in 1,000 photos, each with individual labeled masks. Second, we design LISA, named after Light-guided Instance Shadow-object Association, an end-to-end framework to automatically predict the shadow and object instances, together with the shadow-object associations and light direction. Then, we pair up the predicted shadow and object instances, and match them with the predicted shadow-object associations to generate the final results. In our evaluations, we formulate a new metric named the shadow-object average precision to measure the performance of our results. Further, we conducted various experiments and demonstrate our method's applicability on light direction estimation and photo editing.
updated: Tue Jun 09 2020 08:38:33 GMT+0000 (UTC)
published: Sat Nov 16 2019 14:06:05 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト