arXiv reaDer
SENSE: a Shared Encoder Network for Scene-flow Estimation
  4つの密接に関連するタスク間で共通のエンコーダー機能を共有する、SENSEと呼ばれる全体的なシーンフロー推定のためのコンパクトなネットワークを導入します:オプティカルフロー推定、ステレオからの視差推定、オクルージョン推定、セマンティックセグメンテーション。重要な洞察は、機能を共有するとネットワークがコンパクトになり、機能の表現が改善され、これらのタスク間の相互作用を活用して部分的にラベル付けされたデータを処理できることです。共有エンコーダーを使用すると、トレーニング中にさまざまなタスクに柔軟にデコーダーを追加できます。このモジュール設計により、推論時にコンパクトで効率的なモデルが実現します。これらのタスク間の相互作用を利用することで、部分的にラベル付けされた実世界のデータをより適切に処理できる、監視損失に加えて、蒸留損失と自己監視損失を導入できます。 SENSEは、いくつかのオプティカルフローベンチマークで最先端の結果を達成し、オプティカルフロー用に特別に設計されたネットワークと同じくらい高速に動作します。また、ステレオおよびシーンフローの最新技術と比較して、メモリ消費量がはるかに少なくなります。
We introduce a compact network for holistic scene flow estimation, called SENSE, which shares common encoder features among four closely-related tasks: optical flow estimation, disparity estimation from stereo, occlusion estimation, and semantic segmentation. Our key insight is that sharing features makes the network more compact, induces better feature representations, and can better exploit interactions among these tasks to handle partially labeled data. With a shared encoder, we can flexibly add decoders for different tasks during training. This modular design leads to a compact and efficient model at inference time. Exploiting the interactions among these tasks allows us to introduce distillation and self-supervised losses in addition to supervised losses, which can better handle partially labeled real-world data. SENSE achieves state-of-the-art results on several optical flow benchmarks and runs as fast as networks specifically designed for optical flow. It also compares favorably against the state of the art on stereo and scene flow, while consuming much less memory.
updated: Sun Oct 27 2019 21:44:00 GMT+0000 (UTC)
published: Sun Oct 27 2019 21:44:00 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト