多くのコンピュータビジョンタスクは、シーンの理解の問題に対処し、オブジェクトの分類、検出、シーンのセグメンテーション、深度推定など、自然に相互に関連しています。タスクのコレクションが共同でトレーニングされ、それぞれを監督するため、タスクのコレクション間の固有の関係を活用できることを示します。その他は、一貫性の喪失による既知の関係を介して。さらに、タスク間の関係を明示的に利用することで、ラベル付けされたデータの必要性を劇的に減らしながらパフォーマンスを向上させ、追加の教師なしデータまたはシミュレーションデータを使用したトレーニングを可能にします。高度な非同期性と堅牢性を提供するタスクレベルの並列処理を備えた分散型共同トレーニングアルゴリズムを示します。これにより、複数のタスクにわたって、または大量の入力データを使用して、大規模な学習が可能になります。次のタスクのコレクションのサブセットに関するフレームワークを示します:深度と通常の予測、セマンティックセグメンテーション、3Dモーションとエゴモーションの推定、およびポイントクラウドでのオブジェクトトラッキングと3D検出。特に低ラベル体制では、これらのタスク全体でパフォーマンスの向上が見られます。
Many computer vision tasks address the problem of scene understanding and are naturally interrelated e.g. object classification, detection, scene segmentation, depth estimation, etc. We show that we can leverage the inherent relationships among collections of tasks, as they are trained jointly, supervising each other through their known relationships via consistency losses. Furthermore, explicitly utilizing the relationships between tasks allows improving their performance while dramatically reducing the need for labeled data, and allows training with additional unsupervised or simulated data. We demonstrate a distributed joint training algorithm with task-level parallelism, which affords a high degree of asynchronicity and robustness. This allows learning across multiple tasks, or with large amounts of input data, at scale. We demonstrate our framework on subsets of the following collection of tasks: depth and normal prediction, semantic segmentation, 3D motion and ego-motion estimation, and object tracking and 3D detection in point clouds. We observe improved performance across these tasks, especially in the low-label regime.