arXiv reaDer
SimVODIS: Simultaneous Visual Odometry, Object Detection, and Instance Segmentation
 インテリジェントエージェントは、周囲の環境を理解して、意味のあるサービスを提供したり、人間とインテリジェントに対話したりする必要があります。エージェントは、環境に固有のセマンティックエンティティだけでなく、幾何学的な特徴も認識する必要があります。一般に、現代の方法は、環境に関する1種類の情報を一度に提供するため、高度なタスクを実行するのが難しくなります。さらに、2種類のメソッドを実行し、2つの結果情報を関連付けるには、多くの計算が必要であり、ソフトウェアアーキテクチャが複雑になります。これらの制限を克服するために、単一のスレッドで幾何学的タスクと意味的タスクの両方を同時に実行するニューラルアーキテクチャを提案します:同時視覚走行距離測定、オブジェクト検出、およびインスタンスセグメンテーション(SimVODIS)。 SimVODISのトレーニングにはラベルのないビデオシーケンスが必要で、入力画像フレーム間の測光の一貫性により自己監視信号が生成されます。 SimVODISのパフォーマンスは、単一のスレッドですべてのタスクを完了しながら、ポーズ推定、深度マップ予測、オブジェクト検出、およびインスタンスセグメンテーションタスクで最先端のパフォーマンスより優れているか、一致しています。 SimVODISがインテリジェントエージェントの自律性を高め、エージェントが人間に効果的なサービスを提供できるようになると期待しています。
Intelligent agents need to understand the surrounding environment to provide meaningful services to or interact intelligently with humans. The agents should perceive geometric features as well as semantic entities inherent in the environment. Contemporary methods in general provide one type of information regarding the environment at a time, making it difficult to conduct high-level tasks. Moreover, running two types of methods and associating two resultant information requires a lot of computation and complicates the software architecture. To overcome these limitations, we propose a neural architecture that simultaneously performs both geometric and semantic tasks in a single thread: simultaneous visual odometry, object detection, and instance segmentation (SimVODIS). Training SimVODIS requires unlabeled video sequences and the photometric consistency between input image frames generates self-supervision signals. The performance of SimVODIS outperforms or matches the state-of-the-art performance in pose estimation, depth map prediction, object detection, and instance segmentation tasks while completing all the tasks in a single thread. We expect SimVODIS would enhance the autonomy of intelligent agents and let the agents provide effective services to humans.
updated: Sat Nov 16 2019 10:39:06 GMT+0000 (UTC)
published: Thu Nov 14 2019 05:03:47 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト