arXiv reaDer
Unsupervised Learning of Object Keypoints for Perception and Control
 コンピュータービジョンでのオブジェクト表現の研究は、主に、画像分類、オブジェクト検出、またはダウンストリームタスクとしてのセマンティックセグメンテーションに役立つ表現の開発に焦点を当てています。この作業では、制御および強化学習(RL)に役立つオブジェクト表現を学習することを目指しています。この目的のために、キーポイントまたは画像空間座標の観点から簡潔な幾何学的オブジェクト表現を発見するためのニューラルネットワークアーキテクチャであるTransporterを導入します。この方法は、キーポイントボトルネックを使用してビデオフレーム間で学習した画像の特徴を転送することにより、完全な監視なしの方法で生のビデオフレームから学習します。発見されたキーポイントは、最近の同様の方法よりも正確に長い期間にわたってオブジェクトとオブジェクトパーツを追跡します。さらに、一貫した長期追跡により、制御ドメインで2つの注目すべき結果が得られます。(1)キーポイント座標と対応する画像特徴を入力として使用すると、サンプル効率の高い強化学習が可能になります。 (2)キーポイントの位置を制御して探索することを学習すると、検索スペースが大幅に減少し、外部からの報酬なしで深い探索(ランダムアクション探索では到達できない状態に至る)が可能になります。
The study of object representations in computer vision has primarily focused on developing representations that are useful for image classification, object detection, or semantic segmentation as downstream tasks. In this work we aim to learn object representations that are useful for control and reinforcement learning (RL). To this end, we introduce Transporter, a neural network architecture for discovering concise geometric object representations in terms of keypoints or image-space coordinates. Our method learns from raw video frames in a fully unsupervised manner, by transporting learnt image features between video frames using a keypoint bottleneck. The discovered keypoints track objects and object parts across long time-horizons more accurately than recent similar methods. Furthermore, consistent long-term tracking enables two notable results in control domains -- (1) using the keypoint co-ordinates and corresponding image features as inputs enables highly sample-efficient reinforcement learning; (2) learning to explore by controlling keypoint locations drastically reduces the search space, enabling deep exploration (leading to states unreachable through random action exploration) without any extrinsic rewards.
updated: Wed Nov 20 2019 00:27:24 GMT+0000 (UTC)
published: Wed Jun 19 2019 23:58:54 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト