arXiv reaDer
Meta R-CNN:インスタンスレベルの少数ショット学習の一般的なソルバーに向けて
Meta R-CNN : Towards General Solver for Instance-level Few-shot Learning
 人間の迅速な学習機能に似た少数ショット学習により、視覚システムは少数のサンプルでトレーニングすることで新しい概念を理解できます。単一の視覚オブジェクトを使用した画像のメタ学習から派生した最先端のアプローチ。複雑な背景と1つの画像内の複数のオブジェクトに難読化されているため、少数ショットのオブジェクト検出/セグメンテーションの研究を促進することは困難です。この作業では、これらのタスクを達成するための柔軟で一般的な方法論を提示します。私たちの仕事は、完全な画像機能ではなくRoI(関心のある地域)機能を介したメタ学習を提案することにより、Faster / Mask R-CNNを拡張します。このシンプルなスピリットは、背景にマージされたマルチオブジェクト情報を解きほぐします。これにより、Faster / Mask R-CNNがメタ学習者になり、タスクを達成できます。特に、メインバックボーンをFaster / Mask R-CNNと共有する予測ヘッドリモデリングネットワーク(PRN)を導入します。 PRNは、バウンディングボックスまたはマスクを持つ少数ショットオブジェクトを含む画像を受け取り、クラスの注意深いベクトルを推測します。これらのベクトルはRoI機能に対してチャネルごとにソフトアテンションを行い、これらのR-CNN予測子ヘッドを再構築して、これらのベクトルが表すクラスと一致するオブジェクトを検出またはセグメント化します。私たちの実験では、Meta R-CNNは少数ショットオブジェクト検出の最先端をもたらし、マスクR-CNNによる少数ショットオブジェクトセグメンテーションを改善します。
Resembling the rapid learning capability of human, few-shot learning empowers vision systems to understand new concepts by training with few samples. Leading approaches derived from meta-learning on images with a single visual object. Obfuscated by a complex background and multiple objects in one image, they are hard to promote the research of few-shot object detection/segmentation. In this work, we present a flexible and general methodology to achieve these tasks. Our work extends Faster /Mask R-CNN by proposing meta-learning over RoI (Region-of-Interest) features instead of a full image feature. This simple spirit disentangles multi-object information merged with the background, without bells and whistles, enabling Faster /Mask R-CNN turn into a meta-learner to achieve the tasks. Specifically, we introduce a Predictor-head Remodeling Network (PRN) that shares its main backbone with Faster /Mask R-CNN. PRN receives images containing few-shot objects with their bounding boxes or masks to infer their class attentive vectors. The vectors take channel-wise soft-attention on RoI features, remodeling those R-CNN predictor heads to detect or segment the objects that are consistent with the classes these vectors represent. In our experiments, Meta R-CNN yields the state of the art in few-shot object detection and improves few-shot object segmentation by Mask R-CNN.
updated: Sat Mar 14 2020 03:10:42 GMT+0000 (UTC)
published: Sat Sep 28 2019 05:46:49 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト