arXiv reaDer
シャム DETR
Siamese DETR
最近の自己教師あり手法は、主にベース モデル (ResNets や ViTs など) を使用した表現学習用に設計されています。タスク固有の Transformer モジュールを使用して、DETR に簡単に転送することはできません。この作業では、DETR の Transformer アーキテクチャ向けのシャム自己教師あり事前トレーニング アプローチであるシャム DETR を紹介します。新しいマルチビュー学習フレームワークで、ローカリゼーションと識別という 2 つの補完的なタスクを通じて、ビュー不変表現と検出指向表現を同時に学習することを検討します。 2 つの自己教師あり口実タスクが設計されています。地域ごとに。提案された Siamese DETR は、すべてのセットアップで異なる DETR バリアントを使用して、COCO および PASCAL VOC 検出で最先端の転送パフォーマンスを実現します。コードは https://github.com/Zx55/SiameseDETR で入手できます。
Recent self-supervised methods are mainly designed for representation learning with the base model, e.g., ResNets or ViTs. They cannot be easily transferred to DETR, with task-specific Transformer modules. In this work, we present Siamese DETR, a Siamese self-supervised pretraining approach for the Transformer architecture in DETR. We consider learning view-invariant and detection-oriented representations simultaneously through two complementary tasks, i.e., localization and discrimination, in a novel multi-view learning framework. Two self-supervised pretext tasks are designed: (i) Multi-View Region Detection aims at learning to localize regions-of-interest between augmented views of the input, and (ii) Multi-View Semantic Discrimination attempts to improve object-level discrimination for each region. The proposed Siamese DETR achieves state-of-the-art transfer performance on COCO and PASCAL VOC detection using different DETR variants in all setups. Code is available at https://github.com/Zx55/SiameseDETR.
updated: Fri Mar 31 2023 15:29:25 GMT+0000 (UTC)
published: Fri Mar 31 2023 15:29:25 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト