arXiv reaDer
CARAFE: Content-Aware ReAssembly of FEatures
 機能のアップサンプリングは、多くの最新の畳み込みネットワークアーキテクチャにおける重要な操作です。ピラミッドを備えています。その設計は、オブジェクト検出やセマンティック/インスタンスセグメンテーションなどの高密度予測タスクに不可欠です。この作業では、この目標を達成するための汎用的で軽量で非常に効果的なオペレーターであるContent-Aware ReAssembly of FEatures(CARAFE)を提案します。 CARAFEにはいくつかの魅力的な特性があります:(1)広い視野。サブピクセルの近傍のみを活用する以前の作品(バイリニア補間など)とは異なり、CARAFEは大きな受容フィールド内のコンテキスト情報を集約できます。 (2)コンテンツ認識処理。すべてのサンプルに固定カーネルを使用する代わりに(デコンボリューションなど)、CARAFEはインスタンス固有のコンテンツ認識処理を有効にし、適応型カーネルをオンザフライで生成します。 (3)軽量で高速な計算。 CARAFEは計算オーバーヘッドをほとんど導入せず、最新のネットワークアーキテクチャに容易に統合できます。オブジェクト検出、インスタンス/セマンティックセグメンテーション、および修復の標準ベンチマークで包括的な評価を実施します。 CARAFEは、無視できる計算オーバーヘッドで、すべてのタスク(それぞれ1.2%、1.3%、1.8%、1.1db)で一貫した大幅なゲインを示します。将来の研究のための強力な構成要素として役立つ大きな可能性を秘めています。将来の研究のための強力な構成要素として役立つ大きな可能性を秘めています。コードとモデルはで入手できます。
Feature upsampling is a key operation in a number of modern convolutional network architectures, e.g. feature pyramids. Its design is critical for dense prediction tasks such as object detection and semantic/instance segmentation. In this work, we propose Content-Aware ReAssembly of FEatures (CARAFE), a universal, lightweight and highly effective operator to fulfill this goal. CARAFE has several appealing properties: (1) Large field of view. Unlike previous works (e.g. bilinear interpolation) that only exploit sub-pixel neighborhood, CARAFE can aggregate contextual information within a large receptive field. (2) Content-aware handling. Instead of using a fixed kernel for all samples (e.g. deconvolution), CARAFE enables instance-specific content-aware handling, which generates adaptive kernels on-the-fly. (3) Lightweight and fast to compute. CARAFE introduces little computational overhead and can be readily integrated into modern network architectures. We conduct comprehensive evaluations on standard benchmarks in object detection, instance/semantic segmentation and inpainting. CARAFE shows consistent and substantial gains across all the tasks (1.2%, 1.3%, 1.8%, 1.1db respectively) with negligible computational overhead. It has great potential to serve as a strong building block for future research. It has great potential to serve as a strong building block for future research. Code and models are available at
updated: Tue Oct 29 2019 12:41:51 GMT+0000 (UTC)
published: Mon May 06 2019 17:58:06 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト