データ混合の増強は、ディープニューラルネットワークの一般化能力を向上させるのに効果的であることが証明されています。初期の方法では、手作りのポリシー(線形補間など)によってサンプルを混合しますが、最近の方法では、顕著性情報を利用して、複雑なオフライン最適化を介して混合されたサンプルとラベルを照合します。ただし、正確なミキシングポリシーと最適化の複雑さの間にはトレードオフが発生します。この課題に対処するために、新しい自動ミックスアップ(AutoMix)フレームワークを提案します。このフレームワークでは、ミックスアップポリシーがパラメーター化され、最終的な分類目標に直接役立ちます。具体的には、AutoMixは、対応するサブネットワークを使用して、混合分類を2つのサブタスク(つまり、混合サンプル生成と混合分類)に再定式化し、2レベルの最適化フレームワークでそれらを解決します。生成のために、学習可能な軽量ミックスアップジェネレーターであるMix Blockは、対応する混合ラベルの直接の監視下でパッチごとの関係をモデル化することにより、混合サンプルを生成するように設計されています。バイレベル最適化の劣化と不安定性を防ぐために、AutoMixをエンドツーエンドでトレーニングするための勢いパイプラインをさらに導入します。 9つの画像ベンチマークでの広範な実験により、さまざまな分類シナリオやダウンストリームタスクでの最先端技術と比較したAutoMixの優位性が証明されています。
Data mixing augmentation have proved to be effective for improving the generalization ability of deep neural networks. While early methods mix samples by hand-crafted policies (e.g., linear interpolation), recent methods utilize saliency information to match the mixed samples and labels via complex offline optimization. However, there arises a trade-off between precise mixing policies and optimization complexity. To address this challenge, we propose a novel automatic mixup (AutoMix) framework, where the mixup policy is parameterized and serves the ultimate classification goal directly. Specifically, AutoMix reformulates the mixup classification into two sub-tasks (i.e., mixed sample generation and mixup classification) with corresponding sub-networks and solves them in a bi-level optimization framework. For the generation, a learnable lightweight mixup generator, Mix Block, is designed to generate mixed samples by modeling patch-wise relationships under the direct supervision of the corresponding mixed labels. To prevent the degradation and instability of bi-level optimization, we further introduce a momentum pipeline to train AutoMix in an end-to-end manner. Extensive experiments on nine image benchmarks prove the superiority of AutoMix compared with state-of-the-arts in various classification scenarios and downstream tasks.