データ拡張(DA)は、モデルの一般化を改善するためのディープニューラルネットワークのトレーニングにおいて重要な役割を果たします。最近の作業では、AutoAugment(AA)などの自動DAポリシーにより、モデルのパフォーマンスが大幅に向上することが示されています。ただし、ほとんどの自動DAメソッドは、画像内のさまざまな領域に最適なポリシーが多様である可能性があることを考慮せずに、画像レベルでDAポリシーを検索します。この論文では、Patch AutoAugment(PAA)と呼ばれるパッチレベルの自動DAアルゴリズムを提案します。 PAAは、画像をパッチのグリッドに分割し、各パッチの最適なDAポリシーを検索します。具体的には、PAAを使用すると、各パッチDA操作をエージェントで制御し、マルチエージェント強化学習(MARL)問題としてモデル化できます。各ステップで、PAAは、その内容と画像全体のセマンティクスに基づいて、各パッチの最も効果的な操作をサンプリングします。エージェントはチームとして協力し、イメージ全体の共同最適DAポリシーを達成するための統一されたチーム報酬を共有します。この実験は、PAAが画像分類ときめ細かい画像認識の多くのベンチマークデータセットでターゲットネットワークのパフォーマンスを一貫して改善することを示しています。また、PAAは、ImageNetでFastAAの2.3倍、AAの56.1倍という、驚くべき計算効率を実現しています。
Data augmentation (DA) plays a critical role in training deep neural networks for improving the generalization of models. Recent work has shown that automatic DA policy, such as AutoAugment (AA), significantly improves model performance. However, most automatic DA methods search for DA policies at the image-level without considering that the optimal policies for different regions in an image may be diverse. In this paper, we propose a patch-level automatic DA algorithm called Patch AutoAugment (PAA). PAA divides an image into a grid of patches and searches for the optimal DA policy of each patch. Specifically, PAA allows each patch DA operation to be controlled by an agent and models it as a Multi-Agent Reinforcement Learning (MARL) problem. At each step, PAA samples the most effective operation for each patch based on its content and the semantics of the whole image. The agents cooperate as a team and share a unified team reward for achieving the joint optimal DA policy of the whole image. The experiment shows that PAA consistently improves the target network performance on many benchmark datasets of image classification and fine-grained image recognition. PAA also achieves remarkable computational efficiency, i.e 2.3x faster than FastAA and 56.1x faster than AA on ImageNet.