データ拡張(DA)は、深層学習モデルの一般化を改善する上で重要な役割を果たします。データからDAポリシーを自動的に検索する最近の作業は、大きな成功を収めています。ただし、既存の自動DA手法では、通常、画像レベルで検索が実行されるため、ローカル領域での多様性の調査が制限されます。このホワイトペーパーでは、パッチAutoAugmentと呼ばれる、よりきめ細かい自動DAアプローチを提案して、画像をパッチのグリッドに分割し、パッチの共同最適拡張ポリシーを検索します。これをマルチエージェント強化学習(MARL)問題として定式化します。この問題では、各エージェントが、画像全体のセマンティクスとともにコンテンツに基づいて、各パッチの拡張ポリシーを学習します。エージェントは互いに協力して、チームの報酬を共有することにより、画像全体の最適な増強効果を実現します。画像分類ときめ細かい画像認識の複数のベンチマークデータセット(CIFAR-10、CIFAR-100、ImageNet、CUB-200-2011、Stanford Cars、FGVC-Aircraftなど)に対するこの方法の有効性を示します。広範な実験により、私たちの方法は、必要な計算リソースが少なくて済みながら、最先端のDA方法よりも優れていることが実証されています。
Data augmentation (DA) plays a critical role in improving the generalization of deep learning models. Recent works on automatically searching for DA policies from data have achieved great success. However, existing automated DA methods generally perform the search at the image level, which limits the exploration of diversity in local regions. In this paper, we propose a more fine-grained automated DA approach, dubbed Patch AutoAugment, to divide an image into a grid of patches and search for the joint optimal augmentation policies for the patches. We formulate it as a multi-agent reinforcement learning (MARL) problem, where each agent learns an augmentation policy for each patch based on its content together with the semantics of the whole image. The agents cooperate with each other to achieve the optimal augmentation effect of the entire image by sharing a team reward. We show the effectiveness of our method on multiple benchmark datasets of image classification and fine-grained image recognition (e.g., CIFAR-10, CIFAR-100, ImageNet, CUB-200-2011, Stanford Cars and FGVC-Aircraft). Extensive experiments demonstrate that our method outperforms the state-of-the-art DA methods while requiring fewer computational resources.