ディープネットワークのさまざまなコンポーネントの設計を自動化することで、大きな進歩が達成されました。ただし、さまざまな評価指標を使用した一般的なタスクの損失関数の自動設計は、十分に調査されていません。損失関数の手作りに関するこれまでの研究は、人間の専門知識に大きく依存しており、その拡張性が制限されています。一方、損失関数の検索に関する既存の取り組みは、主に特定のタスクと特定のメトリックに焦点を当てており、タスク固有のヒューリスティックを使用しています。そのような作業を一般的なタスクに拡張できるかどうかは検証されておらず、疑わしいものです。この論文では、一般的なタスクのために損失関数を最初から検索するための最初の一般的なフレームワークであるAutoLoss-Zeroを提案します。具体的には、異種のタスクと評価メトリックに対応するために、プリミティブな数学演算子のみで構成される基本的な検索スペースを設計します。進化的アルゴリズムの変形は、基本探索空間で損失関数を発見するために採用されています。一般的なタスクに適用できる検索効率を向上させるために、損失拒否プロトコルと勾配等価性チェック戦略が開発されています。さまざまなコンピュータービジョンタスクに関する広範な実験により、検索された損失関数は、さまざまなデータセットやネットワークによく一般化されている既存の損失関数と同等かそれより優れていることがわかります。コードはリリースされます。
Significant progress has been achieved in automating the design of various components in deep networks. However, the automatic design of loss functions for generic tasks with various evaluation metrics remains under-investigated. Previous works on handcrafting loss functions heavily rely on human expertise, which limits their extendibility. Meanwhile, existing efforts on searching loss functions mainly focus on specific tasks and particular metrics, with task-specific heuristics. Whether such works can be extended to generic tasks is not verified and questionable. In this paper, we propose AutoLoss-Zero, the first general framework for searching loss functions from scratch for generic tasks. Specifically, we design an elementary search space composed only of primitive mathematical operators to accommodate the heterogeneous tasks and evaluation metrics. A variant of the evolutionary algorithm is employed to discover loss functions in the elementary search space. A loss-rejection protocol and a gradient-equivalence-check strategy are developed so as to improve the search efficiency, which are applicable to generic tasks. Extensive experiments on various computer vision tasks demonstrate that our searched loss functions are on par with or superior to existing loss functions, which generalize well to different datasets and networks. Code shall be released.