マルチタスク学習は、1つのタスクで学習した情報を活用して、他のタスクのトレーニングに役立てることができます。この能力にもかかわらず、1つのモデルですべてのタスクを一緒に単純にトレーニングすると、パフォーマンスが低下することが多く、タスクグループの組み合わせを徹底的に検索すると非常にコストがかかる可能性があります。その結果、共同トレーニングの恩恵を受けるタスクを効率的に特定することは、明確な解決策がなければ、設計上の課題として残ります。この論文では、マルチタスク学習モデルでどのタスクを一緒にトレーニングするかを選択するアプローチを提案します。私たちの方法は、すべてのタスクを一緒に共同トレーニングし、あるタスクの勾配が別のタスクの損失に影響を与える影響を定量化することにより、単一のトレーニング実行でタスクのグループ化を決定します。大規模なTaskonomyコンピュータービジョンデータセットでは、この方法は、最先端のタスクグループ化方法よりも11.6倍高速に動作しながら、すべてのタスクを一緒にトレーニングするだけの場合と比較して、テスト損失を10.0%削減できることがわかりました。
Multi-task learning can leverage information learned by one task to benefit the training of other tasks. Despite this capacity, naively training all tasks together in one model often degrades performance, and exhaustively searching through combinations of task groupings can be prohibitively expensive. As a result, efficiently identifying the tasks that would benefit from co-training remains a challenging design question without a clear solution. In this paper, we suggest an approach to select which tasks should train together in multi-task learning models. Our method determines task groupings in a single training run by co-training all tasks together and quantifying the effect to which one task's gradient would affect another task's loss. On the large-scale Taskonomy computer vision dataset, we find this method can decrease test loss by 10.0% compared to simply training all tasks together while operating 11.6 times faster than a state-of-the-art task grouping method.