エンコーダーのみを共有するのではなく、エンコーダーとデコーダーの両方を共有することによる高密度予測タスクのマルチタスク学習は、精度と計算効率の両方を向上させる魅力的なフロントを提供します。タスクが類似している場合、デコーダーを共有すると、追加の誘導バイアスとして機能し、タスク間で補完的な情報を共有する余地が増えます。ただし、共有が増えると、より多くのパラメーターがタスクの干渉にさらされ、一般化と堅牢性の両方が妨げられる可能性があります。デコーダを共有することによる誘導バイアスを利用しながら、この干渉を抑制する効果的な方法は、未解決の課題のままです。この課題に対処するために、プログレッシブ デコーダー フュージョン (PDF) を提案し、タスク間の表現の類似性に基づいてタスク デコーダーを段階的に組み合わせます。この手順により、分散内および分散外のデータに対する一般化が向上し、敵対的攻撃に対する堅牢性が向上したマルチタスク ネットワークが得られることを示します。さらに、このマルチタスク ネットワークのさまざまなタスクの予測は、互いにより一貫性があることがわかります。
Multi-task learning of dense prediction tasks, by sharing both the encoder and decoder, as opposed to sharing only the encoder, provides an attractive front to increase both accuracy and computational efficiency. When the tasks are similar, sharing the decoder serves as an additional inductive bias providing more room for tasks to share complementary information among themselves. However, increased sharing exposes more parameters to task interference which likely hinders both generalization and robustness. Effective ways to curb this interference while exploiting the inductive bias of sharing the decoder remains an open challenge. To address this challenge, we propose Progressive Decoder Fusion (PDF) to progressively combine task decoders based on inter-task representation similarity. We show that this procedure leads to a multi-task network with better generalization to in-distribution and out-of-distribution data and improved robustness to adversarial attacks. Additionally, we observe that the predictions of different tasks of this multi-task network are more consistent with each other.