arXiv reaDer
Task2Vec: Task Embedding for Meta-Learning
視覚的分類タスクのベクトル表現を提供する方法を紹介します。これは、それらのタスクの性質とそれらの関係について推論するために使用できます。グラウンドトゥルースラベルとそれらのラベルで定義された損失関数を持つデータセットが与えられた場合、「プローブネットワーク」を通じて画像を処理し、プローブネットワークパラメーターに関連付けられたフィッシャー情報マトリックスの推定に基づいて埋め込みを計算します。これにより、クラスの数などの詳細に依存しないタスクの固定次元埋め込みが提供され、クラスラベルのセマンティクスを理解する必要はありません。この埋め込みにより、異なる視覚的タスク間のセマンティックおよび分類上の関係に関する直感に一致するタスクの類似性を予測できることを実証します(たとえば、異なるタイプの植物の分類に基づくタスクは類似しています)。 -新しいタスクのために事前に訓練された特徴抽出器を選択するタスク。埋め込みに関するメトリックを学習するためのシンプルなメタ学習フレームワークを提示します。このフレームワークは、どの特徴抽出機能が適切に機能するかを予測できます。タスク埋め込みを使用して特徴抽出機能を選択すると、利用可能なすべての特徴抽出機能について徹底的にトレーニングおよび評価するよりも大幅に低コストで、利用可能な最適な機能抽出機能に近いパフォーマンスが得られます。
We introduce a method to provide vectorial representations of visual classification tasks which can be used to reason about the nature of those tasks and their relations. Given a dataset with ground-truth labels and a loss function defined over those labels, we process images through a "probe network" and compute an embedding based on estimates of the Fisher information matrix associated with the probe network parameters. This provides a fixed-dimensional embedding of the task that is independent of details such as the number of classes and does not require any understanding of the class label semantics. We demonstrate that this embedding is capable of predicting task similarities that match our intuition about semantic and taxonomic relations between different visual tasks (e.g., tasks based on classifying different types of plants are similar) We also demonstrate the practical value of this framework for the meta-task of selecting a pre-trained feature extractor for a new task. We present a simple meta-learning framework for learning a metric on embeddings that is capable of predicting which feature extractors will perform well. Selecting a feature extractor with task embedding obtains a performance close to the best available feature extractor, while costing substantially less than exhaustively training and evaluating on all available feature extractors.
updated: Sun Feb 10 2019 06:27:25 GMT+0000 (UTC)
published: Sun Feb 10 2019 06:27:25 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト