線形プローブを使用して網膜画像のデータセットを分析します。入力としていくつかの「ソース」タスクでトレーニングされたディープ畳み込み(CNN)モデルからの埋め込みを使用して、いくつかの「ターゲット」タスクでトレーニングされた線形回帰モデル。網膜画像のUKBiobankデータセット内の93のタスクのすべての可能なペアでこの方法を使用し、約164kの異なるモデルを作成します。これらの線形プローブのパフォーマンスを、ソースタスクとターゲットタスク、およびレイヤーの深さごとに分析します。ネットワークの中間層からの表現がより一般化可能であることがわかります。一部のターゲットタスクは、ソースタスクに関係なく簡単に予測でき、他の一部のターゲットタスクは、同じタスクでトレーニングされた埋め込みからよりも、相関するソースタスクからより正確に予測されることがわかります。
We analyze a dataset of retinal images using linear probes: linear regression models trained on some "target" task, using embeddings from a deep convolutional (CNN) model trained on some "source" task as input. We use this method across all possible pairings of 93 tasks in the UK Biobank dataset of retinal images, leading to ~164k different models. We analyze the performance of these linear probes by source and target task and by layer depth. We observe that representations from the middle layers of the network are more generalizable. We find that some target tasks are easily predicted irrespective of the source task, and that some other target tasks are more accurately predicted from correlated source tasks than from embeddings trained on the same task.