arXiv reaDer
交絡因子のないモデルを構築するために特徴分布を正規化するためのペナルティアプローチ
A Penalty Approach for Normalizing Feature Distributions to Build Confounder-Free Models
機械学習アルゴリズムを臨床アプリケーションに変換するには、交絡変数(またはメタデータ)の影響を考慮するなど、解釈可能性に関連する課題に対処する必要があります。交絡変数は、入力トレーニングデータとターゲット出力の間の関係に影響を与えます。このようなデータでモデルをトレーニングする場合、交絡変数は学習された特徴の分布にバイアスをかけます。最近の有望なソリューションであるMetaDataNormalization(MDN)は、トレーニング不可能な閉じた形式のソリューションに基づいて、メタデータと各機能の間の線形関係を推定します。ただし、この推定はミニバッチのサンプルサイズによって制限されるため、トレーニング中にアプローチが不安定になる可能性があります。このホワイトペーパーでは、ペナルティアプローチ(PDMNと呼ばれる)を適用してMDNメソッドを拡張します。問題を2レベルのネストされた最適化問題にキャストします。次に、ペナルティ法を使用してこの最適化問題を近似し、MDNレイヤー内の線形パラメーターをトレーニング可能にして、すべてのサンプルで学習できるようにします。これにより、トランスフォーマーやリカレントモデルなど、バッチレベルの操作を実行するのに適していないアーキテクチャーでも、PMDNを任意のアーキテクチャーにプラグインできます。合成実験および磁気共鳴画像(MRI)のマルチラベル、マルチサイトデータセットで、MDNよりもPMDNを使用することで、モデルの精度が向上し、交絡因子からの独立性が高まることを示します。
Translating machine learning algorithms into clinical applications requires addressing challenges related to interpretability, such as accounting for the effect of confounding variables (or metadata). Confounding variables affect the relationship between input training data and target outputs. When we train a model on such data, confounding variables will bias the distribution of the learned features. A recent promising solution, MetaData Normalization (MDN), estimates the linear relationship between the metadata and each feature based on a non-trainable closed-form solution. However, this estimation is confined by the sample size of a mini-batch and thereby may cause the approach to be unstable during training. In this paper, we extend the MDN method by applying a Penalty approach (referred to as PDMN). We cast the problem into a bi-level nested optimization problem. We then approximate this optimization problem using a penalty method so that the linear parameters within the MDN layer are trainable and learned on all samples. This enables PMDN to be plugged into any architectures, even those unfit to run batch-level operations, such as transformers and recurrent models. We show improvement in model accuracy and greater independence from confounders using PMDN over MDN in a synthetic experiment and a multi-label, multi-site dataset of magnetic resonance images (MRIs).
updated: Mon Jul 11 2022 04:02:12 GMT+0000 (UTC)
published: Mon Jul 11 2022 04:02:12 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト