このホワイトペーパーでは、ディープニューラルネットワーク(DNN)を使用した法医学画像マッチング(FMIM)の課題に取り組んでいます。 FMIMは、コンテンツベースの画像検索(CBIR)の特定のケースです。 CBIRの一般的なケースと比較したFMIMの主な課題は、クエリ画像が属する対象が加齢や進行性の変性疾患の影響を受け、対象レベルでデータを照合することが困難になる可能性があることです。 DNNを使用したCBIRは、通常、元のデータからDNNによって抽出された画像表現で計算されるトリプレット損失(TL)などのランキング損失を最小化することによって解決されます。特にTLは、アンカー、ポジティブ(アンカーに類似)、ネガティブ(アンカーに類似)のトリプレットで動作します。 TLは多くのCBIRタスクでうまく機能することが示されていますが、それでも制限があり、この作業で特定して分析します。この論文では、(i)AdaTriplet損失(勾配が負のサンプルのさまざまな難易度レベルに適応するTLの拡張)、および(ii)AutoMarginメソッド(次のようなマージンベースの損失のハイパーパラメーターを調整する手法)を紹介します。 TLと提案された損失を動的に。私たちの結果は、変形性関節症イニシアチブと胸部X線-14データセットに基づくFMIMの2つの大規模ベンチマークで評価されます。この調査の複製を許可するコードは、https://github.com/Oulu-IMEDS/AdaTripletで公開されています。
This paper tackles the challenge of forensic medical image matching (FMIM) using deep neural networks (DNNs). FMIM is a particular case of content-based image retrieval (CBIR). The main challenge in FMIM compared to the general case of CBIR, is that the subject to whom a query image belongs may be affected by aging and progressive degenerative disorders, making it difficult to match data on a subject level. CBIR with DNNs is generally solved by minimizing a ranking loss, such as Triplet loss (TL), computed on image representations extracted by a DNN from the original data. TL, in particular, operates on triplets: anchor, positive (similar to anchor) and negative (dissimilar to anchor). Although TL has been shown to perform well in many CBIR tasks, it still has limitations, which we identify and analyze in this work. In this paper, we introduce (i) the AdaTriplet loss -- an extension of TL whose gradients adapt to different difficulty levels of negative samples, and (ii) the AutoMargin method -- a technique to adjust hyperparameters of margin-based losses such as TL and our proposed loss dynamically. Our results are evaluated on two large-scale benchmarks for FMIM based on the Osteoarthritis Initiative and Chest X-ray-14 datasets. The codes allowing replication of this study have been made publicly available at https://github.com/Oulu-IMEDS/AdaTriplet.