デジタルパソロジーの採用の拡大により、豊富な情報を含む組織学全体のスライド画像(WSI)の大規模なリポジトリのキュレーションが可能になりました。同様の病理画像検索は、ギガピクセルWSIの大規模な履歴リポジトリを調べて、同様の形態的特徴を持つ症例を特定する機会を提供し、まれな疾患の診断、予後、治療結果、および潜在的な臨床試験の成功を予測するための同様の症例の特定に特に役立ちます。 WSI検索および検索システムを開発する上での重要な課題はスケーラビリティです。これは、それぞれが数十億ピクセルで構成され、サイズが数ギガバイトであるスライドの数が増えていることを考えると、独自の課題です。このようなシステムは通常低速であり、検索速度は検索するリポジトリのサイズに比例することが多く、臨床での採用が面倒であり、絶えず成長しているリポジトリには適していません。ここでは、Fast Image Search for Histopathology(FISH)を紹介します。これは、無限にスケーラブルで、画像データベースのサイズに依存せず、詳細な注釈を必要とせずに一定の検索速度を実現する組織画像検索パイプラインです。 FISHは、自己監視型ディープラーニングを使用してWSIからの意味のある表現をエンコードし、Van Emde Boasツリーを使用して高速検索を行い、続いて不確実性ベースのランキングアルゴリズムを使用して同様のWSIを取得します。 56の疾患サブタイプにまたがる22,000を超える患者の症例について、複数のタスクとデータセットでFISHを評価しました。さらに、FISHを使用して、従来の教師あり深層モデルをトレーニングするのに十分なケースが利用できない可能性がある、まれな種類のがんの診断を支援できることを示します。 FISHは、使いやすいオープンソースソフトウェアパッケージ(https://github.com/mahmoodlab/FISH)として入手できます。
The expanding adoption of digital pathology has enabled the curation of large repositories of histology whole slide images (WSIs), which contain a wealth of information. Similar pathology image search offers the opportunity to comb through large historical repositories of gigapixel WSIs to identify cases with similar morphological features and can be particularly useful for diagnosing rare diseases, identifying similar cases for predicting prognosis, treatment outcomes, and potential clinical trial success. A critical challenge in developing a WSI search and retrieval system is scalability, which is uniquely challenging given the need to search a growing number of slides that each can consist of billions of pixels and are several gigabytes in size. Such systems are typically slow and retrieval speed often scales with the size of the repository they search through, making their clinical adoption tedious and are not feasible for repositories that are constantly growing. Here we present Fast Image Search for Histopathology (FISH), a histology image search pipeline that is infinitely scalable and achieves constant search speed that is independent of the image database size while being interpretable and without requiring detailed annotations. FISH uses self-supervised deep learning to encode meaningful representations from WSIs and a Van Emde Boas tree for fast search, followed by an uncertainty-based ranking algorithm to retrieve similar WSIs. We evaluated FISH on multiple tasks and datasets with over 22,000 patient cases spanning 56 disease subtypes. We additionally demonstrate that FISH can be used to assist with the diagnosis of rare cancer types where sufficient cases may not be available to train traditional supervised deep models. FISH is available as an easy-to-use, open-source software package (https://github.com/mahmoodlab/FISH).