arXiv reaDer
ファジー ロジック ビジュアル ネットワーク (FLVN): 視覚的特徴マッチングのための神経記号的アプローチ
Fuzzy Logic Visual Network (FLVN): A neuro-symbolic approach for visual features matching
ニューロシンボリック統合は、ディープニューラルネットワークの学習機能と組み合わせたシンボリック知識表現の力を利用することを目的としています。特に、ロジック テンソル ネットワーク (LTN) では、実際のテンソル間の微分可能な操作として 1 次論理言語を基礎にすることで、背景知識を論理公理の形で組み込むことができます。しかし、ゼロショット学習 (ZSL) 分類を改善するこのアプローチの潜在的な利点を調査した研究はほとんどありません。この研究では、神経記号的な LTN フレームワーク内で視覚意味埋め込み空間を学習するタスクを定式化するファジー ロジック ビジュアル ネットワーク (FLVN) を紹介します。 FLVN には、堅牢な高レベルの帰納的バイアスとともに、クラス階層 (クラスおよびマクロクラス) の形式で事前知識が組み込まれています。後者では、たとえば、クラス レベルの属性の例外を処理したり、同じクラスのイメージ間の類似性を強制したりして、認識されているクラスへの早期のオーバーフィッティングを防止し、全体的なパフォーマンスを向上させることができます。 FLVN は、Generalized ZSL (GZSL) ベンチマーク AWA2 および CUB で最先端のパフォーマンスに達し、それぞれ 1.3% および 3% 向上しました。全体として、計算オーバーヘッドが少なく、最近の ZSL メソッドに匹敵するパフォーマンスを実現します。 FLVN は https://gitlab.com/grans2/flvn で入手できます。
Neuro-symbolic integration aims at harnessing the power of symbolic knowledge representation combined with the learning capabilities of deep neural networks. In particular, Logic Tensor Networks (LTNs) allow to incorporate background knowledge in the form of logical axioms by grounding a first order logic language as differentiable operations between real tensors. Yet, few studies have investigated the potential benefits of this approach to improve zero-shot learning (ZSL) classification. In this study, we present the Fuzzy Logic Visual Network (FLVN) that formulates the task of learning a visual-semantic embedding space within a neuro-symbolic LTN framework. FLVN incorporates prior knowledge in the form of class hierarchies (classes and macro-classes) along with robust high-level inductive biases. The latter allow, for instance, to handle exceptions in class-level attributes, and to enforce similarity between images of the same class, preventing premature overfitting to seen classes and improving overall performance. FLVN reaches state of the art performance on the Generalized ZSL (GZSL) benchmarks AWA2 and CUB, improving by 1.3% and 3%, respectively. Overall, it achieves competitive performance to recent ZSL methods with less computational overhead. FLVN is available at https://gitlab.com/grains2/flvn.
updated: Sat Jul 29 2023 16:21:40 GMT+0000 (UTC)
published: Sat Jul 29 2023 16:21:40 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト