arXiv reaDer
自然な画像パッチの効率的な表現
Efficient Representation of Natural Image Patches
神経情報処理の複雑な領域では、基本原理と付随的な詳細を区別することが依然として大きな課題です。初期の視覚系の解剖学と生理学については広範な知識が存在しますが、包括的な計算理論は依然として得られていません。生物学的システムの詳細な実装を抽象化し、システムが解決するように設計されている基本的な問題に焦点を当てることで、生物学的システムの根底にある原理に対する洞察を得ることができるでしょうか?最小限かつ現実的な仮定に基づく抽象モデルを利用して、効率的な情報伝達とセンサーの確率分布モデリングという初期の視覚システムの 2 つの究極の目的を達成する方法を示します。情報伝達を最適化しても最適な確率分布モデリングが得られないことを示します。 2 ピクセル (2D) システムと画像パッチを使用して、出力のみに依存する 2 種類の生物学的に妥当な損失関数によって駆動される非線形母集団コードを介して効率的な表現が実現できることを示します。教師なし学習の後、私たちの抽象 IPU モデルは、スパイク活動など実際のニューロンの多くの特徴を模倣していないにもかかわらず、生物学的システムと驚くほど類似しています。最新のディープラーニング モデルとの予備的な比較では、IPU モデルが大幅な効率上の利点を提供することを示唆しています。私たちのモデルは、初期の視覚システムの計算理論に対する新しい洞察を提供するだけでなく、深層学習モデルの効率を高めるための潜在的な新しいアプローチも提供します。
In the complex domain of neural information processing, discerning fundamental principles from ancillary details remains a significant challenge. While there is extensive knowledge about the anatomy and physiology of the early visual system, a comprehensive computational theory remains elusive. Can we gain insights into the underlying principles of a biological system by abstracting away from its detailed implementation and focusing on the fundamental problems that the system is designed to solve? Utilizing an abstract model based on minimal yet realistic assumptions, we show how to achieve the early visual system's two ultimate objectives: efficient information transmission and sensor probability distribution modeling. We show that optimizing for information transmission does not yield optimal probability distribution modeling. We illustrate, using a two-pixel (2D) system and image patches, that an efficient representation can be realized via nonlinear population code driven by two types of biologically plausible loss functions that depend solely on output. After unsupervised learning, our abstract IPU model bears remarkable resemblances to biological systems, despite not mimicking many features of real neurons, such as spiking activity. A preliminary comparison with a contemporary deep learning model suggests that the IPU model offers a significant efficiency advantage. Our model provides novel insights into the computational theory of early visual systems as well as a potential new approach to enhance the efficiency of deep learning models.
updated: Tue Aug 29 2023 08:35:07 GMT+0000 (UTC)
published: Mon Oct 24 2022 07:50:02 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト