神経科学の基本的な目標は、神経活動と行動の関係を理解することです。たとえば、神経データから行動意図を抽出する機能、または神経デコードは、効果的なブレインマシンインターフェイスを開発するために重要です。この課題には単純な線形モデルが適用されていますが、重要な非線形関係を特定することはできません。したがって、神経表現を計算するために、神経ダイナミクスと行動の間の非線形関係を識別する自己監視手段は、重要な未解決の問題のままです。この課題に対処するために、神経科学研究で人気のあるモデル生物であるキイロショウジョウバエによって生成される自発的な行動からなる新しいマルチモーダルデータセットを生成しました。データセットには、自発的な行動を生成する動物の6つのカメラビューからの3Dマーカーレスモーションキャプチャデータと、行動を促進すると考えられる下降ニューロン集団の活動をキャプチャする同期的に取得された2光子顕微鏡画像が含まれます。標準的な対照学習と教師なしドメイン適応技術は、神経と行動の両方のモダリティにおける動物間の大きな違いのために、神経行動表現(行動ラベルを説明する神経データから計算された埋め込み)を学習するのに苦労します。この欠陥を克服するために、動物間のドメインギャップを埋めるシンプルで効果的な拡張を開発し、神経データから行動に関連しているがドメインにとらわれない情報を抽出できるようにしました。このマルチモーダルデータセットと新しい一連の拡張機能は、神経科学における自己監視学習法の適用を加速することを約束します。
A fundamental goal in neuroscience is to understand the relationship between neural activity and behavior. For example, the ability to extract behavioral intentions from neural data, or neural decoding, is critical for developing effective brain machine interfaces. Although simple linear models have been applied to this challenge, they cannot identify important non-linear relationships. Thus, a self-supervised means of identifying non-linear relationships between neural dynamics and behavior, in order to compute neural representations, remains an important open problem. To address this challenge, we generated a new multimodal dataset consisting of the spontaneous behaviors generated by fruit flies, Drosophila melanogaster -- a popular model organism in neuroscience research. The dataset includes 3D markerless motion capture data from six camera views of the animal generating spontaneous actions, as well as synchronously acquired two-photon microscope images capturing the activity of descending neuron populations that are thought to drive actions. Standard contrastive learning and unsupervised domain adaptation techniques struggle to learn neural action representations (embeddings computed from the neural data describing action labels) due to large inter-animal differences in both neural and behavioral modalities. To overcome this deficiency, we developed simple yet effective augmentations that close the inter-animal domain gap, allowing us to extract behaviorally relevant, yet domain agnostic, information from neural data. This multimodal dataset and our new set of augmentations promise to accelerate the application of self-supervised learning methods in neuroscience.