従来のコンピューター ビジョン モデルでは、多くの場合、大規模なデータの取得、注釈、検証が必要になります。これらのモデルは、現実世界のアプリケーションでは頻繁に問題が発生し、高い偽陽性率と偽陰性率をもたらし、新しいシナリオへの適応性が低く、多くの場合、コストのかかる再トレーニングが必要になります。これらの問題に対処するために、柔軟で適応性のあるゼロショット ビデオ分析システムである Ethosight を紹介します。 Ethosight は、自然言語やキーワードを通じて指定されたユーザー定義のビデオ分析に基づく白紙の状態から開始し、WordNet や ConceptNet などのオントロジーによって情報を提供される共同埋め込みモデルと推論メカニズムを活用します。 Ethosight は低コストのエッジ デバイス上で効果的に動作し、強化されたランタイム適応をサポートすることで、致命的な忘れを起こすことなく継続的に学習するための新しいアプローチを提供します。私たちは、さらなる改善の余地がある領域を強調しながら、多様で複雑なユースケースにおける Ethosight の有望な有効性を実証的に検証します。この研究の重要な貢献は、完全な再現性を可能にし、研究領域と商業領域の両方でさらなるイノベーションを促進するために、すべてのソース コードとデータセットをリリースしたことです。
Traditional computer vision models often necessitate extensive data acquisition, annotation, and validation. These models frequently struggle in real-world applications, resulting in high false positive and negative rates, and exhibit poor adaptability to new scenarios, often requiring costly retraining. To address these issues, we present Ethosight, a flexible and adaptable zero-shot video analytics system. Ethosight begins from a clean slate based on user-defined video analytics, specified through natural language or keywords, and leverages joint embedding models and reasoning mechanisms informed by ontologies such as WordNet and ConceptNet. Ethosight operates effectively on low-cost edge devices and supports enhanced runtime adaptation, thereby offering a new approach to continuous learning without catastrophic forgetting. We provide empirical validation of Ethosight's promising effectiveness across diverse and complex use cases, while highlighting areas for further improvement. A significant contribution of this work is the release of all source code and datasets to enable full reproducibility and to foster further innovation in both the research and commercial domains.