arXiv reaDer
PAL: Intelligence Augmentation using Egocentric Visual Context Detection
自己中心的な視覚的コンテキスト検出は、知能増強アプリケーションをサポートできます。ウェアラブル、パーソナライズされた、プライバシーを保護する自己中心的な視覚的コンテキスト検出のために、PALと呼ばれるウェアラブルシステムを作成しました。 PALには、カメラ、心拍数センサー、デバイス上のディープラーニング、オーディオ入力/出力を備えたウェアラブルデバイスがあります。 PALには、パーソナライズされたコンテキストラベリング用のモバイル/ Webアプリケーションもあります。一般的なオブジェクトと顔の検出、ローショットのカスタム顔とコンテキスト認識(歯磨きなどのアクティビティ)、カスタムコンテキストクラスタリング(屋内の場所など)には、デバイス上のディープラーニングモデルを使用しました。モデルは、実際の状況(約1000枚の画像)で80%を超える精度を備えており、行動の変化などの知能増強アプリケーションについてPALをテストしました。 PALをオープンソースにして、パーソナライズされたプライバシーを保護する自己中心的なビジュアルコンテキストを使用したインテリジェンス増強をさらにサポートします。
Egocentric visual context detection can support intelligence augmentation applications. We created a wearable system, called PAL, for wearable, personalized, and privacy-preserving egocentric visual context detection. PAL has a wearable device with a camera, heart-rate sensor, on-device deep learning, and audio input/output. PAL also has a mobile/web application for personalized context labeling. We used on-device deep learning models for generic object and face detection, low-shot custom face and context recognition (e.g., activities like brushing teeth), and custom context clustering (e.g., indoor locations). The models had over 80% accuracy in in-the-wild contexts (~1000 images) and we tested PAL for intelligence augmentation applications like behavior change. We have made PAL is open-source to further support intelligence augmentation using personalized and privacy-preserving egocentric visual contexts.
updated: Sat May 22 2021 14:01:22 GMT+0000 (UTC)
published: Sat May 22 2021 14:01:22 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト