arXiv reaDer
SketchXAI: 人間のスケッチの説明可能性の初見
SketchXAI: A First Look at Explainability for Human Sketches
この論文では、人間のスケッチを XAI (説明可能な人工知能) の風景に初めて紹介します。 「人間中心の」データ形式としてのスケッチは、説明可能性を研究するための自然なインターフェースを表すと主張します。スケッチ固有の説明可能性の設計を育成することに重点を置いています。これは、ストロークを、写真では不可能なオブジェクトの構築と操作にある程度の柔軟性を提供する独自のビルディング ブロックとして識別することから始まります。これに続いて、ストロークの固有のプロパティ (形状、位置、順序) に対応する、簡単で説明しやすいスケッチ エンコーダーを設計します。次に、スケッチ用の史上初の XAI タスクであるストローク位置反転 SLI の定義に進みます。写真のヒート マップやテキストの相関行列があるように、SLI は、見えないスケッチのストローク位置をどれだけうまく復元できるかをネットワークに尋ねるという点で、スケッチに説明可能性の角度を提供します。論文では SLI プロセスのスナップショットとして、またプロジェクト ページでは GIF として、読者が解釈できる定性的な結果を提供しています。些細なことですが、興味深い点は、スケッチ固有の設計のおかげで、当社のスケッチ エンコーダーは、最小数のパラメーターを持ちながら、これまでで最高のスケッチ認識精度も得られることです。コードは https://sketchxai.github.io で入手できます。
This paper, for the very first time, introduces human sketches to the landscape of XAI (Explainable Artificial Intelligence). We argue that sketch as a ``human-centred'' data form, represents a natural interface to study explainability. We focus on cultivating sketch-specific explainability designs. This starts by identifying strokes as a unique building block that offers a degree of flexibility in object construction and manipulation impossible in photos. Following this, we design a simple explainability-friendly sketch encoder that accommodates the intrinsic properties of strokes: shape, location, and order. We then move on to define the first ever XAI task for sketch, that of stroke location inversion SLI. Just as we have heat maps for photos, and correlation matrices for text, SLI offers an explainability angle to sketch in terms of asking a network how well it can recover stroke locations of an unseen sketch. We offer qualitative results for readers to interpret as snapshots of the SLI process in the paper, and as GIFs on the project page. A minor but interesting note is that thanks to its sketch-specific design, our sketch encoder also yields the best sketch recognition accuracy to date while having the smallest number of parameters. The code is available at https://sketchxai.github.io.
updated: Sun Apr 23 2023 20:28:38 GMT+0000 (UTC)
published: Sun Apr 23 2023 20:28:38 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト