arXiv reaDer
CLIPとGamePhysicsの出会い:ゼロショット転送学習を使用したゲームプレイビデオのバグ識別に向けて
CLIP meets GamePhysics: Towards bug identification in gameplay videos using zero-shot transfer learning
ゲームプレイビデオには、プレーヤーがゲームをどのように操作し、ゲームがどのように反応するかについての豊富な情報が含まれています。 Redditなどのソーシャルメディアプラットフォームでゲームプレイビデオを共有することは、多くのプレーヤーにとって一般的な方法になっています。多くの場合、プレーヤーはビデオゲームのバグを紹介するゲームプレイビデオを共有します。このようなゲームプレイビデオは、バグ分析の洞察を提供するため、ゲームテストに利用できるソフトウェアアーティファクトです。ゲームプレイビデオの大規模なリポジトリが存在しますが、効果的で構造化された方法でそれらを解析およびマイニングすることは、依然として大きな課題です。この論文では、ゲームプレイビデオの大規模なリポジトリから関連するビデオを取得するための入力として英語のテキストクエリを受け入れる検索方法を提案します。私たちのアプローチは、外部情報(ビデオメタデータなど)に依存していません。ビデオのコンテンツのみに基づいて機能します。対照的な言語-画像事前トレーニング(CLIP)モデルのゼロショット転送機能を活用することにより、私たちのアプローチはデータのラベル付けやトレーニングを必要としません。私たちのアプローチを評価するために、RedditWebサイトのGamePhysicsセクションから収集された1,873ゲームからの26,954ビデオで構成されるGamePhysicsデータセットを提示します。私たちのアプローチは、単純なクエリ、複合クエリ、バグクエリの広範な分析で有望な結果を示しており、ゲームプレイビデオでのオブジェクトとイベントの検出に役立つことを示しています。私たちのアプローチのアプリケーション例は、ビデオゲームのバグの再現を支援するゲームプレイビデオ検索エンジンとしてのものです。コードとデータについては、次のリンクにアクセスしてください:https://asgaardlab.github.io/CLIPxGamePhysics/
Gameplay videos contain rich information about how players interact with the game and how the game responds. Sharing gameplay videos on social media platforms, such as Reddit, has become a common practice for many players. Often, players will share gameplay videos that showcase video game bugs. Such gameplay videos are software artifacts that can be utilized for game testing, as they provide insight for bug analysis. Although large repositories of gameplay videos exist, parsing and mining them in an effective and structured fashion has still remained a big challenge. In this paper, we propose a search method that accepts any English text query as input to retrieve relevant videos from large repositories of gameplay videos. Our approach does not rely on any external information (such as video metadata); it works solely based on the content of the video. By leveraging the zero-shot transfer capabilities of the Contrastive Language-Image Pre-Training (CLIP) model, our approach does not require any data labeling or training. To evaluate our approach, we present the GamePhysics dataset consisting of 26,954 videos from 1,873 games, that were collected from the GamePhysics section on the Reddit website. Our approach shows promising results in our extensive analysis of simple queries, compound queries, and bug queries, indicating that our approach is useful for object and event detection in gameplay videos. An example application of our approach is as a gameplay video search engine to aid in reproducing video game bugs. Please visit the following link for the code and the data: https://asgaardlab.github.io/CLIPxGamePhysics/
updated: Tue Mar 22 2022 23:37:49 GMT+0000 (UTC)
published: Mon Mar 21 2022 16:23:02 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト