arXiv reaDer
LT4REC:A Lottery Ticket Hypothesis Based Multi-task Practice for Video Recommendation System
クリックスルー率予測(CTR)とクリック後のコンバージョン率予測(CVR)は、推奨システム、オンライン広告、検索エンジンなどのすべての産業用ランキングシステムで重要な役割を果たします。 CTRに関する広範な研究とは異なり、CVR推定に関する研究ははるかに少なく、その主な課題は、CTRよりもサンプル数が1桁または2桁少ない極端なデータスパース性です。人々は、マルチタスク学習のパラダイムでCTRの十分なサンプルを使用してこの問題を解決しようとしますが、ネットワークコンポーネントのどの部分を共有できるかを分析することが難しいため、通常のハード共有方法ではこの問題を効果的に解決できません。どの部分が競合しているか、つまり、人工的に設計されたニューロンの共有が大幅に不正確である。この論文では、人工的な経験なしに共有するニューロンの重みを自動的かつ柔軟に学習できる宝くじ仮説ベースのスパース共有マルチタスク学習を採用することにより、まったく新しい方法でCVRをモデル化します。 Tencentビデオのレコメンデーションシステムのトラフィックログから収集されたデータセットの実験は、CVRモデルでのスパース共有が競合手法よりも大幅に優れていることを示しています。スパース共有における重みスパースの性質により、産業用推奨システムで非常に重要な計算の複雑さとメモリ使用量を大幅に削減することもできます。
Click-through rate prediction (CTR) and post-click conversion rate prediction (CVR) play key roles across all industrial ranking systems, such as recommendation systems, online advertising, and search engines. Different from the extensive research on CTR, there is much less research on CVR estimation, whose main challenge is extreme data sparsity with one or two orders of magnitude reduction in the number of samples than CTR. People try to solve this problem with the paradigm of multi-task learning with the sufficient samples of CTR, but the typical hard sharing method can't effectively solve this problem, because it is difficult to analyze which parts of network components can be shared and which parts are in conflict, i.e., there is a large inaccuracy with artificially designed neurons sharing. In this paper, we model CVR in a brand-new method by adopting the lottery-ticket-hypothesis-based sparse sharing multi-task learning, which can automatically and flexibly learn which neuron weights to be shared without artificial experience. Experiments on the dataset gathered from traffic logs of Tencent video's recommendation system demonstrate that sparse sharing in the CVR model significantly outperforms competitive methods. Due to the nature of weight sparsity in sparse sharing, it can also significantly reduce computational complexity and memory usage which are very important in the industrial recommendation system.
updated: Thu Oct 14 2021 16:24:40 GMT+0000 (UTC)
published: Sat Aug 22 2020 16:48:08 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト