Large Language Models as Data Augmenters for Cold-Start Item Recommendation

2024.10.17

著者

https://gyazo.com/00aedcfdefcd0f228d85d3fdccb7a504

この論文はどんなもの？

研究目的: コールドスタートアイテムに対する推薦システムの精度向上。

課題: コールドスタートアイテムは十分なユーザーインタラクションがないため、従来のIDベースの推薦システムでは適切に推奨できない。

解決策: 大規模言語モデル（LLM）をデータ拡張のために活用し、ユーザー履歴や新アイテムのテキスト説明から好みを推定。

具体的手法: LLMを使用してユーザーの過去の行動を基に、ペアワイズ比較（2つのアイテム間でどちらを好むか）を行い、コールドスタートアイテムのユーザー好みを推測。

結果: この方法で生成されたデータを使って、コールドスタートアイテムに対する推薦精度を向上させることができた。

先行研究と比べてどこがすごい？ (貢献)

LLMの新しい活用法: これまでの推薦システムの研究では、LLMを直接利用することが提案されてきましたが、推論時の計算コストが高いという課題がありました。本研究では、LLMを訓練データの拡張に活用し、計算コストの課題を解消しながらコールドスタート問題を改善。

コールドスタート問題への効果的なアプローチ: 従来のコールドスタート問題の解決策は、アイテムのメタデータ（カテゴリや説明など）やその組み合わせを使ったりしました。しかし、これらは十分な効果を得られないことが多かったのに対し、本研究ではLLMによって生成された合成データを使い、精度の高い推薦を実現。

モデル非依存な手法: 本研究の手法は、特定の推薦モデルに依存しない汎用的なアプローチであり、既存のIDベースのモデルに対して簡単に統合可能。これにより、既存の産業スケールの推薦システムにおいても容易に適用できる点が大きな貢献。

効率的なデータ拡張: LLMを活用してユーザーの行動を理解し、ペアワイズ比較を行うことで、コールドスタートアイテムに対する追加の学習データを生成。これにより、コールドスタート問題のデータ不足の問題を解消し、従来手法よりも大幅に性能を向上。

技術や手法のキモはどこ？

1. LLMを用いたデータ拡張

推薦システムは通常、ユーザーの過去の行動やアイテムとのインタラクションを基に、そのユーザーに適したアイテムを予測します。しかし、新しく追加されたアイテム（コールドスタートアイテム）は、ユーザーとのインタラクションが不足しているため、推薦の質が低下する問題があります。

この課題に対して、著者らは大規模言語モデル（LLM）の推論・一般化能力に着目しています。LLMは膨大なテキストデータを基に世界の知識を学習しており、ユーザーの嗜好やアイテムの特徴を推測する能力に優れています。この特性を活かし、LLMを使って「ユーザーがコールドスタートアイテムを好むかどうかを推定する合成データ」を生成し、モデルの訓練データに追加するアプローチが取られています。

2. ペアワイズ比較によるユーザー嗜好推定

LLMを使用してユーザーの嗜好を推定する際、著者らは特にペアワイズ比較の手法に注目しています。ペアワイズ比較とは、ユーザーに対して「アイテムAとアイテムBのどちらを好むか」を質問し、その回答をもとに嗜好を推定する手法です。LLMに対して、ユーザーの過去の購入履歴やアイテムの説明を提示し、ある2つのコールドスタートアイテムについてどちらを好むかを尋ねます。ポイントワイズでなくペアワイズを採用している理由としては、ポイントワイズの場合、負例が大半を占めるがペアワイズの場合必ず学習の参考になる優劣が付く点

https://gyazo.com/461097c866c37d70024fe4feffbbcd13

具体的なプロセスは以下の通りです：

ユーザー履歴の入力: ユーザーが過去に購入したアイテムや、過去のインタラクションのテキスト説明をLLMに与えます。

アイテムペアの比較: 新たに追加されたコールドスタートアイテムAとBの詳細を提供し、「ユーザーはアイテムAとBのどちらを好むか」を尋ねます。

LLMによる応答: LLMは、ユーザーの履歴に基づいて、どちらのアイテムがよりユーザーの嗜好に合致するかを推定します。

このペアワイズ比較は、LLMが単純なポイント推定（1つのアイテムがユーザーに合うかどうかの判断）よりも、精度高くユーザーの選好を推定できることが確認されています。

3. 合成データの生成とペアワイズ損失関数

ペアワイズ比較から得られたデータを基に、著者らは「合成ユーザーデータ」を生成します。これらのデータは、コールドスタートアイテムに対するユーザーの好みを予測するための追加学習信号として活用されます。

訓練においては、ペアワイズ比較の結果に基づいて、次のようなペアワイズ損失関数が導入されます。この損失関数は、ユーザーが好むアイテム（ポジティブ）とそうでないアイテム（ネガティブ）のスコア差を最大化するように設計されています。具体的には、ユーザーがポジティブアイテムをネガティブアイテムよりも好むように予測するようモデルを訓練します。(Bayesian Personalized Ranking loss を参考)

$ \mathcal{L}_{a u g}=-\sum_{(u, p o s, n e g)} \ln \sigma\left(\hat{y}_{u, p o s}-\hat{y}_{u, n e g}\right)

pos: LLMに選ばれたアイテム

neg: それ以外のアイテム

4. モデルアーキテクチャとの統合

この手法の大きな特徴は、特定の推薦モデルに依存しない点です。つまり、NeuMF（Neural Matrix Factorization）やSASRec（Self-Attentive Sequential Recommendation）など、既存の様々な推薦システムモデルに対して容易に統合可能なモデル非依存なアプローチとなっています。

最終的には、LLMによって生成された合成データとペアワイズ損失関数を組み込むことで、従来のIDベースの推薦システムに不足していたコールドスタートアイテムに対する学習信号を補完し、精度向上を達成します。

5. 効果とスケーラビリティ

このアプローチは、単に推薦精度を向上させるだけでなく、スケーラビリティも考慮しています。推薦システムの実運用では、ユーザーごとにリアルタイムでLLMを利用するのはコストが高すぎますが、本手法では訓練時のみLLMを使用するため、推論時のコストを削減しつつ性能向上を図ることができます。

どうやって手法が有効だと検証した？

著者らは、提案手法の有効性を検証するため、Amazonの公開データセットを使用して実験を行いました。実験においては、コールドスタートアイテムに対する推薦精度を評価するため、次の2つのカテゴリに分類されたデータセットを使用しています：Beauty（美容）とSports and Outdoors（スポーツ・アウトドア）。

データの準備と分割

データセットの内容: これらのデータセットには、各ユーザーの過去の購入履歴や評価データが含まれています。Beautyカテゴリには約55,255個のウォームスタートアイテムと2,751個のコールドスタートアイテム、224,956のユーザークエリが含まれています。

データ分割: 訓練とテストに使用するデータを時間的に分割し、特定のタイムポイントでのユーザーインタラクションデータを用いて訓練を行い、タイムポイント以降の新しいアイテムに対するテストを行う「シングルタイムポイント分割」を使用しています。この分割方法により、実世界のシナリオに近い評価が可能です。コールドスタートアイテムは、テストデータにのみ含まれるアイテムとして設定されています。

使用した推薦モデル

提案手法の汎用性を評価するために、以下の2つの代表的な推薦モデルをベースに実験が行われました。

NeuMF (Neural Matrix Factorization): IDベースのユーザー・アイテム埋め込みを学習し、これらの埋め込みを用いてユーザーとアイテムの相互作用を予測するモデル。

SASRec (Self-Attentive Sequential Recommendation): ユーザーの履歴データを用いて、自己注意メカニズムを通じてユーザーの連続的な行動をエンコードし、次にユーザーが興味を持つアイテムを予測するモデル。

比較した手法のバリエーション

各推薦モデルに対して以下のバリエーションで評価が行われています：

Baseline (w/o Augmentation): データ拡張を行わずに、元の訓練データのみで推薦モデルを学習する手法。

Content-based: アイテムのカテゴリやタイトルなどのメタデータを用いた、従来のコンテンツベースの推薦手法。この手法は、コールドスタートアイテムにおいて一定の性能を発揮しますが、協調フィルタリングによる相互作用を十分に活用しません。

LLM-Augmentation (with Augmentation): 提案手法であるLLMを用いて生成された拡張データを追加し、コールドスタートアイテムに対する推薦精度を向上させた手法。

評価指標

推奨システムの評価には、Recall@Kを使用しています。これは、ユーザーが実際に購入したアイテムが、推薦システムによって返されたトップKのリストに含まれている割合を測定するものです。実験では、R@5、R@10、およびR@50の3つのリコール指標が使用され、Kの異なる値に対する推薦性能を評価しました。

また、コールドスタートアイテムとウォームスタートアイテムの2つに分けて結果を報告し、コールドスタートに対する提案手法の効果を強調しています。

実験結果

https://gyazo.com/2a10016f4d60b414d5357cd56ff8ca5e

コールドスタートの改善: 提案手法（LLM-Augmentation）を使用することで、BaselineやContent-based手法と比較して、コールドスタートアイテムの推奨精度が大幅に向上しました。たとえば、NeuMFモデルにおいてR@10の値が、コールドスタートアイテムに対して0.22（Baseline）から2.32（LLM-Augmentation）まで向上し、約10倍の改善が見られました。

ウォームスタートに対する影響: ウォームスタートアイテムに対しては、拡張データを使用することでわずかに精度が低下するケースもありましたが、コールドスタートでの大幅な改善に比べると、影響は軽微でした。

https://gyazo.com/9f0b9f85aa5b99f968def7ef968af0b4

LLMのモデルサイズの影響: PaLM2の異なるモデルサイズ（XXS, S, L）を使用して実験した結果、モデルサイズが大きくなるにつれて推薦精度が向上する傾向が確認されました。これは、LLMのスケールが大きくなるほど、ユーザーの過去の行動に基づく嗜好推定がより正確になることを示唆しています。

拡張データの割合: 拡張データの割合を増やすと、コールドスタートアイテムに対する推薦精度が向上しましたが、一定の割合（約40%）を超えるとそれ以上の改善は見られませんでした。

感想

コールドスタートに関しては驚くほどの改善

LLMを手軽なモデル改善に適用をするのに相性が良さそうなアプローチに感じた