Knowledge Graph Enhanced Large Language Model Editing

Author: Zhang et al., 2023

要するに？(何をどうやって検証したのかを短く)

新しい知識編集手法を提案

編集対象に知識に加えて、周辺知識も含めて編集することで編集された知識の一般化を図ろうとしている

著者の主張としては知識単体の変更は、周辺の知識の変更も引き起こすよね、ということ

例:

「新妻は朝日新聞社に入社した」という事象による知識編集

従来は以下のみの変更

新妻 is belonging to NAIST → 新妻 is belonging to 朝日新聞社

提案手法では、以下の変更も検出して知識編集したい

新妻 lives in Nara → 新妻 lives in Tokyo

LLMはブラックボックスなので、モデル内の知識の関連性を把握することが難しい

そこで、関連性は外部知識であるKnowledge Baseから取得する

既存の知識編集はターゲットとなる知識のみを直接書き換えるのみに終始していた

これまでの知識編集の3カテゴリ

Memory-based

ex.

SERAC (Mitchell et al., 2022)

LLMの外部のストレージに外部知識を保存する方式のようだ

Meta-learning

追加的なnetworkによって外部知識を学習する感じ？

Adapterっぽい？

ex.

KE (De Cao et al., 2021)

MEND (Mitchell et al., 2021)

Locate-then-edit methods

対象の知識を直接書き換える方式

ex.

ROME (Meng et al., 2022a)

MEMIT (Meng et al., 2022b)

二つのモジュールからなる提案手法

Knowledge Graph Augmentationモジュール

外部のKnowledge Baseから引っ張ってきたKnowledge Graphから部分グラフを構築して拡張する

どうやってKnowledge Baseからサブグラフを作るのか

知識編集のtarget e = (s, r, o, o*)

o*に着目してKnowledge Baseからサンプリングをする

近傍のEntityとRelationを抽出していく

これによってsからの二階の関係を構築できる

(s, r, o*, r1, o2)

(s, r, o*, r2, o3)

...

また、o2、o3からさらにEntityとRelationをサンプルしてsに関係する高階の新しい知識の関連を構築していく

最大の階数をハイパーパラメータnとして定義する

最大の関連するEntity数をmとして定義する

ここで作られたサブグラフを知識編集によって影響が及うる関連した知識とする

mとnによってサブグラフのサイズを制御する

LLMを使ってサブグラフの中のEntityとRelationに対応する表現を抽出する

知識とLLMを結びつけるために、EntityとRelationをLLMの若い層の表現から抽出して、それをサブグラフの初期表現とする (Geva et al., 2023)

Graph-based Knowledge Edit

ROMEがわからないとちょっと理解しがたいので保留

何が新規性として強調されている？

編集したい知識の周辺知識も含めて編集対象とする

Knowledge Baseで編集対象の知識の周辺知識を取得している

これまでの知識編集は、ターゲットとなる知識単体の変更だけが狙われており、周辺の知識は考慮されてこなかったが、本手法では変更しうる影響範囲をKnowledge Baseから特定して、それを知識編集に使う点が新しい

技術・手法・アイデアなどで、すごいと思った点

この論文の限界として感じたことがあれば

Discussionで興味深い仮説や解釈があれば

この論文を読んでさらに知りたいと思ったこと