MiniGPT-5
https://arxiv.org/abs/2310.02239
MiniGPT-5: Interleaved Vision-and-Language Generation via Generative Vokens
https://github.com/eric-ai-lab/MiniGPT-5
eric-ai-lab/MiniGPT-5
LLMとtext2imageモデルを統合するために
generative vokens
を導入する
LLMの語彙に追加された特別なトークンであり、LLMが出力する隠れ状態が画像生成に使われる。
関連
MiniGPT-4