詩を奏でる楽器
ベースはritarさんと話していた時に出たアイデア 2024/5/18 tskokmtと話していて、具体的なビジョンが浮かんだ @taito_hasegawa と作っているビジュアルを奏でる楽器「OBJECT」初号プロトタイプに搭載したのは、オランダのグラフィックデザイナー カレル・マルテンス が考案したパターン過去の優れたビジュアルに敬意を表しサンプリングして、僕らの世代が動かし奏でられるようにする#ModulePoeticCode pic.twitter.com/SFJ01oRtex 「ビジュアルを奏でる楽器」があるなら「文章を奏でる楽器」もあって良い
今ある具体的なイメージ
画面上に文章が表示されていて、一拍につき一文字増えていく
放っておくと、LLMがひたすら文章を好き放題生成していく
ドラムみたいな感覚でボタンを押して、出力を制御できる
「a」ボタンを押すと、次の文字があの段に制限される
あかさたなはまやらわ
「k」ボタンを押すと、次の文字がか行に制限される
カッという音のイメージ
これを使って、文章が生成されていく中リズミカルにキーを押していく
例えば4拍に一回「a」を押せば、あ段で韻を踏み続ける文章が生成できる
適切なタイミングで「t」「k」「d」などを押すことで、子音のビートを刻むことができる
「このタイミングでは一拍に二文字出す」「このタイミングで空白を挟む」みたいな制御もできるようにしたい
リズムの制御には必要
「こういう意味, こういうムードの文章を生成する」という制御もできるようにしたい
ベースの出力方針のプロンプトをリアルタイムでいじっていく感じかな
「明るさ」「悲しさ」「虚しさ」みたいなパラメータを物理ダイアルで調整できると楽しい
VJ, DJみたいな感じで、即興で詩, 歌詞を作り続けるパフォーマンスができそうblu3mo.icon*3 作れたらフロクロさんとかにあそんでほしいなblu3mo.icon*2
実装
LLMの遅さが問題
解決策:LLMに常に投機的に先の文字を出力させれば良い
ありえる全ての制約パターンに対応して文字を生成しておく
制約の組み合わせがnパターンあり、k文字分余裕を持って先に生成する場合、n^k回の余分な生成が必要
他のアイデア
サンプリングとかできる
急に知ってるフレーズ出てきたらアツい
ミックス
言葉のミックスは前ritar.iconさんがやってたっけ
雑なプロトタイプを作るならblu3mo.icon
とりあえず文章として成り立たせることは諦めて、ランダムな言葉の連なりを作る?
それで音だけでもやりたいことを試して、面白いかを検証
参考になるblu3mo.icon*2
ライムを考慮したラップ生成手法では、逆向き生成による方法を採用した。 Transformer Encoder-Decoder を用いて、逆方向からの文生成を行うことで、 文末にライムを考慮したラップを生成する。また、アンサーを考慮したバース生 成システムについても、アンサーの対応関係を表した学習データを作成し、独自 の評価関数によるフィルターを加えて開発した
なるほど〜
末尾で韻を踏むことが決定しているならこれはあり
2024の強いLLMがあればもっと楽な方法でもできないものかなblu3mo.icon