日記2022-09-09

9/1

@shunji_umetani: 呪文を駆使して望みの絵を出力すると聞いて思ったこと「あ、パラメータチューニング職人が生えた」

呪文最適化問題が爆誕か？

@shunji_umetani: 少なくない研究者は知ってることですが，パラメータチューニング職人は，際限なく時間を溶かしてしまう中毒性があるくせに専門技術がほとんど身に付かないという危険極まりない職業です．

パラメータチューニングで試行錯誤を繰り返した後に，ソフトウェアの内部原理を理解しようと勉強を始めればOKなんですが，なかなかそうはならない・・・

9/3

@nishio: パラメータチューニングとかプロンプトエンジニアリングは「仕事」とか「職業」とかよりもFactorioで遊ぶとかの仲間な気がしてきた

いや？軽作業をするとガチャが引けてSSRは美麗イラストって感じのソシャゲの方が近いか？

作業の種類によって召喚されるキャラの傾向が変わるタイプのガチャ

人間には短い待ち時間だと待ってしまうバグがあって、Stable Diffusionはプロンプトを入れて40秒くらいで結果が返ってくるのでうっかり待ってしまいそうになる

これは良くないので早い段階でプロンプトがリングバッファに入って、放置で生成する仕組みを作った

その結果1日1500枚の画像が溜まって、妻と一緒にそれを見て良いものを選ぶところが新しいボトルネックに変わった

この「画像を見て振り分ける」ところを支援するアプリを作った

こんな感じで画像がタイル表示されて

https://gyazo.com/93d7f9cb79c857c5b396740a14031833

クリックするとモーダルで詳しい情報が表示され、ここで「Excellent!」を押すと良い画像を集めたフォルダにファイルを移動する

https://gyazo.com/a29b64af5ce95d16eaf1439497cec83a

今日妻と試したら現実的な時間で溜まってた3300枚の画像のレビューができた

こうやってボトルネックを特定してそれを潰していく作業はFactorio的だなと思う

ガチャの文脈

「プロンプトを入れて40秒待ってプロンプトの結果を見る」が最も高価なガチャの買い方

40秒をぼんやり生成中の画像を見たりプログレスバーをみたりして過ごしてしまうケース

ステージの合間に広告が挟まるタイプのゲームとか、広告を見てコインを得ると続きが読める漫画アプリとかに似ている

30連ガチャ(=1つのプロンプトで30回生成)すると、待ち時間がおよそ1ポモドーロになるので、その時間で普通に作業を進めることができるようになる

でもポモドーロごとに画像を確認してプロンプトを指定する作業が発生する、それをしないとマシンが遊ぶ

そこでプロンプトをファイルから読んで順番に無限ループで生成するようにした

これでプロンプトの追加と生成とレビューが疎結合になり、好きなタイミングで実行できるようになった

生成部分は人間の操作なしに1日1500枚のペースで画像を作り続けるようになった

ガチャで言えば「デイリーボーナス1500連ガチャ」

ガチャの結果を見るところにボトルネックが移動した

次のボトルネック解消についても検討を始めてる