2023年5月25日

昨夜は、4時前までファインチューニングに取り組んでいたけど、エラーを解消できなかった。そのせいか、夢の中であれこれと試行錯誤していて、半分ぐらいしか寝られないまま、9時起床。眠いけど、目はらんらん。

LLMをファインチューニングする環境を作ったり学習を回したりしつつ、納富信留『ギリシア哲学史』のパルメニデスの章を読み存在論について思いを馳せていたのだが、現代と古代とでそのアクチュアリティはまったく変わらないどころか、むしろいまこそ、という気がする。生成変化する潜在性。

朝からテンション高く仕事。その後、社長との1on1や、グループ全体ミーティング出演動画の撮影など。その後も、あれこれと議論したりしており、ひたすら喋り通しであった。

夜は、チームメンバーと久々に飲み。

帰宅して、昨晩のファインチューニングの続き。少しやり方を変えてみたり、俯瞰して見直したりしてみたら、詰まっていたところは解消できた。でも、ちゃんと理解できてやっているわけではなく、手探り感が強い。もっときちんと理解しないとなあ。ともあれ、いまはGPUがぶんぶん回って、ファインチューニングが実行されているところ。どんぐらいかかるかな。

日本語により重きをおいたLLMを作るべしという主張は、以下の3つの論点があるように思われる。

1. 日本語そのものの言語的特性

2. 日本語の他言語との相対的ポジション

3. 日本語によって主に表出される日本文化

しかし、それらの3点が必ずしもそれぞれ分離して議論されているわけではないようにも思える。1は、日本語を重視する理由になるかもしれない。しかし、どういう手法で「特性」を表現できるんだろうか。2は、潜在空間が汎言語的に獲得されると仮定するなら、根拠になりがたいようにも思える。3は、根拠として説得性があるように思える。

毎日2〜3時まで本読んだり技術関連のことしたりしてるから、起床するのは9時頃とかになる。歳をとってきたら早寝早起きできるようになるかと期待してたけど、そういう気配はない。睡眠の質は悪化しつつある。起きるべき時間はだいたい決まってるから、いかに遅くまで活動できるかということになる。

ミドルエイジクライシスみたいなのを感じたことがないのだが、実際はそういうのがあったけど気づいてなかっただけなのかもしれないし、しかしそれよりは、人よりも精神的発達が10年以上遅滞している自覚はあるので、もう数年したらそういうのがくるのかもしれないという気もする。

----

今日のブックマーク

----