2023年6月24日
今日は、KとリトルKが、久しぶりにK実家から帰宅。入院後のゴタゴタや、マンションの大規模修繕で部屋がペンキのシンナー臭くなる事件などで、しばらくお世話になっていた。大変ありがたいことであった。Kが予約していた、赤ちゃんを載せる装備をそなえたタクシーで帰宅。
K、リトルKと散歩。近所の商業施設まで歩く。Kは家の用事があるというので自分ひとりでいってもよいのだが、不安があるからといって行かせてくれない。テラスでのんびりお茶でも飲もうと思っていたのだが、それまでおとなしかったリトルKが突然泣き始めたりなどして、あやしたりする。スーパーマーケットに寄って買い物をして、帰宅。
夕食を作る。塩気が多すぎたのと、火を入れすぎたのとで、思うようなものができなくて失敗……。その後、リトルKをお風呂に入れたり、絵本を読み聞かせたり、寝かしつけたりなど。寝かしつけのコツが身についてきた感じがする。
岡野原本の続きを読み、読了。LLMそのものについての話は、他の文献や著者の既発表の資料などで知っていたことも多かったのだが（一般向けの入門書なのだし）、LLMから逆に人間の言語獲得について話が及ぶ箇所が面白い。たとえば以下のような記述。激アツ。
驚くほど短期間に人が言語獲得できるのは、「言語は学習しやすい特別な性質を持ったデータであり、人がその性質を活かした学習を行える汎用の学習器をもっているから」という仮説が成り立つのではと筆者は考えている。この場合、人が生得的にもっているのは普遍文法を扱えるように設計されたモデルではなく、その普遍文法も扱えるように学習できるぐらいの高い表現力をもったモデルであればよい。
本書pp.82-83
その他、2023年5月29日に著者の別のスライドで見て驚いた、本文中学習においては、自己注意機構が動的に情報の取得のしかたを変更することで、勾配降下法で学習しているのと同等の事態が起こっているという話が、もう少し詳しく書かれていた（pp.114-117）。この話も、このところ一番驚いたことのひとつだったので、あらためて読むことができてよかった。 浅井星光さん、搗宮姫奈さんが出演されているということで、「暴力無双 サブリミナル・ウォー」を観た。47分の短い話。ストーリーはともかく、ふたりのアクションがとてもよかったので、それだけで観る価値がある。 ----
今日のブックマーク
----