2023年3月31日
授乳の後、3時過ぎに就寝。8時起床。今日は健康診断。
育児の関連で日程を変更したこともあり、胃カメラの予約が取れなかった。久しぶりにバリウム。昔ほどつらくはないなあ。むしろ、そんな大したことはない感じがした。台の上でゴロゴロ回らされるのは、少ししんどかったけど。
最近の機械学習システムの潮流を一般化したモデルとして整理したのをツイートしたりしていた(URL)。この考え方で、いろんなことがクリアに整理できる。
たとえばベクトル検索とLLMの組み合わせとは、選択肢の立案というバックエンドと、それをどうユーザに提示するかというフロントエンドと一般化できるだろう。任意のフロントエンド機械学習モデル( GPTとか)に対して、選択肢を提示するバックエンドと(ベクトル検索とか)を組み合わせるパターン。
フロントとバックの役割を明確化したことがポイントで、それぞれの実装は様々であり得る。バックエンドは、選択肢そのものをベクトル検索でなくても生成しちゃってもいいし、フロントエンドでは GPTのような自然言語処理でなくても、ABテストのようなユーザへの提示機構でもよい。任意のものが使える。名前がついてるのかどうかわからないので、このパターンをさしあたってはDivergence-Convergence Patternと呼ぶことにしました。発散-収束パターン。LLMにおけるRetrieval-augmented Language Modelも、このパターンの一種。
夕食をとりながら、Kと「【未公開】「日本ができることはいっぱいある」ChatGPT技術幹部のシェイン・グウ氏が語るAIと日本の可能性(2023年3月26日)」を観る。続けて「JDLA緊急企画!「生成AIの衝撃」~ ChatGPTで世界はどう変わるのか? ~」が流れてきた。Kは熱心に観ている。理論的な内容を、ところどころ解説する。リトルKも観ていた。
Amazonで少し本を買った。『ようびの器』は、大阪の「工芸店ようび」の店主によるもの。いろいろと懐かしいお店である。ここでずいぶん勉強させていただいた(実際に店に行ったのは、数えるほどしかなかったけど)。物理本はしばらく買わないようにと思っていたのだが、これは買わざるを得ない。最近、翻訳物の科学関連のノンフィクションに面白そうなものが多いように思える。読める時間がほぼ取れないので、手を伸ばしづらいのだけど。
眞木啓子『ようびの器 ものみな美しき日々のために』
ニック・エンフィールド『会話の科学 あなたはなぜ「え?」と言ってしまうのか』
クリス・ミラー『半導体戦争――世界最重要テクノロジーをめぐる国家間の攻防』
----
今日のブックマーク
llamaindex (LlamaIndex)
【完全保存版】GPT を特定の目的に特化させて扱う (Fine-tuning, Prompt, Index, etc.) - Qiita
Webサーバーアーキテクチャ進化論2023 | blog.ojisan.io
大規模言語モデルの知識を補完するための Retriever の紹介 - ACES エンジニアブログ
🍖やきにく🍖さんはTwitterを使っています: 「GPTにツイッターの投稿内容を監査してもらうChrome拡張つくった https://t.co/T4ltrBexNj」 / Twitter
博士課程あることないこと | 奥村圭祐
----
前日: #2023年3月30日
翌日: #2023年4月1日
#日記 #2023年3月31日 #2023年3月 #3月31日