言語モデル
2023年現在、LLMの迫力で下記の話が全部吹き飛んでいる
カウントベース
トライグラム N-gram
まあまあ良い
ゼロ頻度問題が解決できない
- 言語モデル
- Plurality Tokyo Keynote from Audrey Tang
- AOIのTTTCページにAudrey Tangのコメントがある
2024-06-11
AI Objectives InstituteのTalk to the CityページにAudrey Tangのコメントがある
前は無かった気がする
Talk to the City — AI • Objectives • Institute
“Ten years ago, the vTaiwan scope was limited, because stakeholder groups needed to adapt to the technology at the time. Today, this is being bridged with the advent of language models that can adapt
- "日本文化AI"の開発：地球規模の熟議のためのPlurality
- 🤖AIと人間の知的な共同作業
下記はループに陥っているので一旦停止する
___BELOW_IS_LESS_INTERESTING___
🤖🔁AIと人間の知的な共同作業 2023-08-27 07:18
研究ノートダイジェスト
ScrapboxとAIの協働は知的生産性を増大させる可能性がある。AIが文章を生成し、人間がコメントを付けることで新たな発見が生まれる。AIと人間の協働の最適なバランスを探ることが重要である。また、AIの生産性向上によるインセンティブの発生も注目すべき点である。
- 思考の結節点2023-02-23
ChatGPTと雑談した上で最後にその雑談を箇条書きで要約してもらい、僕がその要約を見て微修正した
要約
Scrapboxに「死んだテキスト」を保存することで、再発見が促進され、テキストを継続的に利用することができる。
一部のユーザーは、元のテキストそのものに価値を感じるため、破壊的に「切り出す」ことは価値の減少であり、心理的な抵抗がある。
過去にはてなダイアリーの記事をインポートしており、たまに引用している。ref. はてなダイアリーを過去の日付でScrapboxにインポート
- LLM
Large Language Model
大きな言語モデル
GPT-3、ChatGPT、Bing AIなど、大きな言語モデルやそれを使って実現された対話システムや検索エンジンなどをざっくりと総称する言葉
- LSTMをスタックに
- 「日本語の言語モデル」は実在するか
日本語の色々な文章に対して「日本語の言語モデル」なるものが1つ存在する考え方
この考え方を疑ってみる
人それぞれ異なった言語モデルを持っている
人によって語彙は異なる
書籍もそれぞれ異なった言語モデルを持っている