大型語言模型
https://www.youtube.com/watch?v=wjZofJX0v4M
@tarareba722: 「英語ができる人間でないと自動翻訳のエラーに気づけないし、そもそものデザインやプログラムがある程度できる人間でないと発注も出力エラーの修正もできないから、AIの普及は能力の平等化でなく格差の拡大を起こす」という話、正直いってこれについては半信半疑だったんですが、 2024-05-24
LLMベンダーはあまり細かく指示しなくても期待する動作をしてくれるようにチューニングしてきているが、基本的にはいまでも「複雑なインプット（質問）を組み立てられる人だけが使いこなせる高度なツール」の域を出ていない。
kujakujira.icon看到一些像是「提示工程冠軍框架」之類的也會有類似感覺
還是和行銷用詞常用的「自然語言」有一段距離
不過所謂的パワハラプロンプト倒挺有趣的
では、この出力を60点とします。これを60点とした時に100点とはどのようなものですか？ 100点にするために足りないものを列挙した後に、100点の答えを生成してください
https://www.youtube.com/watch?v=1sKCKo_p75A
2024-06-15
小型語言模型
Notion AI業配
有效的使用方式
詢問內容出自書籍的何處
大型語言模型
複數個數字的組合
方向和長度不是向量的主要概念
經度和緯度不是向量，向量相加後必須仍然在同一個領域內
類似的詞彙會出現在類似的向量後方
完全相反的向量不代表是反義詞
merkmalsemantik
不再執著於詞義，只思考附近出現的單字
Bitter Lesson
Generative Pre-trained Transformer
同字異義
杯子是「空」的和天「空」是藍的
看「杯子」或「藍的」
對所有單字做同樣處理也不會有問題
頂多是處理量會變多
混合多層的資訊至向量內，讓意義明確化
黑盒子
維基百科的文字量不夠用
日文版的總容量是30GB
Common Crawl
混入品質不佳的文字
AI的敵人就是AI
藍波 憤怒的液化石油氣
會被判定為自然的文章
人類乍看之下也無法辨別
需要加上像是混入奇怪英文單字或大量廣告等規則
如果名詞佔了整個文章的九成
或是含有「壯陽藥」的文章
調整頻率為如果出現三次就移除
baby sitting
有學習對應什麼文字應該回答什麼內容
但沒有學習理想的回覆形式
由人力調整應該如何回答
想要實現某些新的事物時，或許乍看之下不是本質的東西才是本質，而一昧追求本質反而會無法實現新的事物
alignment
讓AI對應人類的價值觀
用詞衝突：相同單字的翻譯對應關係
詞向量的數值差能作為意義差異的說明嗎？
詞向量是「在什麼情況下會出現的單字」
人類也是從周圍的單字推測意思，而不是從字典學習詞彙
人類如何使用就是其意義
「干す」和「乾かす」的差異
LLM和人類一樣
雖然無法說明意義，但是能夠使用
LLM的成功是因為人類的言語化
AI學習語言和人類一樣嗎？