ChatGPT
Pretraining
fine-tuning
prompting
scratch pad
https://www.youtube.com/watch?v=NAnEFo9nFnU&ab_channel=AIVTuber%E3%81%AB%E3%82%83%E3%82%93%E3%81%9F%E3%80%90Python%C3%97%E6%A9%9F%E6%A2%B0%E5%AD%A6%E7%BF%92%C3%97%E6%A0%AA%E5%BC%8F%E6%8A%95%E8%B3%87%E3%80%91
論文紹介前に、
次の単語予測だけでは...人間には不快。
人間にとって好みの文章
OpenAIのUIには、Good, Badボタンがあるので、現状もfeedbackが。 論文紹介 (GPT3.5との比較が多い?) GPT-4との比較は少ない。 数学、
大学院生には達してない。特に 数学オリンピック向けの問題
翻訳
DeepLにも負けてる。
ただ、個人的体感としては、chatGPTのが読みやすい文章になってる
coding
python, c++, javaに強い。
データ可視化
文章で指示できるのが強い？
文章を評価する
他のモデルより人間に近い評価を出せる
データを増やす (Data Augumentation)
網羅性はある。bias問題は残る。
政治的な主張
左翼的
トロッコ問題
答えが変わる。一貫性がない。
vs 特化してるモデルとの性能差(SOTAとの比較)はある。