自然言語処理
東京大学深層学習（Deep Learning基礎講座2022）深層学習と自然言語処理 - Speaker Deck
2022/6/2 谷中瞳 https://twitter.com/verypluming
@TJO_datasci: 近年のNN + NLP研究を網羅的に解説している素晴らしいスライド。それぞれの手法が出てきた当時はいまいちピンと来ていなかった概念がこれを読んですんなり理解できました
このような特性をもつ記号列（自然言語）を目的別に処理するのが自然言語処理
新しい言語表現が生まれ続ける
一定の文法がある
同じ単語が文脈によって意味が異なる
テキストの前処理がとても重要
https://gyazo.com/74986033efa9d638e15a9dfbbe924b1d
深層学習以前と以後の対比
最先端自然言語処理ライブラリの最適な選択と有用な利用方法 / pycon-jp-2020 - Speaker Deck
テキスト
機械学習・深層学習による自然言語処理入門
2021-03-25 BERT以降の事前学習済みモデルのトレンドと主要モデルを紹介！ Part 1 学習方法編 - ELYZA Tech Blog
典型的な言語モデルには，特定のタスクを解くために大量のラベル付きデータが必要
ラベル付きデータを集めるのが大変
データが少量であっても高性能なモデルを訓練したい
事前学習が主流になった（2018ごろ〜）
特定タスクにモデルを適応する前に大規模コーパスで学習をする
2018年に登場したBERTが事前学習モデルの代表例です。BERTの登場以降，その応用モデルが数々開発され，タスクによっては人間を超えるような性能が実現されました。
GPT-3
【日本語モデル付き】2021年に自然言語処理をする人にお勧めしたい事前学習済みモデル - Qiita
転移学習
文章分類
文章要約
文章生成
これはエンタメにになりそう