2023.06.14 BERTとGPT-4

機械学習を用いた自然言語処理では、Chat-GPTに代表されるGPTが急速に普及が進んでいる。GPTは現在4番目のバージョンであるGPT-4が最新版となっている。GPTは与えられた文章の流れから判断し、次に来るべき単語を予測し、文章を構築する自然言語モデルであり、生成系AIと呼ばれる所以である。これに対してBERTは文章の単語の並び順を学習モデルから判断することで意味を捉えることができる自然言語モデルである。そのため、人間が表現した文章の内容を理解し、判断を行うにはBERTを用いることが適しており、本プロジェクトでもBERTを用いて学習を行なっている。機械学習を用いた自然言語処理には目的に応じたモデルを適応することが重要であるが、学習モデルの応用も進んでおり、GPTの動向にも注視しながら研究を進めて行くことが重要であると考えられる。