B.参考04：生成AIの理論背景抜粋

◆生成AIにつながる言語モデルや自然言語処理理論

　生成AIは人工知能研究分野の中でも主に自然言語処理( NLP:Natural Language Processing )における言語モデルの研究による貢献が大きい．

　言語モデルの研究は20世紀中盤からの長い歴史を持っている．以下にいくつかの重要なマイルストーンを挙げる．

1. N-gramモデル:

1950年代から1960年代初頭

文章や文の中で隣接するn個の単語の組み合わせを考慮する統計的なモデル．初期の自然言語処理における基本的な手法．

2. 統語論的手法:

1950年代から1970年代

文法規則に基づく自然言語処理のアプローチ．Chomskyの文脈自由文法やその派生が使用された．

3. ルールベースの機械翻訳:

1950年代から1980年代

言語ペアにおいてルールベースで翻訳を行う手法．ただし人手でルールを作成する難しさがあった．

4. 統計的機械翻訳:

1980年代から2000年代初頭

大量の言語データを利用して翻訳モデルを統計的に学習する手法が登場．例えばIBMモデルやフィリップスモデルなど．

5. 機械学習の進展:

2000年代以降

インターネットの普及や大量のデータの利用可能性，計算能力の向上により，機械学習アプローチが強化された．具体的なモデルとしては，SVM( Support Vector Machine )，隠れマルコフモデル，最大エントロピーモデルなどが使われた．

6. ニューラルネットワークの復活:

2010年代以降

深層学習やリカレントニューラルネットワーク( RNN )，そしてBERTのような大規模言語モデルが登場．これにより，自然言語処理の多くのタスクで前例のない性能向上が実現された．

以上はあくまでも概略であり，言語モデルやNLPの研究は進化し続けている．

◆生成AIの主要な手法と年代

生成AIの理論的な背景は比較的最近のものであり，以下はいくつかの主要な手法の発展と初期の提案の年代である．

1. RBM ( Restricted Boltzmann Machine ):

提案年代: 2006年

作成者: ジョフリー・ヒントン( Geoffrey Hinton )など

2006年にジョフリー・ヒントンらによって提案された．深層学習の基盤となる手法の一部であり，生成モデルの先駆的な手法として位置づけられている．

2. GAN ( Generative Adversarial Network ):

提案年代: 2014年

作成者: イアン・グッドフェロー( Ian Goodfellow )など

GANはGoodfellowらによって2014年に発表された．GANは生成器と識別器の2つのネットワークが対抗しながら学習し，本物のデータと区別できないようになる仕組みを利用している．それ以降の生成モデルの重要なランドマークとなった．

3. VAE ( Variational Autoencoder ):

提案年代: 2013年

作成者: キングマ・ウィリアムズ( Kingma )など

2013年にキングマ・ウィリアムズらによって提案された．VAEは確率論的なアプローチを用い，生成データの不確実性を考慮する．また潜在変数を導入し，データの生成過程をモデル化する．

5. BERT ( Bidirectional Encoder Representations from Transformers ):

提案年代: 2018年

作成者: ジョイ・テュリンガ，ラデュ・ミカロフ，デビ・チャーマルディら

BERTは2018年にGoogleが提案したモデルで，自然言語処理のタスクにおいて非常に高い性能を示した．BERTはTransformerアーキテクチャを基にしており，文脈を考慮するために双方向の情報を活用している．

BERTの登場により，大規模かつ事前学習されたモデルが自然言語処理の多くのタスクで優れた性能を発揮することが示され，その後の研究に大きな影響を与えた．

これらの手法は，それぞれ異なるアプローチやアイデアに基づいており，近年生成AIの進展の基礎となっている．ただし，この分野は現在も進化し続けており，新しい手法やアプローチは次々と生み出されている．

★註★この文章はChatGPTにより生成したものを元にして編集したものである

以上．

2024/4/25