Generative AI learning pathの学習メモ
Google Cloud Skills Boost
全体公開している動画
https://www.youtube.com/watch?v=G2fqAlgmoPo
そもそもAIが持っているセオリーとメソッドとは
人間のように振る舞う機械であること
機械学習は、AIに明確なプログラミングを学ぶことを可能にさせる
学習タイプ
code:GPT-4.txt
教師あり学習 (Supervised Learning): この学習タイプでは、モデルはラベル付きの訓練データ(入力データとそれに対応する出力)を使って学習します。目標は、未知の新しいデータを正確に分類または予測することです。例えば、手書きの数字の画像が与えられたとき、それがどの数字かを正確に認識することなどが目標になります。
教師なし学習 (Unsupervised Learning): このタイプでは、モデルはラベルなしのデータを使用して学習します。つまり、出力データは与えられず、モデルはデータの内在的な構造やパターンを見つけ出すことを目指します。たとえば、クラスタリング(データのクラスタを見つける)や異常検知(異常なデータを見つける)などがこのタイプの学習の例です。
これだけ違う
https://scrapbox.io/files/64c985e22273eb001bf624f8.png
ディープラーニング
code:GPT-4.txt
ディープラーニングは、ニューラルネットワークに基づく一種の機械学習手法で、その名前が示す通り、ニューラルネットワークが「深い」(多層)ことが特徴です。ニューラルネットワークの基本的な構成要素は「層」(Layer)と「ノード」(またはニューロン)です。
層(Layer): ニューラルネットワークは一般的に3種類の層で構成されます。
入力層(Input Layer): ネットワークにデータを供給する層です。例えば、画像を認識する場合、画像の各ピクセルがこの層の各ノードに対応します。
隠れ層(Hidden Layers): 入力層と出力層の間にある層で、一つ以上存在します。ここでデータは重み付けされて処理され、特徴が抽出されます。
出力層(Output Layer): ネットワークの最後の層で、最終的な予測結果または分類結果を出力します。
ノード(Node)またはニューロン(Neuron): ニューラルネットワークの基本的な処理単位です。各ノードは、入力される情報に重みをかけ、バイアスを追加し、それを活性化関数に通して出力を決定します。
機械学習に関する様々なモデル
code:GPT-4.txt
判別モデル:
判別モデルは、与えられた入力データから特定の出力(クラス)を直接予測します。例えば、画像が与えられたときにそれが猫の画像か犬の画像かを予測するタスクなどです。判別モデルは、入力データと出力の間の境界を学習し、新たな入力データがどのクラスに属するかを判別します。代表的な判別モデルとしては、ロジスティック回帰、サポートベクトルマシン(SVM)、ディープニューラルネットワークなどがあります。
生成モデル:
生成モデルは、入力データの生成過程をモデル化しようとします。つまり、データがどのように生成されるか、またはどのクラスのデータがどのように生成されるかを学習し、新たなデータを生成したり、未知のデータがどのクラスに属するかを予測したりします。生成モデルは、データがどのように生成されるか(データの分布)を理解するので、新たなデータを生成することも可能です。代表的な生成モデルとしては、ナイーブベイズ、隠れマルコフモデル(HMM)、生成的敵対ネットワーク(GAN)などがあります。
https://scrapbox.io/files/64c987a2c2751e001c335dda.png
まとめ:生成AIとは
AIの種類の1つで、既存のコンテンツから学習して新しいコンテンツを生み出すことのできるもの
既存のコンテンツを学習する過程は、トレーニングと呼ばれ、統計モデルの生成にも繋がる
プロンプトが与えられると、統計モデルを使って期待されるレスポンスを予想し、新しいものを生成する
transformer
code: GPT-4.txt
トランスフォーマー(Transformer)は、自然言語処理(NLP)のタスクに広く使用されるディープラーニングのアーキテクチャの一種です。2017年にGoogleの研究チームによって"Attention is All You Need"という論文で初めて紹介されました。
トランスフォーマーの中心的な特性は、"自己注意力(Self-Attention)"または"スケールドドット積注意力(Scaled Dot-Product Attention)"というメカニズムを使用することです。これにより、モデルは入力文中のすべての単語(またはトークン)を並列に処理し、それぞれの単語が文中の他の単語とどの程度関連しているかを計算します。これにより、文脈全体を考慮に入れた単語の理解が可能となります。
トランスフォーマーアーキテクチャのもう一つの重要な特性は、リカレントニューラルネットワーク(RNN)や畳み込みニューラルネットワーク(CNN)とは異なり、系列データの順序に依存しないことです。つまり、トランスフォーマーは系列の順序を無視して並列処理を行うことができます。これにより、より高速なトレーニングとより大きなシーケンスの処理が可能となります。
トランスフォーマーアーキテクチャは、GPT-3やBERTなどの多くの最先端のNLPモデルの基盤となっています。これらのモデルは、機械翻訳、文章生成、質問応答、感情分析など、多くのNLPタスクにおいて優れた結果を達成しています。
ハルシネーション
十分ではないデータやノイズがあるデータを入れると生み出すことがある
十分学習されていない場合も起こる
幻覚のようなもの
2講座目
前回の復習
LLMと生成AIはディープラーニングの一種、含まれている
大規模言語モデルとは
事前トレーニングと微調整(fine-tuning)によってできる言語モデル
こういうこと
https://scrapbox.io/files/64d97640792154001cfcbbe6.png
a