Gradient Descent / SGD
Learning Rate
学習率
Gradient Descent / SGDにおいて Neural Network のパラメータを更新する際のステップサイズを決定するハイパーパラメータ
学習率が
高すぎると一度に大きくパラメータが変わりすぎて最適解を飛び越えてしまうリスクがある
低すぎると更新が遅くなり、時間がかかる
- Neural Network
- seq2seqsequence to sequenceEncoder-Decoder model入力シーケンスを別のシーケンスに変換するための [Neural Network] モデル機械翻訳、文章要約、質問応答などの自然言語処理で広く使われるRNN
- RNNRecurrent [Neural Network]再帰型ニューラルネットワークデータが入力層から出力層に向かって一方向にのみ移動する[Feed Forward] 型に対して、時系列データや順序情報を扱うために設計されたネットワーク再帰的な構造を持ち、各ノードが出力を次のタイムステップの入力として再利用するRNNにおける [Backpropagation]は [BPTT] (Backpropagation Through Time) と呼ぶ
- Embedding[Neural Network]において、単語などの離散的なデータをベクトルに変換するレイヤ役割次元削減: 大きな語彙サイズを持つデータセットでは、one-hotエンコーディングにより高次元のスパースベクトルが生成されます。Embedding Layerはこれを低次元の密なベクトルに変換し、計算効率を向上させます。意味的な情報のキャプチャ: Embedding Layerは学習過程で単語の意味的な類似性を捉えます。例えば、「king」と「queen」など意味的に関連する単語が似たベクトル表現を持つように学習されます。
- Transformer[Neural Network] architecture[Attention is All You Need]refhttps://zenn.dev/zenkigen/articles/2023-01-shimizu
- word2vec主に[NLP]において単語をベクトルに変換する技術主なアーキテクチャ[CBOW]コンテキストからターゲットを推測する [Neural Network][skip-gram]
- MatMulMatrix Multiplication行列積[Neural Network]において重みづけや[convolution](畳み込み) に利用される
- CNN
- Language Models are Few-Shot Lernershttps://arxiv.org/abs/2005.14165https://arxiv.org/pdf/2005.14165.pdffrom [OpenAI][GPT-3] Paper[LLM]（大規模言語モデル）は、[Neural Network] のパラメータを増やせば増やすほど能力が上昇すること
- Training Compute-Optimal Large Language Modelshttps://arxiv.org/abs/2203.15556https://arxiv.org/abs/2203.15556.pdffrom [Google DeepMind]Chinchilla paper単にパラメータ数を増やすだけでは不十分で、その [Neural Network] に与える学習データとのバランスも重要だ、ということを指摘しています。つまり、大量の高性能GPUをNvidiaから購入するだけでは不十分で、それに加えて、大量の学習データを何らかの方法で入手し、長い時間をかけて [Machine Learning] させなければならない
- Momentum
- Loss function[Neural Network]の予測値と正解データとの誤差を測定する関数代表的なもの[mean squared error]平均二乗誤差回帰問題で最も一般的に使用される
- activation function
- perceptronhttps://en.wikipedia.org/wiki/Perceptron[Deep Learning]の基本的なアルゴリズム線形分離ができないデータセットには対応できないため、マルチレイヤーや他の高度な [Neural Network] が必要
- 東京Node学園祭2018 Day111/23 @10:30- Keynote10:45- JavaScriptで機械学習を始めよう by Shuhei Iitsuka @B[スライド https://docs.google.com/presentation/d/e/2PACX-1vS1HFzZ6tnL7QV_y1He2-soE8pXUv4PblrBuM3xcg1I0oJzqAZo8Ay-wdLN8iRYAw3jUUJ2oHXtBuJY/pub?start=false&loop=false&delayms=3000&slide=id.p]