G検定の学びメモ

まずは無料の教材を網羅していく

公式ガイド前後編

AI

「人間の脳が行う認知・判断などの知的な活動を人工的につくられたシステムを用いて実現する技術」と定義

第1次AIブーム：1950年代後半～1960年代

ゴールとルールが決まっていないと解けない

第2次AIブーム：1980年代

入力コストが大変だったり、汎用性がなかったり運用が大変

第3次AIブーム：2010年～現在

自ら学習して知識をつけるディープラーニングができるようになった

特徴量

これはこれであるという定義の値

従来の機械学習では、より精度（＝正確さ）を高めるために、特徴量の設計を人間が調整する必要があり

ました。ディープラーニングで革新的なのは、完全にコンピュータ自身で特徴量設計を作ることができるよう

になったという点です。

ディープラーニングの登場によるAIの高度化と産業や社会への影響

産業化には2〜3年のラグが伴う

（ハードが関係するほどさらに遅く、社会制度が関係するものはもっと遅くなる）

年表と進展

米国・カナダがリード

画像認識の精度向上

画像による診断・広告

画像認識 → 防犯・監視・セキュリティ・マーケティング

行動予測・異常検知

マルチモーダルな認識

ロボティクスの進展

自動運転、物流・農業の自動化、製造装置の効率化

環境変化にロバストな自律的行動

家事・介護、他者理解、感情労働の代替、試行錯誤の自動化

世界モデルの構築、環境認識・行動

翻訳、海外向けEC

教育、秘書、ホワイトカラー支援

大規模知識理解

科学的発見、経済・社会現象の予測

経済・社会予測精度の向上

AIによる研究の支援

人間の知能の仕組みの解明

哲学・言語学の諸問題の解決

次の学習

書籍やることにした。難しそうだけど早くEにチャレンジしたい。

https://scrapbox.io/files/687a571640870fc8ffecfd54.png

1,2章

第一次ブーム：トイプロブレム

第二次ブーム：エキスパートシステム（知識と条件分岐で問題を解く）

第三次ブーム：機械学習

ニューラルネットワーク：入力層・隠れ層・出力層に分ける機械学習の手法。ソフトウェアそのものでもある。

→ディープラーニングはこの隠れ層を深くしたもの。つまり機械学習の手法

→従来の探索手法で難しかったものの対策の「強化学習」という学習方法もある。

ディープラーニングは特徴抽出を自動で行う。

OCRの正式名称

Optical Character Recognition/Reader

LLM 機械学習モデルの一種

「機械学習」はデータから規則やパターンを学習する方法論です。

一方で、「機械学習モデル」とは、その方法論を具体的に実装した“計算可能な形”のものを指します。

MYCIN

医療分野の二次ブームの時のAI

「MNIST（エムニスト）データ」

手書きの数字画像データセットで、機械学習や深層学習の入門でよく使われる非常に有名なベンチマークデータセットでございます。

モンテカルロ法：ランダムに手を選ぶ

3章：人工知能の問題点

フレーム問題：人間であればスルーするような情報でも対応してしまう

爆弾とロボット

シンボルグラウンディング問題

🔹 問題の本質

「記号（言葉）だけでは意味は本当に理解できないのでは？」

たとえば、AIが「リンゴ」という単語を扱えても、

「赤くて、丸くて、甘くて、食べられる果物」としての“経験的な意味”を知らなければ、

それはただの文字列処理にすぎない、という議論です。

🧩 具体例：辞書の中だけの学習

AIが「apple = red fruit」と学んだとします。

でも「redとは？」「fruitとは？」をまた記号で学んでいるだけでは…

結局どこまで行っても「定義が定義を参照する」だけになります。

🔁 このように「記号が記号を説明するだけ」で、

「現実世界との結びつき（grounding）」がない状態を問題視します。体がないとわからない。（身体性）

シンギュラリティ

賢いAIが自身より賢いAIを作れるようになった時（無限に進化する）

4章

強化学習

報酬の最大化を目標にエージェントが学習

機械学習における回帰

連続値yを他の値xを参考に当てる

例) 桜の開花予想

機械学習における離散値

離散値yを他の値xを参考に予想する

機械学習な主な手法

まず、機械学習が4つに分岐する。

※機械学習とは、「コンピューターに明示的なプログラム（ルールや手順）を与えるのではなく、データからパターンや規則を自動的に学習させること」

教師あり学習

教師なし学習

半教師あり学習

教科なし学習

教師あり学習

「9」という数字と「きゅう」という正解をセットで学ばせるような学習方法

https://scrapbox.io/files/688ef23471164826cf59e405.png

これは次のような問題を解くときに使う。

どんなパターンなのか予想する問題：回帰

何を表しているのか識別する問題：分類

回帰

機械学習の中の、教師あり学習がとく問題の、回帰という問題について。

この回帰で使用する値は「変数」と呼ばれる。

予想の対象となる値は

目的変数（従属変数）

影響を与える変数を

説明変数（独立変数）

と呼ぶ

5章：ディープラーニングの概要

線形な分類と非線形な分類

線形は直線や平面など簡単に分類できるもの

非線形は複雑なもの

例）りんごとオレンジを分類する場合：りんごは赤くて丸い。オレンジはオレンジで丸い。色で分ければ2つだけど、果物という概念の中で分類しようとすると色々な軸があって単純には分けられない。

多層パーセプトロンで分類する

ディープラーニングとニューラルネットワーク

パーセプトロンは入力層と出力層を使って線形分類だけができる

そこに隠れ層を追加したのがニューラルネットワーク

そのニューラルネットワークを多層に重ねたものがディープラーニング

ディープラーニングの分類：機械学習の方法の、教師あり学習の、アルゴリズムの一つ

勾配消失問題

誤差を層ごとに計算していくうちに勾配は小さくなる

水のバケツリレーで水がなくなるのと似ている。信号が弱まる？

微分で計算できるが、あまりにも量が多いと対応できなくなる

少なければ連鎖率という計算方法で計算できた

オートエンコーダー（自動符号付加機）

入力された値を次元圧縮して特徴を得る手法

ニューラルネットワークの一種

入力層→隠れ層（エンコード）→出力層（デコード）

可視層→隠れ層→可視層でもある

オートエンコーダーは基本教師無し学習だが、処理全体を行うと処理全体のパラメーターを得られるので、それを元に教示あり学習をすることができる。これをファインチューニングという。

※活性化関数の改善により、この事前学習方法は今はあまり有効でないとされている

GPGPU

GPUを汎用的な利用に活用する。NVIDIA

GPUとCPU

GPUは同じ演算を一斉に並列処理する点に優れており、ディープラーニングのように膨大なループ処理を高速に行うことができる。一方、CPUは様々な種類のタスクを順番に処理する点に優れており、汎用的な処理に適している。

6章：ディープラーニングの手法

ディープラーニングはニューラルネットワークの隠れ層を多層にしたアルゴリズム。そのニューラルネットワークの計算過程では、活性化関数と呼ばれる関数を用いて値を変換する。

そもそもなぜ活性化関数を使うのか

線形変換だけでは「直線」しか描けないから。

ニューラルネットワークの各層がやっていることは、基本的に「掛け算＋足し算（線形変換）」です。

もし活性化関数がなければ、何層積み重ねても「直線を引く」ことしかできない。

要は、直線だけでは、複雑な形（曲線や面）を表せない

活性化関数を入れると、「曲線」を作れるようになるため、複雑なパターン（猫と犬を見分けるなど）が学習できるようになる。

ニューロンに「ON/OFFの個性」を持たせられるから

関数の種類

シグモイド

出力層、隠れ層

ソフトマックス

出力層

0〜1の出力値を取り、総和が1になる

tahn、ハイパボリックタンジェント

-1から1をとる

ReLU（ランプ）

0か1を出す

Sigmoidやtanhでは、入力が大きくなると「勾配（傾き）」がほぼ0になり、学習が止まることがある。

ReLUは入力が正の領域では 勾配=1 のため、勾配が消えにくく、深いネットワークでも学習が進みやすい。

最適化手法

前提：ニューラルネットワークの学習は予測値と結果を最小にすることを目指して行われる。

→誤差逆伝播法を使うなど。

誤差の得方

実はこちらにも誤差関数というものがある

誤差の測り方

回帰（数値予測）なら「平均二乗誤差」

分類（ラベル予測）なら「交差エントロピー誤差」

重みをどう直すか

ニューラルネットの中の「重み（パラメータ）」を少しずつ調整して誤差を減らす。

調整のときに使うのが「勾配（傾き）」＝ちょっと動かしたとき誤差がどう変わるかを表す数値。

学習率

調整の仕方

傾きがプラスなら、重みをマイナス方向に動かすと誤差が減る。

傾きが大きいほど、たくさん動かす。

この動かす量を調整するのが「学習率」。

前提：誤差をどうやって減らすか

ニューラルネットワークの学習では、「予測値」と「正解」の差（誤差）を計算する誤差が減る方向に「重み（パラメータ）」を少し動かす。これを繰り返す。

という流れで学習する。

この「誤差をどう計算して重みを動かすか」で、最急降下法 と 確率的勾配降下法（SGD） の違いが出てきます。

誤差の無くし方

最急降下法

データ全体の誤差から求めた勾配を使う

確率的勾配降下法（SGD）

ランダムに選んだデータごとの誤差から求めた勾配を使う

→これらはこれらは勾配降下法

勾配降下法

モーメンタム

慣性を加える

AdaGrad

自動調整

あまり変化がないパラメーターは学習率を大きく

RMSprop

AdaGradと比較してより最近のデータの方が影響が出る

Adam

RMSpropにモーメンタムの考え導入

AdaBound

収束しやすくした

AMSbound

Adamの改良版

学習率に上限下限を作った

モデルの当てはまり具合

どう分類するかの枠組みが似ているという話がある

これは確率分布がにているという

犬と猫との分け方が、狐と狸の分け方と似ているみたいな話

本来はモデルの分布の当てはまり度合いを直すために使う

ディープラーニングの学習のテクニック

重みの調整

Xavier初期化

活性化関数でランプ関数以外

He初期化

活性化関数でランプ関数使う

時に有効

正則化

必要ない重みにペナルティ

次はP186の問題から。まだだいぶある。

バッチ学習

データ全体をモデルに渡して一括で学習する手法。

学習の単位をイテレーションという。

7章：画像認識・物体検出（要復習）

CNN

画像は縦横2次元のデータ

CNNとは畳み込み層やプーリングネットワーク層で構成されるニューラルネットワーク

畳み込み：位置関係を把握して特長を掴む、局所的な情報をまとめる

例）フィルタをかける

プーリング：特徴量を集約、小さくまとめる

例）最大値を抜き出す

最終的に特徴マップが出来上がる。最後に全結合層を通して、特徴マップからベクトルにする。

ネオコグニトロン

CNNの基礎になったもの。前身。福島邦彦さんが提案した。人間の視覚の細胞に注目。

7-2:一般物体検出

ISVRC

画像の認識精度を競うコンテスト

物体検出には領域が「背景が何か」「物体か、物体なら何か」の観点がある。

方法もいろいろあって面白い

バウンティングボックス

画像の中に写ってるものを囲む。

セマンティックセグメンテーション

ピクセルのような形で判別

皿皿皿

皿魚皿

皿皿皿　みたいな

ざんさぶろっくとは

残差ブロック＝「加工結果＋元の情報」にする部品

ねらい：元の情報を消しにくくし、深いネットでも学習しやすくなる。

ブロックとは：畳み込み→正規化→活性化…などの数層をひとまとめにした部品のこと。

8章 自然言語処理と音声認識

RNN

再帰構造を持つニューラルネットワーク。時系列データの扱いができる。

例）株価や気温の推移など

VARモデル

複数の過去をもとに未来の予想を立てる。

ベクトル

文字などを処理しやすい形に変換。局所表現が（１, ０）こういうやつ。分散表現は表みたいなやつ。

扱う単語が増えるほどベクトルの要素数が増えるので、時間も大きくなるのが局所表現。

BERT

トランスフォーマーを利用した双方向のエンコード表現

言語の前後をマスクしても予想できる

フーリエ変換

周波数を求めるために行う。特徴量が求まる。山になっている部分がフォルマント。

LSTM

RNNの一種で、「忘れる・覚える・出力する」ためのゲート（入力・忘却・出力ゲート）を備え、長期依存関係を保ちやすくした時系列モデル

トランスフォーマー：重要

自然言語処理で使われるニューラルネットワークの仕組みで、「文中のどの部分が重要か」を自己注意（Self-Attention）で判断し、並列的に学習・処理できるモデル

9章 強化学習

そもそも何か：行動とその結果について学習する方法。AIがとった選択に対して報酬を与えて学習させていく。行動を選択するものをエージェントといい、状態や報酬を決めるものを環境という。

価値反復法

Q値自体も学習によって更新させる

一方で、Q値更新には色々なパラメーターが影響すると大変。そこで、ディープラーニングでQ値の学習をする方法がある。

深層強化学習。

10章 生成モデル

GAN

敵対適正性ネットワークと訳される。GeneratorとDiscriminatorというモデルを競わせるように学習させる。

Generatorは偽を作って、真の画像と判断できるかをDiscriminatorが頑張る。

Diffusion Model

聞いたことある。画像をノイズによって破壊→破壊した画像のノイズを消して元に戻すを繰り返して学習。

この決して元に戻すのを逆拡散過程と呼ぶ。ノイズ加える方は拡散過程。

11章 ディープラーニングの社会実装

MNIST 手書き数字データセット

MegaFace その名の通りたくさんの顔画像

レコメンドにも色々あって、似ているユーザーでレコメンドしたり、似ている商品でレコメンドしたりなどさまざまである。

Define by Run

PyTorchとか。その名の通りだな。

XAI

explain AI という、AIが下した判断を人間に説明できるモデルや技術のこと。だいじ。

カメラ画像の取り扱い

写真の写り込みは避けられないが、取得した画像から目や鼻や口の特徴を数値化したデータは個人情報になりうる。ただし、性別や年代などの属性情報は該当しない。そういったガイドブックが総務省や経済産業省から出ている。

著作権

与える不利益が軽微な場合利用できるとも書いてある。

創作の主体が人の場合、AIの場合があるが、AI独自のコンテンツが全く保護されないとなるとAI開発者が報われない。

バランスが重要そう。

adversarial example

敵対的な攻撃。画像のノイズで別の画像として認識させるなど。

それぞれの取り扱い

特許権　×（発明の技術的思想に該当しない）

著作権　△（創作性があれば保護対象）

営業秘密　○（非公知で秘密管理・有用性がある場合）

一般不法行為　×（原則該当せず）

特許権　×（情報の寄せ集めで技術的思想に該当せず）

著作権　△（創作的編集があればデータベース著作物として保護）

営業秘密　○（非公知・有用・秘密管理されている場合）

一般不法行為　×（原則該当せず）

特許権　○（特許技術を使う場合は侵害の可能性あり）

著作権　○（プログラムを複製する行為は保護対象）

営業秘密　○（秘密情報を使う場合は不正競争行為）

一般不法行為　×（該当せず）

特許権　○（プログラム生成物として保護される場合あり）

著作権　△（データベース的構造を持つ場合に保護される可能性）

営業秘密　○（非公知かつ秘密管理されている場合）

一般不法行為　×（該当せず）

特許権　○（ソフトウェアやシステムとして保護対象）

著作権　○（プログラム著作物として保護される）

営業秘密　○（秘密保持条件を満たす場合）

一般不法行為　×（該当せず）

CRISP-DM

データ分析プロセスの方法論

特許における発明者

複数人でなれるが、法人にはなれない。

数理・統計入門

偏差と分散

平均との差が偏差、平均との差を2乗してデータ数で割るのが分散

つまり分散とは、偏差の2条の平均

標準偏差は、分散の平方根。これで散らばり具合がわかる。

P411から〜

確率密度

蓮属的な値を取る変数に対して、ある範囲がどれだけ出現しやすいか。

ベルヌーイ分布

成功か失敗かしかない。

問題

https://scrapbox.io/files/68d9de14cd45bbb7fad72377.png

適合率が高いとは、偽陽性が少なく、陽性予測の的中率が高い

正規化を行うのは、スケールの統一による学習効率の向上のため

2025年6月4日に、AIの研究開発・利活用を適正に推進するAI新法（人工知能関連技術の研究開発及び活用の推進に関する法律）が公布。2024時点はなかった

シグモイド：orではない

https://scrapbox.io/files/68dc6a23879738d644c2089c.png

ハイパーパラメータとは、人手で学習前に決定しておくパラメータを意味します

正則化は過学習を防ぐためにモデルの複雑さを抑制する

ラッソ回帰はL1正則化を使用し、係数を厳密に0にする効果があるため、自動的に重要な特徴量を選択する（スパース性を生み出す）ことができます。

自己注意機構は、入力系列内の各トークンが他のすべてのトークンとどのように関連しているかを重み付け（注意）によって学習し、文脈的な依存関係を捉えます。

L1正則化（ラッソ）は係数を厳密に0にする傾向があり特徴量選択に役立ち、L2正則化（リッジ）は係数を0に近づけるが0にはせず、均等に小さくします。

バッチ正規化は、各層への入力分布を一定に保つ（内部共変量シフトの軽減）ことで、勾配の流れを改善し、学習を安定させ、高速に収束させる効果があります。

Encoderは入力（ソース）系列全体の情報を集約した文脈表現を学習し、Decoderはそれを基に目標（ターゲット）系列（例：翻訳後の文）を段階的に生成します。

セマンティックセグメンテーションとは画像中の各ピクセルにクラスラベルを付与する

再現率（Recall）は、実際に陽性である全データ（正解データ）のうち、モデルが正しく陽性と予測できた割合（真陽性）を示す指標です。

F1スコアは、適合率（Precision）と再現率（Recall）の調和平均であり、両方のバランスを取るために使用されます。

適合率（Precision）：予測した「正解」の中で、本当に正しかった割合（＝当たりの正確さ）

再現率（Recall）：本当の正解の中で、正しく予測できた割合（＝見逃しの少なさ）

F1スコア：PrecisionとRecallのバランスを取る指標（どちらか一方が低いとF1も下がる）

🍎 例：リンゴを見つけるAI

100個の果物の中にリンゴが 20個 あります。

AIが「これはリンゴだ！」と予測したのが 10個。

そのうち 8個 が本物のリンゴでした。

🔹 適合率（Precision）

→「AIがリンゴと言った中で、本当にリンゴだった割合」

= 8 / 10 = 0.8（80%）

👉 “リンゴと言うならちゃんと当ててほしい” という正確さの指標。

🔹 再現率（Recall）

→「本物のリンゴ20個のうち、AIがどれだけ見つけられたか」

= 8 / 20 = 0.4（40%）

👉 “リンゴを見逃さないでほしい” という取りこぼしの少なさの指標。

🔹 F1スコア

→ PrecisionとRecallのバランス

= 両方が高いときに良い。

（今回だとそこそこ正確だけど、見逃しが多いのでF1は中くらい）

ROC曲線は、真陽性率（TPR: 感度）を縦軸に、偽陽性率（FPR: 1-特異度）を横軸にしてプロットした曲線です。

特徴量エンジニアリングは、ドメイン知識や統計処理を用いて、元のデータからモデルの学習に役立つ新しい変数を作成・選択・変換する工程です。

k-meansクラスタリングは、正解ラベルなしでデータを類似性に基づいてグループ化する、代表的な教師なし学習アルゴリズムです。

次元の呪いとは、特徴量の次元数が増えるにつれてデータが疎になり、サンプル間の距離が全て似通ってしまうため、最近傍探索や密度推定が難しくなる現象を指します。

エルボー法は、クラスタ数（K）を増やしたときのクラスタ内平方和（SSE）の変化をプロットし、改善が鈍化する「肘（エルボー）」に当たる点を目安に最適なKを決定するために用いられます。

適切な初期化（例：Xavier/He初期化）は、勾配の爆発や消失を防ぎ、学習の収束速度や最終的なモデル性能に大きく影響します。

グリッドサーチは、ハイパーパラメータの定義域を格子状に区切り、全ての組み合わせを試す、最も基本的な最適化手法の一つです。

テストデータを訓練に用いると、未知のデータに対する性能を正しく評価できなくなる「データリーケージ」が発生します。

学習データで重みを学習し、検証データでハイパーパラメータを調整し、テストデータは最終的なモデル性能の評価専用とすることが適切な方法です。

収益性（事業性）の検証は、PoCよりも後のPoV（価値実証）や事業化検討フェーズで主に行われます。

再識別が不可能であれば個人情報に該当しない

問16の適合率とかは最後確認した方がよさそう

単回帰分析は、1つの説明変数が11つの目的変数に与える影響度合いを分析する

A. 実際に「陽性」である全データの中で、モデルが正しく陽性と予測できた割合（真陽性 / 実際の陽性の総数）

再現率（Recall）

見逃しが少ないか（実際に陽性であるものをどれだけ多く見つけられたか）を示す指標です。

B. 予測した「陽性」の中で、実際に陽性だった割合（真陽性 / 予測した陽性の総数）

これは適合率（Precision）の定義です。予測の正確さを表します。

予測がどれだけ合っているか。だから分母は予測した数。