ML2024

機械学習（2024）

https://images-na.ssl-images-amazon.com/images/I/51CPd2KLm4L._SX342_BO1,204,203,200_.jpg

年明け 2025-01-07, 2025-01-21, まとめ：2025-01-28

https://gyazo.com/601150eb0684645f862de73a81f2c168

https://gyazo.com/58f2ec71e1cb7b2081a1ca99b35ba131

確率分布、確率密度関数、正規分布

python

行列、ベクトル、二次形式、内積、直交行列

https://gyazo.com/ff894fb7efbd399141512c573c1db099

第8章 混合ガウスモデルの最尤推定

https://gyazo.com/89a32a25b7c44cb854079b82325833da

レポート課題2（締切 1/27月） 紹介

https://gyazo.com/326a967c7798fe82d80dc1fe87c560f9

第6章 線形判別分析による手書き文字認識

https://gyazo.com/2133c70bad3bddfa716d7faf0e2c9a9e

https://gyazo.com/6b2fd66d7131abb21cd58a7479fcc573

第4章 線形判別分析

https://gyazo.com/924c04842d46af22c4b99614eea263b0

第4章 最尤推定法

4.2 ガウスモデル

4.3 カテゴリの事後確率

第4章 最尤推定法

code:p57.py

import numpy as np

import matplotlib.pyplot as plt

# 期待値 0， 分散 1 の標準正規分布にしたがう標本を n 個生成．

n = 20

mu = 0.0

sigma = 1.0

xx = sigma*np.random.randn(n) + mu

mu_MLE = np.mean(xx)

sigma_MLE = np.std(xx)

def normal_pdf(x,m,s):

c = 1.0/( np.sqrt(2*np.pi)*s )

retvar = c*np.exp(-0.5*(x-m)*(x-m)/(s*s) )

return retvar

x = np.arange(-4.0, 4.0, 0.1)

y = normal_pdf(x,mu,sigma)

y_MLE = normal_pdf(x,mu_MLE,sigma_MLE)

fig=plt.figure(0)

plt.plot(x, y, color = "red", label="true")

plt.plot(x, y_MLE, color = "blue", label="estimated")

plt.legend(bbox_to_anchor=(0.99, 0.99), loc='upper right', borderaxespad=0, fontsize=14)

plt.title("n={0}".format(n))

plt.xlabel('x')

y = 0*xx

plt.scatter(xx,y, s=30, marker="x", c="blue", alpha=0.5, linewidths=2)

plt.show()

fig.savefig('fig4.3_p57.pdf')

print(mu_MLE, sigma_MLE)

print(mu, sigma)

第3章 3.2 最大事後確率則、3.3 最小誤り識別確率則、3.4 ベイズ決定則、3.5 生成モデルに基づくパターン認識

予定より遅れている。

今後の予定

第9回 2024-12-03 第4章 最尤推定法

第10回 2024-12-10

第11回 2024-12-17

第12回 2024-12-24

第13回 2025-01-07

第14回 2025-01-21 （1-14 は金曜時間割）

https://gyazo.com/b699928ef09219bb52e0f1b56dcf0f5f

https://gyazo.com/95ba798fe1bf84a58026fc3f15619c5c

これならわかる応用数学教室（p.218、金谷健一著）

https://gyazo.com/3708b3a147e6c57fd2134d9581d1fcd6

https://jalammar.github.io/images/numpy/numpy-3d-array-creation.png

応用数学の講義資料：2023.1.21土 13:30〜16:30 工学部 A-116

第11, 12回 主成分分析

演習用リンク（Google Colab）主成分分析

https://gyazo.com/0dfc9cf19418b4f2bde84591a17db4ff

https://gyazo.com/fb59d390af6b6dc407be3638f9c034fc

課題説明

教科書 図3.2 の再構成

用語

正規直交基底

正射影

分散共分散行列

対称行列

正値対称行列

固有値・固有ベクトル

対称行列の固有値・固有ベクトル

直交行列，直交変換 (一般の回転) • 無相関

次元削減

再構成

近似のよさ

漢字や英語の意味などから、科学としての意味を読み取ろうとしてはいけません。

「科学用語は単なる呼び名で、呼び名自体には意味はない」と考えておく方がいい。 「本当はホニャララと呼んでもいいんだけど、かっこいい名前にした」と思っていればいい。

パターン認識とは

与えられたデータ → 表しているものを当てる

code:p42.py

# -*- coding: utf-8 -*-

import numpy as np

import matplotlib.pyplot as plt

import scipy.io

data = scipy.io.loadmat("digit.mat")

type(data) # dict

type(x) # numpy.ndarray

x.shape # (256, 500, 10)

z = x.reshape(d, n*nc)

z.shape # (256, 5000)

# 分散・共分散行列 V の計算

V = np.cov(z)

V.shape # (256, 256)

# 正定値対称行列 V の固有ベクトル・固有値の計算

eigvec.shape # (256, 256)

eigval.shape # (256,)

# ここで固有ベクトルを固有値の大きい順に並べ替える．

eigvec.shape # (256, 256)

e.shape # (256, 2)

X1.shape # (500, 256)

C1 = X1.dot(e) # 第1,2主成分方向の座標，500例．C1は 500x2 行列

X2.shape # (500, 256)

C2 = X2.dot(e) # 第1,2主成分方向の座標，500例．C2は 500x2 行列

C2.shape # (500, 2)

fig = plt.figure()

# fig.patch.set_facecolor(’silver’) # 背景をシルバー

# plt.subplot(1, 5, 1)

# プロット

# 凡例の表示

plt.legend()

# 描画した内容を画面表示

plt.show()

plt.subplot(1, 5, 2)

plt.imshow(img, cmap=plt.cm.gray_r)

plt.subplot(1, 5, 3)

e1.shape # (256,1)

img = np.reshape(e1,(16,16))

plt.imshow(img, cmap=plt.cm.gray_r)

plt.subplot(1, 5, 4)

img = np.reshape(X23,(16,16))

plt.imshow(img, cmap=plt.cm.gray_r)

plt.subplot(1, 5, 5)

s = np.zeros(256)

for i in range(10):

img = np.reshape(s,(16,16))

plt.imshow(img, cmap=plt.cm.gray_r)

# 描画した内容を画面表示

plt.show()

code:show_digits.py

# -*- coding: utf-8 -*-

#

# google colab を使う場合は，下の2行をコメントアウトし．ファイルをアップロード

# from google.colab import files

# f= files.upload()

import numpy as np

import matplotlib.pyplot as plt

import scipy.io

# 手書き数字のデータをロードし、変数digitsに格納

data = scipy.io.loadmat("digit.mat")

# x.shape # (256, 500, 10)

fig = plt.figure()

nx=25

ny=20

# 手書き数字3の画像を縦nx枚，横ny枚ずつ，計 nx*ny 枚描画

for i in range(ny):

for j in range(nx):

plt.subplot(ny, nx, i + ny*j + 1)

plt.axis('off') # 軸は描画しない

plt.imshow(img, cmap=plt.cm.gray_r) # 白黒を反転し描画

plt.savefig('lots_of_3.pdf')

plt.show() # 描画した内容を画面表示

2024-10-22

https://gyazo.com/3ce48a8e3657d57865024b3e5327d17e

https://gyazo.com/10af5e3c644407d1f5d79ab647068e1f

code:g2_pdf.py

import numpy as np

import matplotlib.pyplot as plt

def g2_pdf(x,y,mu,Sigma):

a = 1.0/(2.0*np.pi*np.sqrt(np.linalg.det(Sigma)))

retvar = a*np.exp(-1.0/2.0*(v.T).dot( (np.linalg.inv(Sigma)).dot(v) ))

return retvar

x = np.arange(-3,3,0.1)

y = np.arange(-3,3,0.1)

nx = len(x)

ny = len(y)

z = np.zeros((nx,ny))

for i0 in range(nx):

for i1 in range(ny):

plt.figure(figsize=(3.5,3))

plt.jet()

plt.pcolor(z)

plt.colorbar()

plt.show()

https://gyazo.com/1454b915ee4a10018d1b25c224d88fb9

code:g2_pdf_mesh.py

import numpy as np

import matplotlib.pyplot as plt

from mpl_toolkits.mplot3d import Axes3D

def g2_pdf(x,y,mu,Sigma):

a = 1.0/(2.0*np.pi*np.sqrt(np.linalg.det(Sigma)))

retvar = a*np.exp(-1.0/2.0*(v.T).dot( (np.linalg.inv(Sigma)).dot(v) ))

return retvar

x = np.arange(-5,5,0.2)

y = np.arange(-5,5,0.2)

nx = len(x)

ny = len(y)

z = np.zeros((nx,ny))

for i0 in range(nx):

for i1 in range(ny):

xx,yy = np.meshgrid(x,y)

plt.figure(figsize=(5, 3.5))

ax = plt.subplot(1,1,1, projection='3d')

ax.plot_surface(xx,yy,z,rstride=1,cstride=1,alpha=0.1,color='blue',edgecolor='black')

# ax.set_zticks((0,0.08))

ax.view_init(30,-30)

plt.show()

https://gyazo.com/563349ff28cc9de90cdf4c204c187fc6

演習 2.2

分散共分散行列を変化させると確率密度関数の形がどのように変化するか調べよ。

$ V = \lambda_1 \bm{e}_1\bm{e}_1^\top + \lambda_2 \bm{e}_2\bm{e}_2^\top

行列

$ V \begin{pmatrix} \bm{e}_1 & \bm{e}_2 \end{pmatrix} = \begin{pmatrix} \lambda_1 \bm{e}_1 & \lambda_2 \bm{e}_2 \end{pmatrix}

$ VP = P \Lambda

$ V = P\Lambda P^{-1}

$ V = \begin{pmatrix} \lambda_1 \bm{e}_1 & \lambda_2 \bm{e}_2 \end{pmatrix} \begin{pmatrix} \bm{e}_1^\top\\ \bm{e}_2^\top \end{pmatrix}

$ V = \lambda_1 \bm{e}_1\bm{e}_1^\top + \lambda_2 \bm{e}_2\bm{e}_2^\top

45度方向に傾けたければ、固有ベクトルを、そのように設定すればいい

code:xxx

e1 = e1/np.linalg.norm(e1, ord=2) # 長さを1にする

e2 = A.dot(e1) # e1 を90度回転

lambda1=9

lambda2=1

x = np.arange(-3,3,0.1)

y = np.arange(-3,3,0.1)

nx = len(x)

ny = len(y)

z = np.zeros((nx,ny))

for i0 in range(nx):

for i1 in range(ny):

plt.figure(figsize=(3.5,3))

plt.jet()

plt.pcolor(z)

plt.colorbar()

plt.show()

2024-10-15

行列

https://gyazo.com/8682f42bf6b404ccccc53a72c082bc69

https://gyazo.com/788ebdfd5d05fc8649bf697e8438bdb6

https://gyazo.com/fd81740d003665927f91e61fdc769167

https://gyazo.com/581eaf9d770aae004260e62165e5c12d

https://gyazo.com/6eb8adf4cfbb2a3024a149b1e9e3738e

2024-10-08

https://gyazo.com/db2298dded5a2c29052d02e053b530bc

2024-10-01

シラバスの説明

第1章 パターン認識の基礎

用語

明確には定義できない用語：「機械学習」、「パターン認識」、

「データサイエンス（数理統計学、データに基づく科学的推論の学）」

数学的に記述（定義）できる用語：「平均」、「分散」、「主成分分析」、「最尤法」、「固有ベクトル」、「固有値」

その用語が意味するところは、数式とは別で、自分で考えて納得する

理解の深さ

https://gyazo.com/5f768226d711cca917a03c0387f55611

参考書

https://www.oreilly.co.jp/books/images/picture_large978-4-8144-0059-1.jpeg