活性化関数：ReLU関数 - takalab-lecture-ICP

活性化関数：ReLU関数

活性化関数としてよく利用されるReLU関数の使い方を確認する。

まず、ReLU関数【torch】を参照して、基本的な使い方を理解すること。

code:relu1.py

import torch as pt

import torch.nn as nn

relu = nn.ReLU()

X = pt.tensor(0, -2, 2, dtype=pt.float)

y = relu(X)

print(y)

バッチ型のデータが入力された場合の例

code:relu2.py

import torch as pt

import torch.nn as nn

relu = nn.ReLU()

X = pt.tensor(1, -2, 2], [0, -1, 2, dtype=pt.float) # (1) ２件分のデータ

y = relu(X)

print(y)

$ (-10, 10)の区間における入出力関係をグラフ化した例。

code:relu3.py

import torch as pt

import torch.nn as nn

import matplotlib.pyplot as plt

relu = nn.ReLU()

X = pt.linspace(-10, 10, 30)

y = relu(X)

plt.grid()

plt.plot(X, y)

plt.show()

/icons/hr.icon

※ ブラウザのバックボタンで戻る

https://scrapbox.io/files/64ffd1a8faee78001bdc9d70.png