マイコン君　Ｅ資格の勉強メモ

（第２回）活性化関数について

入力された信号の総和を出力信号に変換する関数を活性化関数といいます。式で表すと

ａ＝ｂ＋ｗ₁ｘ₁＋ｗ₂ｘ₂

y=h(a)

図で表すと以下のような形になります。

バイアス「ｂ」と重み「ｗ」の総和が「ａ」となりますが、その「ａ」をどのように出力するかを決める関数が「活性化関数」と言います。活性化関数にはいくつかありますが、「ステップ関数」「シグモイド関数」「ＲｅＬＵ関数」「ソフトマックス関数」についてまとめます。

＜ステップ関数＞

ステップ関数は、０か１を出力します。ｉｆ文を使った判定式で「Ｔｒｕｅ」ｏｒ「Ｆａｌｓｅ」という感じです。xの数値が０を超えた瞬間にｙが１になるという関数です。

print('ステップ関数')
import numpy as np
import matplotlib.pyplot as plt

def step_function(x):
    return np.array(x>0,dtype=np.int64)

x=np.arange(-5,5,0.1)
y=step_function(x)
plt.plot(x,y)
plt.ylim(-0.1,1.1)#Ｙ軸指定
plt.show()

＜シグモイド関数＞

ステップ関数との違いは、「曲線」という点です。０～１の出力されるという点は同じですが滑らかに出力されます。

print('シグモイド関数')
import numpy as np
import matplotlib.pyplot as plt

def sigmoid(x):
    return 1/(1+np.exp(-x))

x=np.arange(-5,5,0.1)
y=sigmoid(x)

plt.plot(x,y)
plt.ylim(-0.1,1.1)#Ｙ軸指定
plt.show()

＜ＲｅＬＵ関数＞

活性化関数では、層を深くする意味がなくなってしまうため、線形関数は使いません。ステップ関数やシグモイド関数も線形ではありません。しかしグラフのとおり、半分線形になっている関数があります。ReLU関数は０までは０を出力し、０より大きい場合は、入力の総和をそのまま出力します。０を超えると線形になる関数です。
英語「ReLU： Rectified Linear Unit」を訳すと、「整流器（rectifier）」。電気工学では整流された線形ユニットとなり、「電流を一方向にだけ流す（＝整流）機器」を指、「正の値だけを流し、負の値は流さないようにしている」ことを意味しているとのこと。

print('ＲｅＬＵ関数')
import numpy as np
import matplotlib.pyplot as plt

def relu(x):
    return np.maximum(0,x)#入力された物で大きい方を出力する

x=np.arange(-5,5,0.1)
y=relu(x)

plt.plot(x,y)
plt.ylim(-0.1,5.5)#Ｙ軸指定
plt.show()

＜ソフトマックス関数＞

いままでの活性化関数は、１つの入力の総和だけで判断されていましたが、ソフトマックス関数は各入力の総和が影響します。複数の入力の総和が、合計１の出力になります。
たとえば、３個の入力の総和が、［１，０，０」の場合、［０．５７６，０．２１２，０．２１２］と合計が１になるように出力されます。
グラフはｘ０が－０．５，－２．５，０．０，２．５，５．０の５個のソフトマックス関数のグラフになります。グラフのｘ軸とｘ０の２個の入力に対して、出力がどのように変化するのかが表示されます。

print('ソフトマックス関数')
import numpy as np
import matplotlib.pyplot as plt

def softmax(x):
    x = x - np.max(x, axis=-1, keepdims=True)   # オーバーフロー対策
    return np.exp(x) / np.sum(np.exp(x), axis=-1, keepdims=True)
#［１，０，０］のソフトマックス関数
x = np.array([1,0,0]) 
y = softmax(x)#［０．５７６，０．２１２，０．２１２］出力される
print(y)
#ソフトマックス関数のグラフ作成
x_list=[5,2.5,0,-2.5,-5]
x_axis=np.arange(-15,15,0.1)
for X0_ in x_list:
    #np.repeat(x_value, len(x_axis))
    #x_valueをlen(x_axis)個並べる
    x_temp = np.array([np.repeat(X0_, len(x_axis)),x_axis]).T
    tmp_y_vals = softmax(x_temp)#X0_ vs x_temp の入力のソフトマックスの出力を計算
    #np.array(tmp_y_vals[:, 1])→x_temp側の出力を抜き出す
    tmp_y1_vals = np.array(tmp_y_vals[:, 1]).flatten()
    plt.plot(x_axis,tmp_y1_vals,label='x0_' + str(X0_))#グラフを描画
plt.legend()
plt.show()

横軸ｘ＝０の時、ｘ０＝０の場合は、０．５が出力されていますが、ｘ０＝５では０（ｘ０側は１）、ｘ０＝－５では１（ｘ０側は０）が出力されます。このように、ほかの入力によって変化します。

ほかにも色々な活性化関数がありますが、入力信号どどのように発火させるか？を決定する役割があるのが活性化関数です。

－－－－－－－－－－－－－

（第２回）活性化関数について

＜ステップ関数＞

＜シグモイド関数＞

＜ＲｅＬＵ関数＞

＜ソフトマックス関数＞

機械学習のメモ