マイコン君　機械学習のメモ

（第４回）１ケタの足し算を機械学習で計算

１ケタの足し算は、暗算でもできますが、機械学習で実行すると、機械学習の理解が深まると思いますのでやってみたいと思います。

まずは、どのようにするか？ですが、数値で足し算をするためにどのように教師データをつくるか？を検討しました。
確実に学習させるため、入力を『０～９』＋『０～９』とし、出力を『０～１８』とします。つまり、入力に２０個の箱と、出力に１９個の箱があれば良いことになります。実際は、出力は２０個にします。
そこで、入力と出力の次元数を２０にし、第１層・第２層の次元数を１００にして、モデルを作ることにします。

モデルの構造

＜構造＞

以下の構造のニューラルネットワークの構造で、入力と出力に箱を２０個づつ用意するので、次元数は２０個にします。第１層と第２層は、１００次元にしました。

０.学習データの準備

エクセルで学習用のデータを作ります。１ケタの足し算をさせます。入力（２つの数字）と出力（答え）のそれぞれを箱に入れるイメージです。
以下の図で計算をさせていますが、それぞれの数値を箱にいれるための元データですが、機械学習には使いません。入力用の２０個の箱の前半が１つめの数値後半の１０個が２つめの数値になります。
出力用の２０個の数値は、０～１８＝１９個で、その場所の箱の数値を１にします。２０個目の箱は１になりません。
入力・出力の両方とも、数値は０が１番目、１が２番目というように順番に入れます。

エクセルのデータは７万行準備します。最初の６万行は、学習用。残りの１万行は、評価用となります。
入力用と出力用はデータを分けて、それぞれをファイルにします

学習用ファイル(Pythonの圧縮ZIPにも含まれています)

xtrain.csv・・・・入力側の教師データ　６万

xtest.csv・・・・・入力側の評価用データ　１万

ttrain.csv・・・・出力側の教師データ　６万

ttest.csv・・・・・出力側の評価用データ　１万

１．Pytｈｏｎで学習する

準備したデータをＰｙｔｈｏｎで学習をします。
学習は上記のCSVを読み込んで、学習させます。モデルのパラメーターは次のとおりです

#モデル作成とパラメータ設定

network = TwoLayerNet(input_size=20, hidden_size=100, output_size=20)

iters_num = 10000 # 繰り返しの回数を適宜設定する

train_size = x_train_data.shape[0]

batch_size = 100

learning_rate = 0.5

学習データはファイルに出力させて、再利用が可能にします。
学習を実行すると４つのファイルが出力されるのですが、１層目のｗとｂ、２層目のｗとｂとなっています。
学習はすぐ終わります。

「Data_Import.py」

import pandas as pd
import sys, os
import numpy as np
#import matplotlib.pyplot as plt
from two_layer_net import TwoLayerNet
import pickle

#CSVを読み込む
x_train = pd.read_csv("xtrain.csv")
header = x_train.columns.values
x_train_data = x_train.values
print(header)
print(x_train_data)
print(x_train.shape)

t_train = pd.read_csv("ttrain.csv")
header = t_train.columns.values
t_train_data = t_train.values
print(header)
print(t_train_data)
print(t_train.shape)

x_test = pd.read_csv("xtest.csv")
header = x_test.columns.values
x_test_data = x_test.values
print(header)
print(x_test_data)
print(x_test.shape)

t_test = pd.read_csv("ttest.csv")
header = t_test.columns.values
t_test_data = t_test.values
print(header)
print(t_test_data)
print(t_test.shape)

#モデル作成とパラメータ設定
network = TwoLayerNet(input_size=20, hidden_size=100, output_size=20)

iters_num = 10000 # 繰り返しの回数を適宜設定する
train_size = x_train_data.shape[0]
batch_size = 100
learning_rate = 0.5

train_loss_list = []
train_acc_list = []
test_acc_list = []

iter_per_epoch = max(train_size / batch_size, 1)

_batch = x_train_data[0]

#学習部分
for i in range(iters_num):
    batch_mask = np.random.choice(train_size, batch_size)
    x_batch = x_train_data[batch_mask]
    t_batch = t_train_data[batch_mask]
    
    # 勾配
    #grad = network.numerical_gradient(x_batch, t_batch)
    grad = network.gradient(x_batch, t_batch)
    
    # 更新
    for key in ('W1', 'b1', 'W2', 'b2'):
        network.params[key] -= learning_rate * grad[key]
    
    loss = network.loss(x_batch, t_batch)
    train_loss_list.append(loss)
    
    if i % iter_per_epoch == 0:
        train_acc = network.accuracy(x_train_data, t_train_data)
        test_acc = network.accuracy(x_test_data, t_test_data)
        train_acc_list.append(train_acc)
        test_acc_list.append(test_acc)
        print(train_acc, test_acc)

#モデルを保存（ファイルにする）
techacademy = network.params['W1']
with open('My_w1.pkl', 'wb') as pikle_w1:
  pickle.dump(techacademy , pikle_w1)
  
techacademy = network.params['W2']
with open('My_w2.pkl', 'wb') as pikle_w2:
  pickle.dump(techacademy , pikle_w2)
  
techacademy = network.params['b1']
with open('My_b1.pkl', 'wb') as pikle_b1:
  pickle.dump(techacademy , pikle_b1)
  
techacademy = network.params['b2']
with open('My_b2.pkl', 'wb') as pikle_b2:
  pickle.dump(techacademy , pikle_b2)

２．Pytｈｏｎで学習データを使って計算をする

学習データは４つのファイルになっているので、それを読み込んで計算させます。
計算するときは、入力の箱に２つの数値と一致する箇所を１にします
例えば、次のように２＋１の場合ですが、

# < Number1 >< Number2 >

# [0,1,2,3,4,5,6,7,8,9,0,1,2,3,4,5,6,7,8,9])

myimg_array=np.array([0,0,1,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0])

とします。
以下を実行することで計算が開始され。一番最後に『３』と表示されますが、２＋１＝３という意味になります。

「CheckAns2.py」

# coding: utf-8
import sys, os
import pickle
import numpy as np
import numpy
from layers import *
from PIL import Image
import matplotlib.pyplot as plt
from collections import OrderedDict
import pandas as pd


class TwoLayerNet2:

    def __init__(self, w1,b1,w2,b2):
        # 重みの初期化
        self.params = {}
        self.params['W1'] = w1
        self.params['b1'] = b1
        self.params['W2'] = w2
        self.params['b2'] = b2
        
    def predict(self, x):
        W1, W2 = self.params['W1'], self.params['W2']
        b1, b2 = self.params['b1'], self.params['b2']
    
        a1 = np.dot(x, W1) + b1
        z1 = sigmoid(a1)
        a2 = np.dot(z1, W2) + b2
        y = softmax(a2)
        
        return y
        
    # x:入力データ, t:教師データ
    def loss(self, x, t):
        y = self.predict(x)
        
        return cross_entropy_error(y, t)


#モデルを読みだす
with open('My_w1.pkl', 'rb') as  pikle_w1:
  My_w1 = pickle.load( pikle_w1)
with open('My_b1.pkl', 'rb') as  pikle_b1:
  My_b1 = pickle.load( pikle_b1)
with open('My_w2.pkl', 'rb') as  pikle_w2:
  My_w2 = pickle.load( pikle_w2)
with open('My_b2.pkl', 'rb') as  pikle_b2:
  My_b2 = pickle.load( pikle_b2)
network2 = TwoLayerNet2(My_w1,My_b1,My_w2,My_b2)
print(My_w1.shape)
print(My_b1.shape)
print(My_w2.shape)
print(My_b2.shape)

#これを有効にするとモデルがCSVで出力できる
#df = pd.DataFrame(My_w1)
#df.to_csv('myfile.csv')

#                    <      Number1     ><     Number2       > 
#                    [0,1,2,3,4,5,6,7,8,9,0,1,2,3,4,5,6,7,8,9])
myimg_array=np.array([0,0,1,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0])

myimg_array=np.array(myimg_array.flatten())

myimg_array=myimg_array.reshape(1,20)
print(myimg_array.shape)
y = network2.predict(myimg_array)
print(y)
p=np.argmax(y)
print(p)

計算した結果は、以下の図のとおりです。一番大きい数値「8.31325366e-01」が４番目にないます。これは、「３」を意味します。

Pytonファイル

この一連のファイルは以下のリンクにあります。ダウンロードして、『学習』→『計算』をさせると正しいことがよくわかります。
１ケタの足し算という簡単な計算ですが、機械学習をさせてみると大変なことがわかります。
学習させるデータの数を減らすと、少しずつ特徴がなくなっていき、最後には、正解ができなくなります。
10,000～1,000の学習回数にすると1,000は答えが「４」になります。仕事で『機械学習やる！』という意気込みだけで、データを揃えないで学習回数を減らして機械学習すると間違える良い例だと思います。
子供に勉強を教えるとき、たくさん繰り返す（学習する量が多い）＝テストの点数がよくなるが、機械学習でも言えるのでしょうね・・・。

以下のファイルをダウンロードしてマクロを有効にすると確認できます。
Python.zip
*)保存して解凍して実行してください

－－－－－－－－－－－－－