マイコン君　Ｅ資格の勉強メモ

（第６回）ＭＮＩＳＴの学習

これまでは、意味のないデータで学習（というか傾きを算出して、その方向にデータを変更するだけ）してきましたが、実際にデータセットを使って学習を行います。機械学習の基本の手書きの数値を学習して判定するＭＮＩＳＴが実行しやすいですので、これを使います。

（参考サイト）https://github.com/oreilly-japan/deep-learning-from-scratch

＜データセット＞

データセットを準備します。機械学習のセミナーを受講すると「機械学習の失敗例」として、流行っているから機械学習を使った。という事が良く挙げられます。機械学習をよく理解せずにデータもないところから機械学習をしても良い結果は得られません。このデータを用意するという事が機械学習で最も重要で、最もコストが掛かる部分だと考えられます。
MNISTは機械学習の入門としてよく使われるもので、そのデータセットを使います。

①ダウンロード
以下の４つをダウンロードします。これがMNISTのデータセットです。
http://yann.lecun.com/exdb/mnist/
train-images-idx3-ubyte.gz
train-labels-idx1-ubyte.gz
t10k-images-idx3-ubyte.gz
t10k-labels-idx1-ubyte.gz

次に下の４つのファイルをダウンロードします。

mnist.py
two_layer_net.py
gradient_2.py
functions.py

次は、メインのプログラムになります。下のプログラムと同じフォルダに上の８個のファイルを保存しておきます。

print('---mnist')
# coding: utf-8
import sys, os
import numpy as np
import matplotlib.pyplot as plt
from mnist import load_mnist
from two_layer_net import TwoLayerNet

# データの読み込み
#---mnist---
(x_train, t_train), (x_test, t_test) = load_mnist(normalize=True, one_hot_label=True)
print(x_train.shape)
print(t_train.shape)
print(x_test.shape)
print(t_test.shape)
#---dummmy---
x_train=np.random.rand(60000,784)#ダミー入力
t_train=np.random.rand(60000,10)#ダミー入力
x_test=np.random.rand(10000,784)#ダミー入力
t_test=np.random.rand(10000,10)#ダミー入力
#----------


network = TwoLayerNet(input_size=784, hidden_size=50, output_size=10)
iters_num = 10000  # 繰り返しの回数を適宜設定する
train_size = x_train.shape[0]
batch_size = 100
learning_rate = 0.1

train_loss_list = []
train_acc_list = []
test_acc_list = []

iter_per_epoch = max(train_size / batch_size, 1)

for i in range(iters_num):
    batch_mask = np.random.choice(train_size, batch_size)
    x_batch = x_train[batch_mask]
    t_batch = t_train[batch_mask]
    
    # 勾配の計算
    #grad = network.numerical_gradient(x_batch, t_batch)#順伝播（遅くて使えない）
    grad = network.gradient(x_batch, t_batch)#誤差逆伝播法
    
    # パラメータの更新
    for key in ('W1', 'b1', 'W2', 'b2'):
        network.params[key] -= learning_rate * grad[key]
    
    loss = network.loss(x_batch, t_batch)
    train_loss_list.append(loss)
    
    if i % iter_per_epoch == 0:
        train_acc = network.accuracy(x_train, t_train)
        test_acc = network.accuracy(x_test, t_test)
        train_acc_list.append(train_acc)
        test_acc_list.append(test_acc)
        print("train acc, test acc | " + str(train_acc) + ", " + str(test_acc))

# グラフの描画
markers = {'train': 'o', 'test': 's'}
x = np.arange(len(train_acc_list))
plt.plot(x, train_acc_list, label='train acc')
plt.plot(x, test_acc_list, label='test acc', linestyle='--')
plt.xlabel("epochs")
plt.ylabel("accuracy")
plt.ylim(0, 1.0)
plt.legend(loc='lower right')
plt.show()

このプログラムを実行すると、最初は、「mnist.pkl」というデータセットのファイルが無いので、最初にダウンロードした４個のファイルを展開して、データセットを作成します。実際には、

---mnist
Converting train-images-idx3-ubyte.gz to NumPy Array ...
Done
Converting train-labels-idx1-ubyte.gz to NumPy Array ...
Done
Converting t10k-images-idx3-ubyte.gz to NumPy Array ...
Done
Converting t10k-labels-idx1-ubyte.gz to NumPy Array ...
Done
Creating pickle file ...
Done!
(60000, 784)
(60000, 10)
(10000, 784)
(10000, 10)
train acc, test acc | 0.10001666666666667, 0.0995
train acc, test acc | 0.1004, 0.0961
train acc, test acc | 0.09893333333333333, 0.103
train acc, test acc | 0.10206666666666667, 0.1046
train acc, test acc | 0.10206666666666667, 0.1046
train acc, test acc | 0.10206666666666667, 0.1046
train acc, test acc | 0.1004, 0.0961
train acc, test acc | 0.1004, 0.0961
train acc, test acc | 0.0993, 0.1029
train acc, test acc | 0.09861666666666667, 0.1012
train acc, test acc | 0.10058333333333333, 0.0986
train acc, test acc | 0.10206666666666667, 0.1046
train acc, test acc | 0.09813333333333334, 0.0968
train acc, test acc | 0.09861666666666667, 0.1012
train acc, test acc | 0.0993, 0.1029
train acc, test acc | 0.10206666666666667, 0.1046
train acc, test acc | 0.1004, 0.0961

このような出力になっていると思います。もし違う出力の場合は上手く動作できていません。上手く動作している場合、これはダミーデータを学習しているため、数値が全く改善されないことがわかると思います。
これが機械学習の失敗例です。ＡＩや機械学習を使えば、簡単に良い結果が得られるという勘違いをして、適当なデータを使って学習をすると、このような結果になります。

プログラムの「#ダミー入力」という行をコメントアウトして実行すると、

---mnist
(60000, 784)
(60000, 10)
(10000, 784)
(10000, 10)
train acc, test acc | 0.09736666666666667, 0.0982
train acc, test acc | 0.79035, 0.7962
train acc, test acc | 0.877, 0.8821
train acc, test acc | 0.8975, 0.9022
train acc, test acc | 0.9080166666666667, 0.91
train acc, test acc | 0.9139, 0.919
train acc, test acc | 0.9195666666666666, 0.9221
train acc, test acc | 0.9232, 0.9259
train acc, test acc | 0.92635, 0.9271
train acc, test acc | 0.93035, 0.9327
train acc, test acc | 0.9337333333333333, 0.9338
train acc, test acc | 0.9363, 0.9361
train acc, test acc | 0.9382333333333334, 0.9383
train acc, test acc | 0.9404666666666667, 0.9407
train acc, test acc | 0.9427166666666666, 0.9424
train acc, test acc | 0.9441333333333334, 0.9447
train acc, test acc | 0.9459833333333333, 0.9467

このような結果が得られます。数値も０から０．９５まで改善していることがわかります。
この結果が「学習済みモデル」という物で、自分が書いた文字を認識することができるようになります。学習の回数などを変えて、正解率をできるだけ高くすることが機械学習の最大のモチベーションと言っても過言ではありません。過学習という問題点はありますが・・・。

－－－－－－－－－－－－－

（第６回）ＭＮＩＳＴの学習

＜データセット＞

機械学習のメモ