Обучение перспетрона

Содержание

Обучение перспетрона#

Обратное распространение ошибки#

Пусть имеем какую-то задачу регрессии. Т.е. какой-то конечный набор \(\left\{\left(x_i, y_i\right)\right\}_{i=1}^N\), функциональную зависимость которого нам надо примерно определить.

Т.к. работаем с нейронными сетями, то и пример будет кондовый, хоть и классический: \(x_i\) - матричка \(28\times28\), которая есть картинка какой-то цифры, а \(y_i\) - это та самая цифра, изображенная на соответсвующей картинке(матрице).

Нужно создать нейронную сеть, обучить её по заданному конечному набору и проверить, что она хорошо справляется с определением цифры по картинке для матричек не из обучающего набора.

Естественно, нам пригодятся все знания из темы регрессия. Т.е. надо определить функцию ошибки Loss, которую мы и хотим минимизировать градиентным спуском по весам модели.

Основная фишка нейронных сетей - это «аля» линейность по весам. Благодаря этому факту можно относительно несложно написать градиент в зависимости от ошибки выхода нейронных сетей - этот алгоритм называется обратное распространение ошибки (backpropagation). Подробнее о нём можно почитать тут: neerc.ifmo.ru/wiki/index.php?title=Обратное_распространение_ошибки

Dropout#

Это такая техника предотвращения переобучения и выучивания обучающей выборки.

Во время обучения случайным образом обнуляются некоторые элементы входного тензора с вероятностью \(p\), все остальные элементы при этом домнажаются на \(\frac{1}{1-p}\).

Это оказалось эффективным методом регуляризации и предотвращения совместной адаптации нейронов, как описано в статье https://arxiv.org/abs/1207.0580

Стохастический градиентный спуск#

Ествественно, надо его вспомнить. Не будем же мы всю обучающую выборку за раз сувать в вычисление градиента?

Напоминаю, что мы «нарезаем» обучающую выборку на батчи размера batch_size, а дальше делаем градиентный спуск только по нарезанным кусочкам поочередно. Как только прошли всё, считаем, что закончилась ЭпОхА.

Распознование рукописных цифр. Датасет MNIST. Реализация на torch#

torch - библиотека для удобного обращения с тензорами и нейросетями в python. Поддерживает GPU. Рекоммендую выполнять дальнейший код на коллабе, если вам жалко 5ГБ.

Загрузка датасета#

# It's better to use google collab for next code.

import torch # 5 GB! Plus we'll need GPU later (probably)
import numpy as np
from sklearn.model_selection import train_test_split

from torchvision import datasets
import torchvision.transforms as transforms

# number of subprocesses to use for data loading
num_workers = 0
# how many samples per batch to load
batch_size = 16

# convert data to torch.FloatTensor
transform = transforms.ToTensor()

# choose the training and test datasets
train_data = datasets.MNIST(root='data', train=True,
                                   download=True, transform=transform)
test_data = datasets.MNIST(root='data', train=False,
                                  download=True, transform=transform)

# prepare data loaders for stochastic gradient descent
train_loader = torch.utils.data.DataLoader(train_data, batch_size=batch_size,
    num_workers=num_workers)
test_loader = torch.utils.data.DataLoader(test_data, batch_size=batch_size, 
    num_workers=num_workers)

Беглый осмотр датасета#

import matplotlib.pyplot as plt
#%matplotlib inline
    
# obtain one batch of training images
dataiter = iter(train_loader)
images, labels = next(dataiter)
images = images.numpy()

# plot the images in the batch, along with the corresponding labels
fig = plt.figure(figsize=(25, 4))
for idx in np.arange(16):
    ax = fig.add_subplot(2, 16//2, idx+1, xticks=[], yticks=[])
    ax.imshow(np.squeeze(images[idx]), cmap='gray')
    # print out the correct label for each image
    # .item() gets the value contained in a Tensor
    ax.set_title(str(labels[idx].item()))

../../_images/ffb7812b02f0ec3296ca42406739503797b8efa73ce4a09344bfc32a515c6121.png

img = np.squeeze(images[1])

fig = plt.figure(figsize = (12,12)) 
ax = fig.add_subplot(111)
ax.imshow(img, cmap='gray')
width, height = img.shape
thresh = img.max()/2.5
for x in range(width):
    for y in range(height):
        val = round(img[x][y],2) if img[x][y] !=0 else 0
        ax.annotate(str(val), xy=(y,x),
                    horizontalalignment='center',
                    verticalalignment='center',
                    color='white' if img[x][y]<thresh else 'black')

../../_images/9fe4e06d4580633a748405b09ce81b7b7d00519e4bb54c5fcb19e8d4f58586ab.png

Определение модели#

import torch.nn as nn
import torch.nn.functional as F

## TODO: Define the NN architecture
class Net(nn.Module):
    def __init__(self):
        super(Net, self).__init__()
        # linear layer (784 -> 1 hidden node)
        self.fc1 = nn.Linear(28 * 28, 512)
        self.fc2 = nn.Linear(512, 512)
        self.fc3 = nn.Linear(512, 10)
        self.dropout = nn.Dropout(p=0.2) # google it

    def forward(self, x):
        # flatten image input
        x = x.view(-1, 28 * 28)
        # add hidden layer, with relu activation function
        x = self.dropout(F.relu(self.fc1(x)))
        x = self.dropout(F.relu(self.fc2(x)))
        x = self.fc3(x)
        return x

# initialize the NN
model = Net()
print(model)

Net(
  (fc1): Linear(in_features=784, out_features=512, bias=True)
  (fc2): Linear(in_features=512, out_features=512, bias=True)
  (fc3): Linear(in_features=512, out_features=10, bias=True)
  (dropout): Dropout(p=0.2, inplace=False)
)