Скрытые слои и параметры

Введение в глубокое обучение с PyTorch

Jasmin Ludolf

Senior Data Science Content Developer, DataCamp

Стек слоёв с nn.Sequential()

# Create network with three linear layers
model = nn.Sequential(

    nn.Linear(n_features, 8),

    nn.Linear(8, 4),
    nn.Linear(4, n_classes)

)

Входные данные проходят через линейные слои
Слои внутри nn.Sequential() являются скрытыми

Стек слоёв с nn.Sequential()

# Create network with three linear layers
model = nn.Sequential(
    nn.Linear(n_features, 8), # n_features represents number of input features
    nn.Linear(8, 4),
    nn.Linear(4, n_classes) # n_classes represents the number of output classes  
)

Входные данные проходят через линейные слои
Слои внутри nn.Sequential() являются скрытыми
n_features и n_classes определяются набором данных

Добавление слоёв

Иллюстрация нейронной сети с двумя скрытыми слоями

Добавление слоёв

Иллюстрация нейронной сети с четырьмя скрытыми слоями

Добавление слоёв

Иллюстрация нейронной сети с четырьмя скрытыми слоями

Добавление слоёв

Иллюстрация нейронной сети с четырьмя скрытыми слоями

Добавление слоёв

# Create network with three linear layers
model = nn.Sequential(
    nn.Linear(10, 18),
    nn.Linear(18, 20),
    nn.Linear(20, 5)
)

Добавление слоёв

# Create network with three linear layers
model = nn.Sequential(
    nn.Linear(10, 18), # Takes 10 features and outputs 18
    nn.Linear(18, 20),
    nn.Linear(20, 5)
)

Вход 10 ➡ выход 18 ➡ выход 20 ➡ Выход 5

Добавление слоёв

# Create network with three linear layers
model = nn.Sequential(
    nn.Linear(10, 18),
    nn.Linear(18, 20), # Takes 18 and outputs 20
    nn.Linear(20, 5)
)

Вход 10 ➡ выход 18 ➡ выход 20 ➡ Выход 5

Добавление слоёв

# Create network with three linear layers
model = nn.Sequential(
    nn.Linear(10, 18),
    nn.Linear(18, 20),
    nn.Linear(20, 5) # Takes 20 and outputs 5
)

Вход 10 ➡ выход 18 ➡ выход 20 ➡ Выход 5

Слои состоят из нейронов

Полносвязный — каждый нейрон связан со всеми нейронами предыдущего слоя

Иллюстрация входного и выходного слоёв со стрелками, соединяющими слои

Слои состоят из нейронов

Полносвязный — каждый нейрон связан со всеми нейронами предыдущего слоя

Нейрон в линейном слое:

Иллюстрация входного и выходного слоёв со стрелками и выделенным кружком вокруг одного выходного нейрона

Слои состоят из нейронов

Полносвязный — каждый нейрон связан со всеми нейронами предыдущего слоя

Нейрон в линейном слое:
- Выполняет линейную операцию, используя все нейроны предыдущего слоя

Иллюстрация входного и выходного слоёв со стрелками, выделенным нейроном и подсвеченными связями

Слои состоят из нейронов

Полносвязный — каждый нейрон связан со всеми нейронами предыдущего слоя

Нейрон в линейном слое:
- Выполняет линейную операцию, используя все нейроны предыдущего слоя
- Имеет N+1 параметров: N от входов и 1 для смещения

N+1