Виявлення об'єктів за допомогою R-CNN

Глибоке навчання для зображень із PyTorch

Michal Oleszak

Machine Learning Engineer

Region-based CNN family: R-CNN

Сімейство R-CNN: R-CNN, Fast-CNN, Faster CNN

R-CNN

Модуль 1: генерація регіон-предложень

¹ Посилання: Jason Brownlee. 2019. Deep Learning for Computer Vision.

Region-based CNN family: R-CNN

Сімейство R-CNN: R-CNN, Fast-CNN, Faster CNN

R-CNN

Модуль 1: генерація регіон-предложень
Модуль 2: добування ознак (згорткові шари)

¹ Посилання: Jason Brownlee. 2019. Deep Learning for Computer Vision.

Region-based CNN family: R-CNN

Сімейство R-CNN: R-CNN, Fast-CNN, Faster CNN

R-CNN

Модуль 1: генерація регіон-предложень
Модуль 2: добування ознак (згорткові шари)
Модуль 3: передбачення класу та обмежувальної рамки

¹ Посилання: Jason Brownlee. 2019. Deep Learning for Computer Vision.

R-CNN: backbone

Згорткові шари: попередньо натреновані моделі
- Backbone: основна архітектура CNN, що відповідає за добування ознак

backbone

Згорткові та пулінгові шари
Добуває ознаки для регіон-предложень і виявлення об'єктів

R-CNN: backbone з PyTorch

import torch.nn as nn
from torchvision.models import vgg16,
    VGG16_Weights


vgg = vgg16(weights=VGG16_Weights.DEFAULT)

vgg model

R-CNN: backbone з PyTorch

import torch.nn as nn
from torchvision.models import vgg16,
    VGG16_Weights


vgg = vgg16(weights=VGG16_Weights.DEFAULT)

vgg model features

.features: лише згорткові шари

R-CNN: backbone з PyTorch

import torch.nn as nn
from torchvision.models import vgg16,
    VGG16_Weights


vgg = vgg16(weights=VGG16_Weights.DEFAULT)

vgg model

.features: лише згорткові шари
.children(): усі шари блоку

R-CNN: backbone з PyTorch

import torch.nn as nn
from torchvision.models import vgg16,
    VGG16_Weights


vgg = vgg16(weights=VGG16_Weights.DEFAULT)


backbone = nn.Sequential(
    *list(vgg.features.children())
)

nn.Sequential(*list()): усі підшари розміщені послідовно як список
- *: розпаковує елементи зі списку

vgg model

.features: лише згорткові шари
.children(): усі шари блоку

R-CNN: шар класифікатора

Отримайте розмір виходу backbone

input_dimension = nn.Sequential(*list(
    vgg_backbone.classifier.children())
)[0].in_features

Створіть новий класифікатор

classifier = nn.Sequential(
    nn.Linear(input_dimension, 512),
    nn.ReLU(),
    nn.Linear(512, num_classes),
)

R-CNN: шар регресора рамки

Розміщується над backbone
4 виходи для 4 координат рамки

box_regressor = nn.Sequential(
    nn.Linear(input_dimension, 32),
    nn.ReLU(),
    nn.Linear(32, 4),
)

Об'єднуємо все: модель виявлення об'єктів

class ObjectDetectorCNN(nn.Module):
    def __init__(self):
        super(ObjectDetectorCNN, self).__init__()

        vgg = vgg16(weights=VGG16_Weights.DEFAULT)
        self.backbone = nn.Sequential(*list(vgg.features.children()))

        input_features = nn.Sequential(*list(vgg.classifier.children()))[0].in_features

        self.classifier = nn.Sequential(
            nn.Linear(input_features, 512),
            nn.ReLU(),
            nn.Linear(512, 2),
        )

        self.box_regressor = nn.Sequential(
            nn.Linear(input_features, 32),
            nn.ReLU(),
            nn.Linear(32, 4),
        )

Об'єднуємо все: модель виявлення об'єктів

class ObjectDetector(nn.Module):
    (...)

    def forward(self, x):

        features = self.backbone(x)

        bboxes = self.regressor(features)
        classes = self.classifier(features)
        return bboxes, classes

Запуск розпізнавання об'єктів

Завантажте та перетворіть зображення
Застосуйте unsqueeze() для додавання розміру батчу
Передайте тензор зображення до моделі
Запустіть Non-Max Suppression (nms()) на виході моделі
Викличте draw_bounding_boxes() поверх зображення

Давайте потренуємось!

Глибоке навчання для зображень із PyTorch