Detectarea obiectelor cu R-CNN

Deep Learning pentru imagini cu PyTorch

Michal Oleszak

Machine Learning Engineer

Familia CNN bazată pe regiuni: R-CNN

Familia R-CNN: R-CNN, Fast-CNN, Faster CNN

R-CNN

Modulul 1: generarea propunerilor de regiuni

¹ Citation: Jason Brownlee. 2019. Deep Learning for Computer Vision.

Familia CNN bazată pe regiuni: R-CNN

Familia R-CNN: R-CNN, Fast-CNN, Faster CNN

R-CNN

Modulul 1: generarea propunerilor de regiuni
Modulul 2: extragerea caracteristicilor (straturi convoluționale)

¹ Citation: Jason Brownlee. 2019. Deep Learning for Computer Vision.

Familia CNN bazată pe regiuni: R-CNN

Familia R-CNN: R-CNN, Fast-CNN, Faster CNN

R-CNN

Modulul 1: generarea propunerilor de regiuni
Modulul 2: extragerea caracteristicilor (straturi convoluționale)
Modulul 3: predicția clasei și a cadrului de delimitare

¹ Citation: Jason Brownlee. 2019. Deep Learning for Computer Vision.

R-CNN: backbone

Straturi convoluționale: modele pre-antrenate
- Backbone: arhitectura CNN principală pentru extragerea caracteristicilor

backbone

Straturi convoluționale și de pooling
Extrag caracteristici pentru propuneri de regiuni și detectare obiecte

R-CNN: backbone cu PyTorch

import torch.nn as nn
from torchvision.models import vgg16,
    VGG16_Weights


vgg = vgg16(weights=VGG16_Weights.DEFAULT)

model vgg

R-CNN: backbone cu PyTorch

import torch.nn as nn
from torchvision.models import vgg16,
    VGG16_Weights


vgg = vgg16(weights=VGG16_Weights.DEFAULT)

caracteristici model vgg

.features: doar straturi convoluționale

R-CNN: backbone cu PyTorch

import torch.nn as nn
from torchvision.models import vgg16,
    VGG16_Weights


vgg = vgg16(weights=VGG16_Weights.DEFAULT)

model vgg

.features: doar straturi convoluționale
.children(): toate straturile din bloc

R-CNN: backbone cu PyTorch

import torch.nn as nn
from torchvision.models import vgg16,
    VGG16_Weights


vgg = vgg16(weights=VGG16_Weights.DEFAULT)


backbone = nn.Sequential(
    *list(vgg.features.children())
)

nn.Sequential(*list()): toate sub-straturile sunt plasate într-un bloc secvențial ca listă
- *: despachează elementele din listă

model vgg

.features: doar straturi convoluționale
.children(): toate straturile din bloc

R-CNN: stratul clasificator

Extragerea dimensiunii de ieșire a backbone-ului

input_dimension = nn.Sequential(*list(
    vgg_backbone.classifier.children())
)[0].in_features

Crearea unui clasificator nou

classifier = nn.Sequential(
    nn.Linear(input_dimension, 512),
    nn.ReLU(),
    nn.Linear(512, num_classes),
)

R-CNN: stratul de regresie a cadrelor

Plasat deasupra backbone-ului
4 ieșiri pentru cele 4 coordonate ale cadrului

box_regressor = nn.Sequential(
    nn.Linear(input_dimension, 32),
    nn.ReLU(),
    nn.Linear(32, 4),
)

Asamblare completă: modelul de detectare a obiectelor

class ObjectDetectorCNN(nn.Module):
    def __init__(self):
        super(ObjectDetectorCNN, self).__init__()

        vgg = vgg16(weights=VGG16_Weights.DEFAULT)
        self.backbone = nn.Sequential(*list(vgg.features.children()))

        input_features = nn.Sequential(*list(vgg.classifier.children()))[0].in_features

        self.classifier = nn.Sequential(
            nn.Linear(input_features, 512),
            nn.ReLU(),
            nn.Linear(512, 2),
        )

        self.box_regressor = nn.Sequential(
            nn.Linear(input_features, 32),
            nn.ReLU(),
            nn.Linear(32, 4),
        )

Asamblare completă: modelul de detectare a obiectelor

class ObjectDetector(nn.Module):
    (...)

    def forward(self, x):

        features = self.backbone(x)

        bboxes = self.regressor(features)
        classes = self.classifier(features)
        return bboxes, classes

Rularea recunoașterii obiectelor

Încărcarea și transformarea imaginii
unsqueeze() pentru a adăuga dimensiunea batch
Transmiterea tensorului imaginii modelului
Aplicarea Non-Max Suppression (nms()) asupra ieșirii modelului
draw_bounding_boxes() peste imagine

Să exersăm!

Deep Learning pentru imagini cu PyTorch