R-CNN का उपयोग करके ऑब्जेक्ट डिटेक्शन

PyTorch के साथ इमेज के लिए डीप लर्निंग

Michal Oleszak

Machine Learning Engineer

Region-based CNN परिवार: R-CNN

R-CNN परिवार: R-CNN, Fast-CNN, Faster CNN

R-CNN

मॉड्यूल 1: region proposals का जनरेशन

¹ Citation: Jason Brownlee. 2019. Deep Learning for Computer Vision.

Region-based CNN परिवार: R-CNN

R-CNN परिवार: R-CNN, Fast-CNN, Faster CNN

R-CNN

मॉड्यूल 1: region proposals का जनरेशन
मॉड्यूल 2: फीचर एक्स्ट्रैक्शन (convolutional layers)

¹ Citation: Jason Brownlee. 2019. Deep Learning for Computer Vision.

Region-based CNN परिवार: R-CNN

R-CNN परिवार: R-CNN, Fast-CNN, Faster CNN

R-CNN

मॉड्यूल 1: region proposals का जनरेशन
मॉड्यूल 2: फीचर एक्स्ट्रैक्शन (convolutional layers)
मॉड्यूल 3: class और bounding box prediction

¹ Citation: Jason Brownlee. 2019. Deep Learning for Computer Vision.

R-CNN: backbone

Convolutional layers: pre-trained models
- Backbone: फीचर एक्स्ट्रैक्शन के लिए core CNN आर्किटेक्चर

backbone

Convolutional और pooling layers
Region proposals और object detection के लिए फीचर निकालें

R-CNN: PyTorch के साथ backbone

import torch.nn as nn
from torchvision.models import vgg16,
    VGG16_Weights


vgg = vgg16(weights=VGG16_Weights.DEFAULT)

vgg model

R-CNN: PyTorch के साथ backbone

import torch.nn as nn
from torchvision.models import vgg16,
    VGG16_Weights


vgg = vgg16(weights=VGG16_Weights.DEFAULT)

vgg model features

.features: केवल convolutional layers

R-CNN: PyTorch के साथ backbone

import torch.nn as nn
from torchvision.models import vgg16,
    VGG16_Weights


vgg = vgg16(weights=VGG16_Weights.DEFAULT)

vgg model

.features: केवल convolutional layers
.children(): ब्लॉक की सभी लेयर्स

R-CNN: PyTorch के साथ backbone

import torch.nn as nn
from torchvision.models import vgg16,
    VGG16_Weights


vgg = vgg16(weights=VGG16_Weights.DEFAULT)


backbone = nn.Sequential(
    *list(vgg.features.children())
)

nn.Sequential(*list()): सभी sub-layers को list से sequential ब्लॉक में रखें
- *: list के elements को अनपैक करता है

vgg model

.features: केवल convolutional layers
.children(): ब्लॉक की सभी लेयर्स

R-CNN: classifier लेयर

Backbone का output size निकालें

input_dimension = nn.Sequential(*list(
    vgg_backbone.classifier.children())
)[0].in_features

एक नया classifier बनाएँ

classifier = nn.Sequential(
    nn.Linear(input_dimension, 512),
    nn.ReLU(),
    nn.Linear(512, num_classes),
)

R-CNN: बॉक्स रिग्रेसर लेयर

Backbone के ऊपर बैठता है
4 outputs बॉक्स के 4 coordinates के लिए

box_regressor = nn.Sequential(
    nn.Linear(input_dimension, 32),
    nn.ReLU(),
    nn.Linear(32, 4),
)

सबको मिलाकर: object detection मॉडल

class ObjectDetectorCNN(nn.Module):
    def __init__(self):
        super(ObjectDetectorCNN, self).__init__()

        vgg = vgg16(weights=VGG16_Weights.DEFAULT)
        self.backbone = nn.Sequential(*list(vgg.features.children()))

        input_features = nn.Sequential(*list(vgg.classifier.children()))[0].in_features

        self.classifier = nn.Sequential(
            nn.Linear(input_features, 512),
            nn.ReLU(),
            nn.Linear(512, 2),
        )

        self.box_regressor = nn.Sequential(
            nn.Linear(input_features, 32),
            nn.ReLU(),
            nn.Linear(32, 4),
        )

सबको मिलाकर: object detection मॉडल

class ObjectDetector(nn.Module):
    (...)

    def forward(self, x):

        features = self.backbone(x)

        bboxes = self.regressor(features)
        classes = self.classifier(features)
        return bboxes, classes

ऑब्जेक्ट रिकग्निशन चलाना

इमेज लोड करें और ट्रांसफॉर्म करें
बैच डाइमेंशन जोड़ने के लिए इमेज पर unsqueeze() चलाएँ
इमेज टेन्सर मॉडल को पास करें
मॉडल आउटपुट पर Non-Max Suppression (nms()) चलाएँ
इमेज पर draw_bounding_boxes() लगाएँ

अभ्यास करते हैं!

PyTorch के साथ इमेज के लिए डीप लर्निंग