U-Net ile anlamsal segmentasyon

PyTorch ile Görüntüler için Deep Learning

Michal Oleszak

Machine Learning Engineer

Anlamsal segmentasyon

Aynı sınıfın farklı örnekleri arasında ayrım yoktur
Tıbbi veya uydu görüntüleme için kullanışlıdır
Yaygın mimari: U-Net

U-Net mimarisi

U-Net mimarisi diyagramı

Encoder:

Evrişim ve havuzlama katmanları
Aşağı örnekleme: derinliği artırırken uzamsal boyutları küçültür

U-Net mimarisi

U-Net mimarisi diyagramı

Decoder:

Encoder'a simetriktir
Özellik haritalarını transpoze evrişimlerle yukarı örnekler

U-Net mimarisi

U-Net mimarisi diyagramı

Atlama bağlantıları:

Encoder'dan decoder'a bağlantılar
Aşağı örneklemede kaybolan detayları korur

Transpoze evrişim

Transpoze evrişim diyagramı

Decoder'da özellik haritalarını yukarı örnekler: yükseklik ve genişliği artırırken derinliği azaltır
Transpoze evrişim süreci:
1. Girdi özellik haritası arasına/çevresine sıfırlar ekleyin
2. Sıfır dolgulu girdi üzerinde normal evrişim uygulayın

PyTorch'ta transpoze evrişim

import torch.nn as nn

upsample = nn.ConvTranspose2d(
    in_channels=in_channels,
    out_channels=out_channels,
    kernel_size=2,
    stride=2,
)

U-Net: katman tanımları

class UNet(nn.Module):
    def __init__(self, in_channels, out_channels):
        super(UNet, self).__init__()


        self.enc1 = self.conv_block(in_channels, 64)
        self.enc2 = self.conv_block(64, 128)
        self.enc3 = self.conv_block(128, 256)
        self.enc4 = self.conv_block(256, 512)
        self.pool = nn.MaxPool2d(kernel_size=2, stride=2)


        self.upconv3 = nn.ConvTranspose2d(512, 256,
                                          kernel_size=2, stride=2)
        self.upconv2 = nn.ConvTranspose2d(256, 128,
                                          kernel_size=2, stride=2)
        self.upconv1 = nn.ConvTranspose2d(128, 64,
                                          kernel_size=2, stride=2)


        self.dec1 = self.conv_block(512, 256)
        self.dec2 = self.conv_block(256, 128)
        self.dec3 = self.conv_block(128, 64)
        self.out = nn.Conv2d(64, out_channels, kernel_size=1)

Encoder:

Evrişim blokları

def conv_block(self, in_channels, out_channels):
return nn.Sequential(
  nn.Conv2d(in_channels, out_channels),
  nn.ReLU(inplace=True),
  nn.Conv2d(out_channels, out_channels),
  nn.ReLU(inplace=True)
)

Havuzlama katmanı

Decoder:
- Transpoze evrişimler
- Evrişim blokları

U-Net: forward metodu

def forward(self, x):

    x1 = self.enc1(x)
    x2 = self.enc2(self.pool(x1))
    x3 = self.enc3(self.pool(x2))
    x4 = self.enc4(self.pool(x3))


    x = self.upconv3(x4)

    x = torch.cat([x, x3], dim=1)

    x = self.dec1(x)


    x = self.upconv2(x)
    x = torch.cat([x, x2], dim=1)
    x = self.dec2(x)

    x = self.upconv1(x)
    x = torch.cat([x, x1], dim=1)
    x = self.dec3(x)


    return self.out(x)

Girdiyi encoder'ın evrişim blokları ve havuzlama katmanlarından geçirin
Decoder ve atlama bağlantıları:
- Kodlanmış girdiyi transpoze evrişimden geçirin
- Karşılık gelen encoder çıktısıyla birleştirin
- Evrişim bloğundan geçirin
- Tüm decoder adımları için tekrarlayın
Son decoder adımının çıktısını döndürün

Çıkarım çalıştırma

model = UNet()
model.eval()


image = Image.open("car.jpg")
transform = transforms.Compose([transforms.ToTensor()])
image_tensor = transform(image).unsqueeze(0)


with torch.no_grad():
    prediction = model(image_tensor).squeeze(0)


plt.imshow(prediction[1, :, :])
plt.show()

Orijinal araba görseli

Anlamsal maske araba görseli üzerine bindirilmiş

Haydi pratik yapalım!

PyTorch ile Görüntüler için Deep Learning