Segmentacja panoptyczna

Głębokie uczenie dla obrazów z PyTorch

Michal Oleszak

Machine Learning Engineer

Wyzwanie segmentacji panoptycznej

Obraz oryginalny

Segmentacja semantyczna

Segmentacja instancyjna

Segmentacja panoptyczna

Przepływ pracy segmentacji panoptycznej

Łączenie segmentacji semantycznej i instancyjnej może być złożone:
- Nakładanie się regionów
- Zapewnienie unikalnych ID instancji
Nasz przepływ pracy:
1. Generowanie masek semantycznych
2. Połączenie ich w jedną maskę
3. Inicjalizacja maski panoptycznej jako maski semantycznej
4. Generowanie masek instancji
5. Iteracja po maskach instancji i nakładanie wykrytych obiektów na maskę semantyczną

Maski semantyczne

model = UNet()

with torch.no_grad():
    semantic_masks = model(image_tensor) 
    print(semantic_masks.shape)

torch.Size([1, 3, 427, 640])

semantic_mask = torch.argmax(
  semantic_masks, dim=1
)

Inicjalizacja modelu
Generowanie masek semantycznych dla obrazu wejściowego
Wybór klasy o najwyższym prawdopodobieństwie dla każdego piksela

Maska semantyczna

Maski instancji

model = MaskRCNN()


with torch.no_grad():
    instance_masks = model(image_tensor)[0]["masks"]
    print(instance_masks.shape)

torch.Size([80, 1, 427, 640])

Wczytanie modelu segmentacji instancyjnej
Generowanie masek instancji

Maska instancji

Maski panoptyczne

panoptic_mask = torch.clone(semantic_mask)


instance_id = 3
for mask in instance_masks:

    panoptic_mask[mask > 0.5] = instance_id

    instance_id += 1

Inicjalizacja maski panoptycznej jako semantic_mask
Iteracja po maskach instancji
Przypisanie ID instancji tam, gdzie maska > 0.5
Zwiększenie licznika ID instancji

Maska panoptyczna

Czas na ćwiczenia!

Głębokie uczenie dla obrazów z PyTorch