Segmentare panoptică

Deep Learning pentru imagini cu PyTorch

Michal Oleszak

Machine Learning Engineer

Provocarea segmentării panoptice

Imaginea originală

Segmentare semantică

Segmentare de instanțe

Segmentare panoptică

Fluxul de lucru pentru segmentarea panoptică

Combinarea segmentării semantice și de instanțe poate fi complexă:
- Suprapuneri
- Asigurarea unicității ID-urilor de instanțe
Fluxul nostru de lucru:
1. Generați măști semantice
2. Combinați-le într-o singură mască
3. Inițializați masca panoptică ca mască semantică
4. Generați măști de instanțe
5. Iterați peste măștile de instanțe și suprapuneți obiectele detectate pe masca semantică

Măști semantice

model = UNet()

with torch.no_grad():
    semantic_masks = model(image_tensor) 
    print(semantic_masks.shape)

torch.Size([1, 3, 427, 640])

semantic_mask = torch.argmax(
  semantic_masks, dim=1
)

Instanțiați modelul
Generați măști semantice pentru imaginea de intrare
Selectați clasa cu probabilitatea cea mai mare pentru fiecare pixel

Mască semantică

Măști de instanțe

model = MaskRCNN()


with torch.no_grad():
    instance_masks = model(image_tensor)[0]["masks"]
    print(instance_masks.shape)

torch.Size([80, 1, 427, 640])

Încărcați modelul de segmentare de instanțe
Generați măști de instanțe

Mască de instanță

Măști panoptice

panoptic_mask = torch.clone(semantic_mask)


instance_id = 3
for mask in instance_masks:

    panoptic_mask[mask > 0.5] = instance_id

    instance_id += 1

Inițializați masca panoptică ca semantic_mask
Iterați peste măștile de instanțe
Setați masca panoptică la ID-ul de instanță unde maska > 0.5
Incrementați contorul ID-ului de instanță

Mască panoptică

Să exersăm!

Deep Learning pentru imagini cu PyTorch