Panoptische segmentatie

Deep Learning voor afbeeldingen met PyTorch

Michal Oleszak

Machine Learning Engineer

Panoptische segmentatie-uitdaging

Originele afbeelding

Semantische segmentatie

Instance-segmentatie

Panoptische segmentatie

Panoptische segmentatie-workflow

Combineren van semantische en instance-segmentatie is lastig:
- Overlap
- Unieke instance-ID’s borgen
Onze workflow:
1. Genereer semantische masks
2. Combineer tot één masker
3. Initieer het panoptische masker als het semantische masker
4. Genereer instance-masks
5. Iterateer over instance-masks en leg gedetecteerde objecten over het semantische masker

Semantische masks

model = UNet()

with torch.no_grad():
    semantic_masks = model(image_tensor) 
    print(semantic_masks.shape)

torch.Size([1, 3, 427, 640])

semantic_mask = torch.argmax(
  semantic_masks, dim=1
)

Instantieer het model
Genereer semantische masks voor de inputafbeelding
Kies per pixel de klasse met hoogste kans

Semantisch masker

Instance-masks

model = MaskRCNN()


with torch.no_grad():
    instance_masks = model(image_tensor)[0]["masks"]
    print(instance_masks.shape)

torch.Size([80, 1, 427, 640])

Laad een instance-segmentatiemodel
Genereer instance-masks

Instantiemasker

Panoptische masks

panoptic_mask = torch.clone(semantic_mask)


instance_id = 3
for mask in instance_masks:

    panoptic_mask[mask > 0.5] = instance_id

    instance_id += 1

Initieer panoptisch masker als semantic_mask
Itereer over instance-masks
Zet panoptisch masker op instance-ID waar mask > 0.5
Verhoog de teller voor instance-ID

Panoptisch masker

Laten we oefenen!

Deep Learning voor afbeeldingen met PyTorch