Паноптична сегментація

Глибоке навчання для зображень із PyTorch

Michal Oleszak

Machine Learning Engineer

Завдання паноптичної сегментації

Початкове зображення

Семантична сегментація

Сегментація об'єктів (instance)

Паноптична сегментація

Робочий процес паноптичної сегментації

Поєднання семантичної та instance-сегментації може бути складним:
- Перекриття
- Забезпечення унікальних ID екземплярів
Наш робочий процес:
1. Згенеруйте семантичні маски
2. Об'єднайте їх в одну маску
3. Ініціалізуйте паноптичну маску як семантичну
4. Згенеруйте маски екземплярів
5. Ітеруйте маски екземплярів і накладайте виявлені об'єкти на семантичну маску

Семантичні маски

model = UNet()

with torch.no_grad():
    semantic_masks = model(image_tensor) 
    print(semantic_masks.shape)

torch.Size([1, 3, 427, 640])

semantic_mask = torch.argmax(
  semantic_masks, dim=1
)

Створіть екземпляр моделі
Отримайте семантичні маски для вхідного зображення
Оберіть клас з найбільшою ймовірністю для кожного пікселя

Семантична маска

Маски екземплярів

model = MaskRCNN()


with torch.no_grad():
    instance_masks = model(image_tensor)[0]["masks"]
    print(instance_masks.shape)

torch.Size([80, 1, 427, 640])

Завантажте модель для instance-сегментації
Отримайте маски екземплярів

Маска екземпляра

Паноптичні маски

panoptic_mask = torch.clone(semantic_mask)


instance_id = 3
for mask in instance_masks:

    panoptic_mask[mask > 0.5] = instance_id

    instance_id += 1

Ініціалізуйте паноптичну маску як semantic_mask
Ітеруйте маски екземплярів
Присвойте ID екземпляра там, де mask > 0.5
Збільшуйте лічильник ID екземпляра

Паноптична маска

Давайте потренуємось!

Глибоке навчання для зображень із PyTorch