โมเดลแบบหลายเอาต์พุต

Deep Learning ระดับกลางด้วย PyTorch

Michal Oleszak

Machine Learning Engineer

ทำไมต้องใช้หลายเอาต์พุต?

Multi-task learning แผนผังโมเดล: รูปรถเป็นอินพุต มียี่ห้อและรุ่นเป็นสองเอาต์พุต

Multi-label classification แผนผังโมเดล: รูปภาพเดียวเป็นอินพุต มีการพยากรณ์หลายรายการเป็นเอาต์พุต

Regularization แผนผังโมเดล: หลายบล็อกของเลเยอร์ โดยแต่ละบล็อกจะมีการพยากรณ์เอาต์พุต

การจำแนกอักขระและตัวอักษร

แผนผังโมเดล: รูปภาพอักขระถูกส่งเข้าโครงข่ายประสาทเทียม

การจำแนกอักขระและตัวอักษร

แผนผังโมเดล: ตัวจำแนกสองตัวจำแนกอักขระและตัวอักษรจาก image embedding

Dataset แบบสองเอาต์พุต

class OmniglotDataset(Dataset):
    def __init__(self, transform, samples):
        self.transform = transform
        self.samples = samples

    def __len__(self):
        return len(self.samples)

    def __getitem__(self, idx):
        img_path, alphabet, label = \
            self.samples[idx]
        img = Image.open(img_path).convert('L')
        img = self.transform(img)
        return img, alphabet, label

ใช้ Dataset เดิมได้...
...โดยอัปเดต samples:

  print(samples[0])

  [(
    'omniglot_train/.../0459_14.png',
     0,
     0,
   )]

สถาปัตยกรรมแบบสองเอาต์พุต

class Net(nn.Module):
    def __init__(self, num_alpha, num_char):
        super().__init__()
        self.image_layer = nn.Sequential(
            nn.Conv2d(1, 16, kernel_size=3, padding=1),
            nn.MaxPool2d(kernel_size=2),
            nn.ELU(),
            nn.Flatten(),
            nn.Linear(16*32*32, 128)
        )

        self.classifier_alpha = nn.Linear(128, 30)
        self.classifier_char = nn.Linear(128, 964)


    def forward(self, x):
        x_image = self.image_layer(x)

        output_alpha = self.classifier_alpha(x_image)
        output_char = self.classifier_char(x_image)

        return output_alpha, output_char

กำหนด sub-network สำหรับประมวลผลภาพ
กำหนดตัวจำแนกเฉพาะของแต่ละเอาต์พุต
ส่งภาพผ่าน sub-network ที่กำหนดไว้
ส่งผลลัพธ์ผ่านแต่ละเลเยอร์เอาต์พุต
คืนค่าเอาต์พุตทั้งสอง

Training loop

for epoch in range(10):
    for images, labels_alpha, labels_char \
    in dataloader_train:
        optimizer.zero_grad()
        outputs_alpha, outputs_char = net(images)

        loss_alpha = criterion(
          outputs_alpha, labels_alpha
        )
        loss_char = criterion(
          outputs_char, labels_char
        )

        loss = loss_alpha + loss_char

        loss.backward()
        optimizer.step()

โมเดลสร้างเอาต์พุตสองค่า
คำนวณ loss ของแต่ละเอาต์พุต
รวม loss ทั้งหมดเป็น loss รวม
Backprop และปรับโมเดลด้วย loss รวม

มาฝึกกันเถอะ!

Deep Learning ระดับกลางด้วย PyTorch