텍스트 생성 소개

PyTorch로 배우는 텍스트 딥러닝

Shubham Jain

Instructor

텍스트 생성과 NLP

주요 활용: 챗봇, 기계 번역, 기술 문서 작성
RNN, LSTM, GRU: 과거 정보를 기억해 순차 데이터 처리 개선
입력: The cat is on the m
출력: The cat is on the mat

챗봇 이미지

¹ Image by vectorjuice on Freepik

텍스트 생성을 위한 RNN 구축

import torch
import torch.nn as nn

data = "Hello how are you?"
chars = list(set(data))  
char_to_ix = {char: i for i, char in enumerate(chars)}
ix_to_char = {i: char for i, char in enumerate(chars)}

class RNNModel(nn.Module):
    def __init__(self, input_size, hidden_size, output_size):
        super(RNNModel, self).__init__()
        self.hidden_size = hidden_size

        self.rnn = nn.RNN(input_size, hidden_size, batch_first=True)

        self.fc = nn.Linear(hidden_size, output_size)

순전파와 모델 생성

    def forward(self, x):

        h0 = torch.zeros(1, x.size(0), self.hidden_size)

        out, _ = self.rnn(x, h0)

        out = self.fc(out[:, -1, :])

        return out


model = RNNmodel(1, 16, 1)


criterion = nn.CrossEntropyLoss()

optimizer = torch.optim.Adam(model.parameters(), lr=0.01)

입력과 타깃 데이터 준비

inputs = [char_to_ix[ch] for ch in data[:-1]]
targets = [char_to_ix[ch] for ch in data[1:]]



inputs = torch.tensor(inputs, dtype=torch.long)
              .view(-1, 1)



inputs = nn.functional.one_hot(
       inputs, num_classes=len(chars)).float()



targets = torch.tensor(targets, dtype=torch.long)

인덱스 생성
텐서 변환
원-핫 인코딩
타깃 준비

RNN 모델 학습

for epoch in range(100):

    model.train()

    outputs = model(inputs)

    loss = criterion(outputs, targets)

    optimizer.zero_grad()

    loss.backward()

    optimizer.step()


    if (epoch+1) % 10 == 0:
        print(f'Epoch {epoch+1}/100, Loss: {loss.item()}')

모델 테스트

model.eval()

test_input = char_to_ix['h']

test_input = nn.functional.one_hot(torch.tensor(test_input)
                               .view(-1, 1), num_classes=len(chars)).float()

predicted_output = model(test_input)
predicted_char_ix = torch.argmax(predicted_output, 1).item()

print(f'Test Input: 10, Predicted Output: {model(test_input).item()}')

Epoch 10/100, Loss: 3090.861572265625
Epoch 20/100, Loss: 2935.4580078125
...
Epoch 100/100, Loss: 1922.44140625

Test Input: h, Predicted Output: e

Ayo berlatih!

PyTorch로 배우는 텍스트 딥러닝