Рекурентні нейронні мережі для класифікації тексту

Глибоке навчання для тексту з PyTorch

Shubham Jain

Data Scientist

RNN для тексту

Працюють з послідовностями різної довжини
Мають внутрішню короткочасну памʼять
CNN виявляють шаблони у фрагментах
RNN памʼятають попередні слова для кращого змісту

RNN для класифікації тексту

Зображення сарказму

Чому?

RNN читають речення по-людськи, слово за словом
Розуміють контекст і порядок

Приклад: виявлення сарказму у твіті

"I just love getting stuck in traffic."

Сарказм

Підсумок: реалізація Dataset і DataLoader

# Import libraries
from torch.utils.data import Dataset, DataLoader

# Create a class
class TextDataset(Dataset):

    def __init__(self, text):
        self.text = text

    def __len__(self):
        return len(self.text)

    def __getitem__(self, idx):
        return self.text[idx]

Реалізація RNN

sample_tweet = "This movie had a great plot and amazing acting."
# Preprocess the review and convert it to a tensor (not shown for brevity)
# ...
sentiment_prediction = model(sample_tweet_tensor)

Навчіть модель RNN класифікувати твіт як позитивний чи негативний
Вивід: "Positive"

Варіація RNN: LSTM

Зображення аналізу тональності

Твіт:

  "Loved the cinematography, 
  hated the dialogue. 
  The acting was exceptional,
  but the plot fell flat."

Long Short Term Memory (LSTM) охоплює складні залежності, де RNN можуть мати труднощі

LSTM

Архітектура LSTM: вхідні, забувальні та вихідні ворота

class LSTMModel(nn.Module):

    def __init__(self, input_size, hidden_size, output_size):
        super(LSTMModel, self).__init__()
        self.lstm = nn.LSTM(input_size, hidden_size, batch_first=True)
        self.fc = nn.Linear(hidden_size, output_size)


    def forward(self, x):
        _, (hidden, _) = self.lstm(x)
        output = self.fc(hidden.squeeze(0))
        return output

Варіація RNN: GRU

Тема листа:

   "Congratulations!
    You've won a free trip 
    to Hawaii!"

Gated Recurrent Unit (GRU) швидко впізнає спам-патерни без повного контексту

Спам-лист

GRU

class GRUModel(nn.Module):
    def __init__(self, input_size, hidden_size, output_size):
        super(GRUModel, self).__init__()
        self.gru = nn.GRU(input_size, hidden_size, batch_first=True)
        self.fc = nn.Linear(hidden_size, output_size)

    def forward(self, x):
        _, hidden = self.gru(x)
        output = self.fc(hidden.squeeze(0))
        return output

Давайте потренуємось!

Глибоке навчання для тексту з PyTorch