Tiền xử lý dữ liệu

Mạng nơ-ron hồi quy (RNN) cho Mô hình ngôn ngữ với Keras

David Cecchini

Data Scientist

Phân loại văn bản

Ứng dụng của phân loại văn bản:

Phân loại tin tức tự động
Phân loại tài liệu cho doanh nghiệp
Phân khúc hàng đợi hỗ trợ khách hàng
Còn nhiều nữa!

Khác biệt so với phân loại nhị phân

Chuyển từ nhị phân sang đa lớp cần:

Hình dạng biến đầu ra y
Số đơn vị ở tầng đầu ra
Hàm kích hoạt ở tầng đầu ra
Hàm mất mát

Khác biệt so với phân loại nhị phân

Hình dạng biến đầu ra y:

One-hot encoding các lớp

# Example: num_classes = 3
y[0] = [0, 1, 0]
y.shape = (N, num_classes)

Số đơn vị ở tầng đầu ra:

# Output layer
model.add(Dense(num_classes))

Khác biệt so với phân loại nhị phân

Sự khác biệt giữa số trong một trục và trong không gian, minh họa ứng dụng của one-hot encoding

Khác biệt so với phân loại nhị phân

Hàm kích hoạt ở tầng đầu ra:

softmax cho xác suất của từng lớp

# Output layer
model.add(Dense(num_classes, activation="softmax"))

Hàm mất mát:

Thay vì nhị phân, dùng categorical cross-entropy

# Compile the model
model.compile(loss='categorical_crossentropy')

Chuẩn bị nhãn văn bản cho keras

y = ["sports", "economy", "data_science", "sports", "finance"]
# Chuyển thành pandas Series
y_series = pd.Series(y, dtype="category")

# In mã hạng mục
print(y_series.cat.codes)

Tiền xử lý y

from tensorflow.keras.utils import to_categorical

y = np.array([0, 1, 2])

# Chuyển sang dạng one-hot
y_prep = to_categorical(y)
print(y_prep)

[[1. 0. 0.]
 [0. 1. 0.]
 [0. 0. 1.]]

Ayo berlatih!

Mạng nơ-ron hồi quy (RNN) cho Mô hình ngôn ngữ với Keras