Sử dụng dữ liệu văn bản

Phát hiện gian lận với Python

Charlotte Werger

Data Scientist

Bạn sẽ thường gặp dữ liệu văn bản khi phát hiện gian lận

Các loại văn bản hữu ích:

  1. Email từ nhân viên và/hoặc khách hàng
  2. Mô tả giao dịch
  3. Ghi chú của nhân viên
  4. Ô mô tả trong đơn bồi thường bảo hiểm
  5. Cuộc gọi điện thoại được ghi âm
  6. ...
Phát hiện gian lận với Python

Kỹ thuật khai phá văn bản cho phát hiện gian lận

  1. Tìm kiếm từ khóa
  2. Phân tích cảm xúc
  3. Tần suất từ và phân tích chủ đề
  4. Phong cách
Phát hiện gian lận với Python

Tìm kiếm từ cho phát hiện gian lận

Gắn cờ từ nghi vấn:

  1. Đơn giản, rõ ràng, dễ giải thích
  2. Kết quả khớp có thể dùng làm bộ lọc bổ sung cho mô hình học máy
  3. Kết quả khớp có thể dùng làm đặc trưng trong mô hình học máy

Phát hiện gian lận với Python

Đếm từ để gắn cờ gian lận với pandas

# Using a string operator to find words
df['email_body'].str.contains('money laundering')

# Select data that matches 
df.loc[df['email_body'].str.contains('money laundering', na=False)]

# Create a list of words to search for
list_of_words = ['police', 'money laundering']
df.loc[df['email_body'].str.contains('|'.join(list_of_words)
, na=False)]

# Create a fraud flag 
df['flag'] = np.where((df['email_body'].str.contains('|'.join
(list_of_words)) == True), 1, 0)
Phát hiện gian lận với Python

Ayo berlatih!

Phát hiện gian lận với Python

Preparing Video For Download...