Làm sạch và che dữ liệu

Sử dụng Kho dữ liệu trong AWS

Dunieski Otano

AWS Solutions Architect

Tệp log làm lộ mọi thứ

• Ứng dụng ghi log hoạt động người dùng để gỡ lỗi
• Log chứa đầy đủ số định danh, thẻ tín dụng, mật khẩu
• Log gửi tới CloudWatch (nhóm dev truy cập được)
• Kiểm toán tuân thủ phát hiện vi phạm: phạt 2 triệu đô

Làm sạch dữ liệu là gì?

• Định nghĩa
  • Loại bỏ hoặc làm mờ dữ liệu nhạy cảm
• Khi nào cần làm sạch
  • Trước khi ghi log
  • Trước khi hiển thị cho người dùng
  • Trước khi truyền cho bên thứ ba
• Mục tiêu
  • Giữ hữu dụng nhưng bảo vệ quyền riêng tư

Kỹ thuật che hoàn toàn

• Dùng cho
  • Mật khẩu, API keys, tokens
• Cách làm
  • Thay toàn bộ ký tự bằng dấu hoa thị
• Ví dụ
  • "myPassword123" → "***"

Kỹ thuật che một phần

• Dùng cho
  • Số định danh, thẻ tín dụng, số điện thoại
• Cách làm
  • Hiển thị 4 số cuối, che phần còn lại
• Ví dụ
  • "123-45-6789" ==> "*--6789"
  • "4532-1234-5678-9010" ==> "--**-9010"

Băm và mã hoá mã hiệu

• Băm (hashing)
  • Chuyển một chiều cho phân tích
  • "[email protected]" ==> "a3f7b2c9..."
• Mã hoá mã hiệu (tokenization)
  • Thay bằng mã ngẫu nhiên
  • Lưu ánh xạ an toàn
• Trường hợp dùng
  • Xác thực mật khẩu, phát hiện trùng lặp, thanh toán, tuân thủ

Kỹ thuật xóa nội dung (redaction)

• Dùng cho
  • Chẩn đoán y khoa, thông tin pháp lý
• Cách làm
  • Loại bỏ hoàn toàn nội dung nhạy cảm
• Ví dụ
  • "Bệnh nhân mắc tiểu đường" ==> "Bệnh nhân mắc [REDACTED]"

Triển khai hàm che dữ liệu

• Tạo thư viện tiện ích
  • mask_national_id(), mask_credit_card(), mask_email(), mask_phone()
• Áp dụng nhất quán
  • Trước khi ghi log, hiển thị, truyền đi
• Không bao giờ lưu dữ liệu đã che
  • Lưu bản gốc đã mã hóa, che khi xuất

Tuân thủ và kiểm thử

• Yêu cầu GDPR
  • Tối thiểu hóa dữ liệu, giới hạn mục đích
• Yêu cầu HIPAA
  • Tiêu chuẩn tối thiểu cần thiết
• Kiểm thử
  • Kiểm thử với mẫu thực và biên

Ayo berlatih!

Sử dụng Kho dữ liệu trong AWS