数据清洗与脱敏

在 AWS 中使用数据存储

Dunieski Otano

AWS Solutions Architect

暴露一切的日志文件

• 应用为调试记录用户活动
• 日志包含完整身份证、信用卡、密码
• 日志发往 CloudWatch（开发团队可访问）
• 合规审计发现违规：罚款 $2M

什么是数据清洗？

• 定义
  • 移除或模糊敏感数据
• 何时清洗
  • 记录日志前
  • 向用户展示前
  • 传给第三方前
• 目标
  • 在保护隐私的同时保持可用性

全遮蔽技术

• 适用对象
  • 密码、API 密钥、令牌
• 实现方式
  • 用星号替换所有字符
• 示例
  • "myPassword123" → "***"

部分遮蔽技术

• 适用对象
  • 身份证号、信用卡、手机号
• 实现方式
  • 显示后4位，其余遮蔽
• 示例
  • "123-45-6789" ==> "*--6789"
  • "4532-1234-5678-9010" ==> "--**-9010"

哈希与令牌化

• 哈希
  • 单向转换，用于分析
  • "[email protected]" ==> "a3f7b2c9..."
• 令牌化
  • 用随机令牌替换
  • 安全存储映射关系
• 应用场景
  • 密码校验、重复检测、支付、合规

删节（Redaction）技术

• 适用对象
  • 医疗诊断、法律信息
• 实现方式
  • 完全删除敏感内容
• 示例
  • "Patient has diabetes" ==> "Patient has [REDACTED]"

实现遮蔽函数

• 创建工具库
  • mask_national_id(), mask_credit_card(), mask_email(), mask_phone()
• 一致应用
  • 记录日志、展示、传输前
• 切勿存储已遮蔽数据
  • 原文加密存储，输出时再遮蔽

合规与测试

• GDPR 要求
  • 数据最小化、目的限制
• HIPAA 要求
  • 最低必要原则
• 测试
  • 用真实模式与边界情况测试

Let's practice!

在 AWS 中使用数据存储