Что является приватным и почему это важно?

Конфиденциальность данных и анонимизация в Python

Rebeca Gonzalez

Data engineer

Скандал Facebook и Cambridge Analytica

Последствия нарушения конфиденциальности данных

  • Несанкционированный доступ к личным данным 87 миллионов человек
  • Составление психологических профилей американских избирателей
  • Воздействие на них в ходе политических кампаний

Марк Цукерберг в суде — последствия несоблюдения прав на конфиденциальность данных

Конфиденциальность данных и анонимизация в Python

Что такое приватность?

Люди идут по улице

Конфиденциальность данных и анонимизация в Python

Потоки информации и приватность

Система распознавания лиц, применённая к лицу женщины на улице; над её головой — значок GPS

Конфиденциальность данных и анонимизация в Python

Потоки информации и приватность

  • Как передаются ваши персональные данные

 

«Возможность обеспечить потоки информации, соответствующие социальным и правовым нормам».

Система распознавания лиц, применённая к лицу женщины на улице; над её головой — значок GPS

Конфиденциальность данных и анонимизация в Python

Персональные идентификационные данные (PII)

Данные, которые самостоятельно или в сочетании с другими данными позволяют идентифицировать конкретного человека.

Бумажная форма с полями для личных данных и ручка

Конфиденциальность данных и анонимизация в Python

Чувствительные PII

  • Непосредственно относятся к конкретному человеку
  • Раскрытие может причинить вред, вызвать смущение или неудобства

Изображение человека и всплывающие окна с личными данными вокруг него

Конфиденциальность данных и анонимизация в Python

Чувствительные PII

  • Полное имя
  • Номер социального страхования (SSN)
  • Финансовая информация
  • Медицинские записи

Изображение GDPR с максимальными штрафами за несоблюдение регламента

Конфиденциальность данных и анонимизация в Python

Нечувствительные PII

Данные, которые нельзя использовать в одиночку для идентификации человека

  • Пол
  • Профессия
  • Почтовый индекс
  • Город рождения
Конфиденциальность данных и анонимизация в Python

Нечувствительные PII

Данные, которые нельзя использовать в одиночку для идентификации человека: пол, профессия, почтовый индекс или город рождения.

  • Пол
  • Профессия
  • Почтовый индекс
  • Город рождения
В сочетании с другими данными могут идентифицировать человека!

Надпись «Глава правительства в Европе» и дата рождения со стрелками, указывающими на лицо Ангелы Меркель

1 Фото Ангелы Меркель из Wikimedia Commons.
Конфиденциальность данных и анонимизация в Python

GDPR: Общий регламент по защите данных ЕС

Защищает PII людей, проживающих в Европе или чьи данные обрабатываются на её территории.

Ключевые принципы GDPR

  1. Законность, справедливость и прозрачность
  2. Ограничение цели
  3. Минимизация данных
  4. Точность
  5. Ограничение хранения

Подробнее

Изображение GDPR с максимальными штрафами за несоблюдение регламента

Конфиденциальность данных и анонимизация в Python

Подавление данных

Удаление определённых данных для защиты конфиденциальности субъектов.

Подавление атрибутов
  • Полное удаление столбцов
Подавление ячеек/записей
  • Удаление или замена данных в строках или ячейках
Конфиденциальность данных и анонимизация в Python

Подавление атрибутов в наборе данных

# Attribute suppression on Sensitive PII "name"
suppressed_salaries = salaries.drop('name', axis="columns")


# Explore obtained dataset
suppressed_salaries.head()

     gender    status    salary     pay_basis    position_title
0    Male    Employee    64400.0    Per Annum    DEPUTY DIRECTOR
1    Male    Employee    43600.0    Per Annum    ASSOCIATE DIRECTOR
2    Male    Employee    120000.0   Per Annum    SPECIAL ASSISTANT TO THE PRESIDENT AND DEPUTY ...
3    Male    Employee    86200.0    Per Annum    LEAD ADVANCE REPRESENTATIVE
4    Male    Employee    106000.0   Per Annum    SPECIAL ASSISTANT TO THE PRESIDENT AND DIRECTO...
Конфиденциальность данных и анонимизация в Python

Подавление записей в наборе данных

# Explore the DataFrame
salaries.head()

      hours    performance    salary 
0     72       51             $80,500.00 
1     20       99             $2,805,000.00 
3     75       62             $75,800.00 
4     74       58             $60,000.00 
5     70       54             $79,000.00
Конфиденциальность данных и анонимизация в Python

Подавление записей в наборе данных

# Drop rows with salaries higher than 2,000,000
salaries = salaries.drop(salaries[salaries.Salary > 2000000].index)

# See reasulting DataFrame
salaries.head()

      hours    performance    salary 
0     72       51             80500 
2     75       62             75800 
3     74       58             60000 
4     70       54             79000 
5     68       53             62000
Конфиденциальность данных и анонимизация в Python

Подавление данных и атаки через связывание

Две таблицы: слева — медицинские данные после подавления атрибутов, справа — данные регистрации избирателей с частично совпадающими полями

Конфиденциальность данных и анонимизация в Python

Давайте потренируемся!

Конфиденциальность данных и анонимизация в Python

Preparing Video For Download...