Анонимизация непрерывных данных
Конфиденциальность данных и анонимизация в Python
Rebeca Gonzalez
Instructor
Непрерывные переменные
- возраст
- рост
- вес
- температура
- дата и время
Непрерывные переменные
# See the dataset
hr.head()
Age BusinessTravel Department EducationField EmployeeNumber
0 41 Travel_Rarely Sales Life Sciences 1
1 49 Travel_Frequently Research & Development Life Sciences 2
2 37 Travel_Rarely Research & Development Other 4
3 33 Travel_Frequently Research & Development Life Sciences 5
4 27 Travel_Rarely Research & Development Medical 7
Непрерывные распределения
Подберите наилучшее непрерывное распределение для данных.
- Постройте гистограмму
- Подберите непрерывные функции, подогнав их к гистограмме.
- Оставьте функцию с наименьшей ошибкой относительно гистограммы.
Непрерывное распределение
Применение распределения
import scipy.stats# Fit the genlogistic distribution to the continuous variable Age params = scipy.stats.genlogistic.fit(hr['Age'])# See the parameters of the continuous functions print(params)
(4.9899067653418285, 22.32808853181744, 7.046590524738551)
Выборка из непрерывного распределения
# Sample from the genlogistic distribution df['Age'] = scipy.stats.genlogistic.rvs(size=len(df.index), *params)# See the resulting dataset df['Age'].head()
Age BusinessTravel Department EducationField EmployeeNumber
0 40.767259 Travel_Rarely Sales Life Sciences 1
1 45.730504 Travel_Frequently Research & Development Life Sciences 2
2 41.910050 Travel_Rarely Research & Development Other 4
3 35.275320 Travel_Frequently Research & Development Life Sciences 5
4 40.198134 Travel_Rarely Research & Development Medical 7
Выборка из непрерывного распределения
# Round the values to obtain discrete values
df['Age'] = df['Age'].round()
Age BusinessTravel Department EducationField EmployeeNumber
0 41 Travel_Rarely Sales Life Sciences 1
1 46 Travel_Frequently Research & Development Life Sciences 2
2 42 Travel_Rarely Research & Development Other 4
3 35 Travel_Frequently Research & Development Life Sciences 5
4 40 Travel_Rarely Research & Development Medical 7
Давайте потренируемся!
Конфиденциальность данных и анонимизация в Python
