Пропущенные значения

Средний уровень прогностической аналитики на Python

Nele Verbiest

Senior Data Scientist @PythonPredictions

Замена пропущенных значений агрегатом (1)

donor_id	age
5	-
3	25
2	36
8	40
1	26

Замена пропущенных значений агрегатом (2)

donor_id	age
5	38
3	25
2	36
8	40
1	26

Среднее значение age: 38

Замена пропущенных значений агрегатом (3)

donor_id	max_donation
5	-
3	1 000 000
2	100
8	40
1	120

Среднее max_donation: 25 065

Медиана max_donation: 110

Замена пропущенных значений агрегатом (4)

donor_id	max_donation
5	110
3	1 000 000
2	100
8	40
1	120

Среднее max_donation: 25 065

Медиана max_donation: 110

Замена пропущенных значений фиксированным значением (1)

donor_id	sum_donations
5	130
3	10
2	-
8	40
1	120

Замена пропущенных значений фиксированным значением (2)

donor_id	sum_donations
5	130
3	10
2	0
8	40
1	120

Замена пропущенных значений в Python

# Replace missing values by 0
replacement = 0
basetable["donations_last_year"] = 
    basetable["donations_last_year"].fillna(replacement)

# Replace missing values by mean
replacement = basetable["age"].mean()
basetable["age"] = basetable["age"].fillna(replacement)

Фиктивные переменные для пропущенных значений

    donor_id email
0     32770  [email protected]
1     32776  nan
2     32777  [email protected]
3     65552  nan

basetable["no_email"] = pd.Series(
                            [0 if email==email else 1 
                            for email in basetable["email"]])

      donor_id email                    no_email
0     32770  [email protected]   0
1     32776  nan                        1
2     32777  [email protected]   0
3     65552  nan                        1

Давайте потренируемся!

Средний уровень прогностической аналитики на Python