Điều chỉnh import: dữ liệu true/false

Nạp dữ liệu gọn nhẹ với pandas

Amany Mahfouz

Instructor

Dữ liệu Boolean

Dữ liệu True/False

Bảng tính dữ liệu khảo sát với vài cột true/false

Dữ liệu Boolean

Bảng tính dữ liệu khảo sát với các cột về việc tham dự bootcamp được tô sáng

Dữ liệu Boolean

Bảng tính dữ liệu khảo sát với các cột về việc dùng khoản vay được tô sáng

Dữ liệu Boolean

Bảng tính dữ liệu khảo sát với vài cột True/False

Dữ liệu Boolean

Bảng tính dữ liệu khảo sát với các cột dùng số 0 và 1 được tô sáng

Dữ liệu Boolean

Bảng tính dữ liệu khảo sát với các cột dùng True và False được tô sáng

Dữ liệu Boolean

Bảng tính dữ liệu khảo sát với các cột dùng yes và no được tô sáng

pandas và Boolean

bootcamp_data = pd.read_excel("fcc_survey_booleans.xlsx")
print(bootcamp_data.dtypes)

ID.x                      object
AttendedBootcamp         float64
AttendedBootCampYesNo     object
AttendedBootcampTF       float64
BootcampLoan             float64
LoanYesNo                 object
LoanTF                   float64
dtype: object

pandas và Boolean

# Đếm giá trị True
print(bootcamp_data.sum())

AttendedBootcamp                      38
AttendedBootcampTF                    38
BootcampLoan                          14
LoanTF                                14
dtype: object

# Đếm NA
print(bootcamp_data.isna().sum())

ID.x                           0
AttendedBootcamp               0
AttendedBootCampYesNo          0
AttendedBootcampTF             0
BootcampLoan                 964
LoanYesNo                    964
LoanTF                       964
dtype: int64

# Nạp dữ liệu, ép các cột True/False thành Boolean
bool_data = pd.read_excel("fcc_survey_booleans.xlsx", 
                          dtype={"AttendedBootcamp": bool,
                                "AttendedBootCampYesNo": bool,
                                "AttendedBootcampTF":bool,
                                "BootcampLoan": bool,
                                "LoanYesNo": bool,
                                "LoanTF": bool})

print(bool_data.dtypes)

ID.x                      object
AttendedBootcamp            bool
AttendedBootCampYesNo       bool
AttendedBootcampTF          bool
BootcampLoan                bool
LoanYesNo                   bool
LoanTF                      bool
dtype: object

# Đếm giá trị True
print(bool_data.sum())

AttendedBootcamp                         38
AttendedBootCampYesNo                  1000
AttendedBootcampTF                       38
BootcampLoan                            978
LoanYesNo                              1000
LoanTF                                  978
dtype: object

# Đếm giá trị NA
print(bool_data.isna().sum())

ID.x                       0
AttendedBootcamp           0
AttendedBootCampYesNo      0
AttendedBootcampTF         0
BootcampLoan               0
LoanYesNo                  0
LoanTF                     0
dtype: int64

pandas và Boolean

pandas mặc định nạp cột True/False thành float
Chỉ định cột là bool bằng tham số dtype của read_excel()
Cột Boolean chỉ được có giá trị True và False
Giá trị NA/thiếu trong cột Boolean bị đổi thành True
pandas tự nhận một số giá trị là True/False trong cột Boolean
Giá trị không nhận diện trong cột Boolean cũng bị đổi thành True

Đặt giá trị True/False tùy biến

Dùng tham số true_values của read_excel() để đặt giá trị True tùy biến
Dùng false_values để đặt giá trị False tùy biến
Mỗi tham số nhận một danh sách giá trị tương ứng True/False
Giá trị True/False tùy biến chỉ áp dụng cho các cột đặt kiểu Boolean

Đặt giá trị True/False tùy biến

# Nạp dữ liệu với dtype Boolean và giá trị T/F tùy biến
bool_data = pd.read_excel("fcc_survey_booleans.xlsx", 
                          dtype={"AttendedBootcamp": bool,
                                "AttendedBootCampYesNo": bool,
                                "AttendedBootcampTF":bool,
                                "BootcampLoan": bool,
                                "LoanYesNo": bool,
                                "LoanTF": bool},
                          true_values=["Yes"],
                          false_values=["No"])

Đặt giá trị True/False tùy biến

print(bool_data.sum())

AttendedBootcamp                                  38
AttendedBootCampYesNo                             38
AttendedBootcampTF                                38
BootcampLoan                                     978
LoanYesNo                                        978
LoanTF                                           978
dtype: object

Lưu ý với Boolean

Có giá trị thiếu không, hoặc có thể có sau này?
Cột này sẽ được dùng thế nào trong phân tích?
Nếu giá trị bị mã hóa sai thành True thì sao?
Có thể mô hình hóa dữ liệu theo cách khác (ví dụ: float hoặc integer) không?

Ayo berlatih!

Nạp dữ liệu gọn nhẹ với pandas