Quy trình hiệu quả

Xử lý dữ liệu trong Julia

Katerina Zahradova

Instructor

Mẹo đặt tên

Tên ngắn, có ý nghĩa
- wages thay vì df
- wages thay vì us_min_wages_data_between_1968_and_2020_with_inflation_adjusted_column

Theo chuẩn/quy ước đặt tên
- trộn state_wage_2020 và effective.2020.dollars khó nhớ
- tương tự với chữ hoa/thường, tránh state, Year, và REGION trong cùng DataFrame

Quá nhiều biến

Đừng tạo quá nhiều biến mới
- tốn bộ nhớ
- rối: khác gì giữa wages_no_missing, wages_missing_state_only, wages_original_no_missing, wages_state_mean_no_missing, v.v.
Ghi đè! Dùng select!(), transform!(), v.v.
Dùng macro chain để giảm nhu cầu tạo nhiều phiên bản dữ liệu

Dùng biến thay vì hard code

Biến thay cho hard code giá trị

# Nên
replace_missing = 0

replace!(df.col1, missing => replace_missing)
replace!(df.col2, missing => replace_missing)

# Hơn là
replace!(df.col1, missing => 0)
replace!(df.col2, missing => 0)

Đóng gói thành hàm

Viết hàm thay vì lặp lại mã nhiều lần
- hàm giảm lỗi gõ
- thiết lập xong dùng nhanh hơn

# Hàm vẽ nhiều biểu đồ đường có nhãn
function make_line_plot(xs, ys,labels; xlabel="", ylabel="", title="")
    p = plot(title = title, xlabel = xlabel, ylabel = ylabel)
    for (x, y, label) in zip(xs, ys, labels)
        plot!(x, y, label=label)
    end
    p
end

Ghi chú và tài liệu hóa

Ghi chú việc đang làm

# Chuẩn hóa tên
rename!(df, :ColumnOne => :col_1)

# Hàng thiếu company
df[ismissing.(df.company),:]

# Pivot theo year và state
unstack(wages, :year, :state, :eff_min_wage)

Ghi rõ lý do làm

# Thay wages thiếu bằng mức tối thiểu
# Trường hợp xấu nhất
min = minimum(skipmissing(df.wages))
replace!(df.wages, missing => min)

# Join với countries
# Để nghiên cứu tác động của quốc gia đến chất lượng
leftjoin(company, countries, on=:location)

Hiểu dữ liệu

Dành thời gian hiểu dữ liệu
- Dễ rút thông tin hơn về sau
- Vẽ biểu đồ, in kết quả, ...

Tìm hiểu dữ liệu của bạn

¹ Ảnh: Myriam Jessier trên Unsplash

Hãy nhờ trợ giúp!

Đừng phát minh lại bánh xe, tận dụng tài nguyên có sẵn
- Google
- Stack Overflow
- DataCamp Cheat Sheets
- ...

Logo Google, Stack Overflow, DataCamp

Hãy vui vẻ!

Hãy vui, đừng bỏ cuộc, và tận hưởng!

Chậm chuyến tại sân bay Mỹ

Cấu trúc dữ liệu chuyến bay

Ayo berlatih!

Xử lý dữ liệu trong Julia

Preparing Video For Download...