Efektivní pracovní postup

Manipulace s daty v Julii

Katerina Zahradova

Instructor

Tipy pro pojmenování

  • Krátké, výstižné názvy
    • wages místo df
    • wages místo us_min_wages_data_between_1968_and_2020_with_inflation_adjusted_column
  • Dodržujte konvence pojmenování
    • Kombinování state_wage_2020 a effective.2020.dollars je těžké zapamatovat
    • Stejně tak s velkými písmeny – vyhněte se state, Year a REGION v jednom DataFrame
Manipulace s daty v Julii

Příliš mnoho proměnných

  • Nevytvářejte příliš mnoho nových proměnných

    • Zatěžuje paměť
    • Chaos: jaký je rozdíl mezi wages_no_missing, wages_missing_state_only, wages_original_no_missing, wages_state_mean_no_missing atd.

  • Přepisujte! Používejte select!(), transform!() atd.

  • Používejte makra chain ke snížení počtu verzí stejných dat
Manipulace s daty v Julii

Proměnné místo pevných hodnot

  • Proměnné místo pevně zadaných hodnot
# Rather
replace_missing = 0

replace!(df.col1, missing => replace_missing)
replace!(df.col2, missing => replace_missing)

# Than
replace!(df.col1, missing => 0)
replace!(df.col2, missing => 0)
Manipulace s daty v Julii

Vytvořte z toho funkci

  • Napište funkci místo opakovaného psaní stejného kódu!
    • Funkce zabraňují překlepům
    • Po nastavení se používají rychleji
# Function to plot multiple lineplots with labels
function make_line_plot(xs, ys,labels; xlabel="", ylabel="", title="")
    p = plot(title = title, xlabel = xlabel, ylabel = ylabel)
    for (x, y, label) in zip(xs, ys, labels)
        plot!(x, y, label=label)
    end
    p
end
Manipulace s daty v Julii

Komentáře a dokumentace

  • Komentáře popisující, co děláme
# Standardize names
rename!(df, :ColumnOne => :col_1)

# Lines with missing company
df[ismissing.(df.company),:]

# Pivoting on year and state
unstack(wages, :year, :state, :eff_min_wage)
  • Dokumentace důvodů našich rozhodnutí
# Replace missing wages by minimum
# As the worst case
min = minimum(skipmissing(df.wages))
replace!(df.wages, missing => min)

# Joining with countries
# To study how countries influence quality
leftjoin(company, countries, on=:location)
Manipulace s daty v Julii

Seznamte se s daty

  • Věnujte čas pochopení dat
    • Pozdější extrakce informací je snazší
    • Vytvářejte grafy, tiskněte výsledky, ...

Seznamte se se svými daty

1 Photo by Myriam Jessier on Unsplash
Manipulace s daty v Julii

Požádejte o pomoc!

Loga Google, Stack Overflow a DataCamp

Manipulace s daty v Julii

Bavte se!

  • Bavte se, nevzdávejte se a užívejte si to!
Manipulace s daty v Julii

Zpoždění letů na letištích v USA

Struktura dat o letech

Manipulace s daty v Julii

Pojďme si procvičit!

Manipulace s daty v Julii

Preparing Video For Download...