Co je exploratorní analýza dat?

Exploratory Data Analysis in Power BI

Jacob H. Marquez

Data Scientist at Microsoft

Co je exploratorní analýza dat?

„Přístup k analýze datových souborů za účelem shrnutí jejich hlavních charakteristik, často s využitím statistické grafiky a dalších metod vizualizace dat."

¹ https://en.wikipedia.org/wiki/Exploratory_data_analysis

Six steps to EDA

Understanding the data structure
Identifying missing data
Describing the data with descriptive statistics & distributions
Identifying outliers
Examining and quantifying relationships between variables
Forming hypothesis

Six steps to EDA

Understanding the data structure
Identifying missing data
Describing the data with descriptive statistics & distributions
Identifying outliers
Examining and quantifying relationships between variables
Forming hypothesis

1. Understanding the data structure

Continuous

Numerical variables often able to take an infinite set of values

Number of stars in space
Click-through rates
Distance between two cities

Categorical

Non-numerical variables, usually text, with two or more groups

House types
Country
Company

2. Identifikace chybějících dat

Chybějící náhodně

Matice devět krát čtyři se třemi skupinami řádků pro tři města: Seattle, New York City a Paříž. Hodnoty představují srážky v palcích ve 30 buňkách, 6 z nich je náhodně prázdných napříč skupinami měst.

Chybějící nenáhodně

Matice devět krát čtyři se třemi skupinami řádků pro tři města: Seattle, New York City a Paříž. Hodnoty představují srážky v palcích ve 30 buňkách, 4 z nich jsou náhodně prázdné pouze u Seattlu.

2. Řešení chybějících dat

Stejná matice devět krát čtyři bez horního řádku – znázorňuje odstranění prázdných buněk.

Stejná matice devět krát čtyři, kde horní řádek nyní obsahuje hodnoty – znázorňuje doplnění prázdných buněk mediánem.

3. Popis dat

Minimum
Maximum
Průměr: součet všech hodnot dělený počtem pozorování
Medián: hodnota uprostřed rozsahu hodnot
Směrodatná odchylka: průměrná odchylka od průměru proměnné napříč všemi datovými body

3. Popis dat pomocí rozdělení

Histogram výšek osob s hodnotami výšek na ose x a počtem pozorování na ose y.

Medián a průměr mají stejnou hodnotu
Symetrická křivka

3. Popis dat pomocí rozdělení

Histogram příjmů domácností s hodnotami příjmů na ose x a počtem pozorování na ose y. Histogram je vlevo široký a směrem doprava se zužuje.

Medián < Průměr
„Pravostranné zešikmení": chvost je vpravo

Histogram času stráveného online s hodnotami času na ose x a počtem pozorování na ose y. Histogram je vlevo úzký a směrem doprava se rozšiřuje.

Medián > Průměr
„Levostranné zešikmení": chvost je vlevo

Datová sada: nabídky AirBnB

Náhled datové sady AirBnB s pěti sloupci: listing_id, host_id, host_since (sloupec s datem), city a price.

Let's practice!

Exploratory Data Analysis in Power BI