Czym jest eksploracyjna analiza danych?

Eksploracyjna analiza danych w Power BI

Jacob H. Marquez

Data Scientist at Microsoft

Czym jest eksploracyjna analiza danych?

„Podejście do analizy zbiorów danych polegające na podsumowaniu ich głównych cech, często z wykorzystaniem grafik statystycznych i innych metod wizualizacji danych."

¹ https://en.wikipedia.org/wiki/Exploratory_data_analysis

Sześć kroków EDA

Zrozumienie struktury danych
Identyfikacja brakujących danych
Opis danych ze statystykami opisowymi i rozkładami
Identyfikacja wartości odstających
Badanie i kwantyfikacja zależności między zmiennymi
Formułowanie hipotez

Sześć kroków EDA

Zrozumienie struktury danych
Identyfikacja brakujących danych
Opis danych ze statystykami opisowymi i rozkładami
Identyfikacja wartości odstających
Badanie i kwantyfikacja zależności między zmiennymi
Formułowanie hipotez

1. Zrozumienie struktury danych

Ciągłe

Zmienne liczbowe, które często mogą przyjmować nieskończony zbiór wartości

Liczba gwiazd w kosmosie
Współczynniki klikalności
Odległość między dwoma miastami

Kategorialne

Zmienne nienumeryczne, zazwyczaj tekstowe, z dwiema lub więcej grupami

Typy domów
Kraj
Firma

2. Identyfikacja brakujących danych

Brakujące dane losowo (MAR)

Macierz dziewięć na cztery z trzema grupami wierszy dla trzech miast: Seattle, Nowy Jork i Paryż. W 30 komórkach znajdują się wartości opadów w calach, a 6 komórek jest losowo pustych w różnych grupach.

Brakujące dane nielosowo (MNAR)

Macierz dziewięć na cztery z trzema grupami wierszy dla trzech miast: Seattle, Nowy Jork i Paryż. W 30 komórkach znajdują się wartości opadów w calach, a 4 komórki są losowo puste tylko w grupie Seattle.

2. Obsługa brakujących danych

Ta sama macierz dziewięć na cztery, ale z usuniętym górnym wierszem, co reprezentuje usunięcie pustych komórek.

Ta sama macierz dziewięć na cztery, ale górny wiersz ma teraz wartości, co reprezentuje uzupełnienie pustych komórek medianą.

3. Opis danych

Minimum
Maksimum
Średnia: suma wszystkich wartości podzielona przez liczbę obserwacji
Mediana: wartość środkowa w zakresie wartości
Odchylenie standardowe: średnia różnica od średniej zmiennej we wszystkich punktach danych

3. Opis danych za pomocą rozkładów

Histogram wzrostu osób z wartościami wzrostu na osi X i liczbą obserwacji na osi Y.

Mediana i średnia mają tę samą wartość
Symetryczna krzywa

3. Opis danych za pomocą rozkładów

Histogram dochodów gospodarstw domowych z wartościami dochodów na osi X i liczbą obserwacji na osi Y. Histogram jest szeroki po lewej stronie i zwęża się ku prawej.

Mediana < Średnia
„Prawostronnie skośny": ogon skierowany w prawo

Histogram czasu spędzonego online z wartościami czasu na osi X i liczbą obserwacji na osi Y. Histogram jest wąski po lewej stronie i rozszerza się ku prawej.

Mediana > Średnia
„Lewostronnie skośny": ogon skierowany w lewo

Zbiór danych: oferty AirBnB

Widok zbioru danych Airbnb z pięcioma kolumnami: listing_id, host_id, host_since (kolumna daty), city i price.

Czas na ćwiczenia!

Eksploracyjna analiza danych w Power BI