Vad är explorativ dataanalys?

Explorativ dataanalys i Power BI

Jacob H. Marquez

Data Scientist at Microsoft

Vad är explorativ dataanalys?

"En metod för att analysera datamängder och sammanfatta deras huvudsakliga egenskaper, ofta med hjälp av statistiska diagram och andra datavisualiseringsmetoder."

¹ https://en.wikipedia.org/wiki/Exploratory_data_analysis

Sex steg i EDA

Förstå datastrukturen
Identifiera saknade värden
Beskriva data med deskriptiv statistik & fördelningar
Identifiera avvikande värden
Undersöka och kvantifiera samband mellan variabler
Formulera hypoteser

Sex steg i EDA

Förstå datastrukturen
Identifiera saknade värden
Beskriva data med deskriptiv statistik & fördelningar
Identifiera avvikande värden
Undersöka och kvantifiera samband mellan variabler
Formulera hypoteser

1. Förstå datastrukturen

Kontinuerliga

Numeriska variabler som ofta kan anta ett oändligt antal värden

Antal stjärnor i rymden
Klickfrekvenser
Avstånd mellan två städer

Kategoriska

Icke-numeriska variabler, vanligtvis text, med två eller fler grupper

Hustyper
Land
Företag

2. Identifiera saknade värden

Saknas slumpmässigt

En nio-gånger-fyra-matris med tre rader grupperade för tre städer: Seattle, New York City och Paris. Det finns värden för regnmängd i tum i 30 celler och 6 är tomma på slumpmässiga platser över de tre stadsgrupperna.

Saknas inte slumpmässigt

En nio-gånger-fyra-matris med tre rader grupperade för tre städer: Seattle, New York City och Paris. Det finns värden för regnmängd i tum i 30 celler och 4 är tomma på slumpmässiga platser men enbart för Seattle.

2. Hantera saknade värden

Samma nio-gånger-fyra-matris men med den översta raden borttagen, för att illustrera att tomma celler tagits bort.

Samma nio-gånger-fyra-matris men med värden i den översta raden, för att illustrera att tomma celler fyllts med medianvärdet.

3. Beskriva data

Minimum
Maximum
Medelvärde: summan av alla värden delat med antalet observationer
Median: det mittersta värdet i ett intervall
Standardavvikelse: genomsnittlig avvikelse från medelvärdet för en variabel, beräknad över alla datapunkter

3. Beskriva data med fördelningar.

Ett histogram över personers längd med längdvärden på x-axeln och antalet observationer på y-axeln.

Median och medelvärde är lika
En symmetrisk kurva

3. Beskriva data med fördelningar

Ett histogram över hushållsinkomst med inkomstnivåer på x-axeln och antalet observationer på y-axeln. Histogrammet är brett till vänster och smalnar av mot höger.

Median < Mean
"Högersnedfördelad": svansen pekar åt höger

Ett histogram över tid online med tidsvärdena på x-axeln och antalet observationer på y-axeln. Histogrammet är smalt till vänster och breddas mot höger.

Median > Mean
"Vänstersnedfördelad": svansen pekar åt vänster

Datamängden: AirBnB-annonser

En bild av Airbnb-datamängden med fem kolumner – listing_id, host_id, host_since (en datumkolumn), city och price.

Nu kör vi en övning!

Explorativ dataanalys i Power BI