Statystyki danych

Czyszczenie danych w Javie

Dennis Lee

Software Engineer

Poznaj swojego instruktora!

Dennis Lee

Inżynier oprogramowania w Amazon
Technologia i operacje
Doktorat z elektrotechniki i informatyki

Zdjęcie instruktora

Dlaczego jakość danych ma znaczenie

Tytuł	Data wydania	Ocena	Liczba recenzji	Cena
[null]	1/10/23	4.8	165	$30.61
	9/13/19	4.8	2,521	$38.00
Clean Code	8/1/08	4.7	5,639	$400.00

Brudne dane: utrata sprzedaży, dezorientacja klientów, błędne prognozy
Rozwiązanie: wyczyszczenie danych

Struktura kursu

Ocena jakości danych

Struktura kursu

Ocena jakości danych
Transformacja danych

Struktura kursu

Ocena jakości danych
Transformacja danych
Walidacja danych

Struktura kursu

Ocena jakości danych
Transformacja danych
Walidacja danych
Czyszczenie danych tabelarycznych

Strukturyzacja danych

import java.time.LocalDate;

public class BookSalesExample {
    private record BookSales(String title, LocalDate publishDate, 
                             int reviewCount,  double rating, double price) {}}

book.rating() // book is an instance of BookSales

Tytuł	Data wydania	Ocena	Liczba recenzji	Cena
Python Crash Course	1/10/23	4.8	165	$30.61
The Pragmatic Programmer	9/13/19	4.8	2,521	$38.00
Clean Code	8/1/08	4.7	5,639	$40.00

Wypełnianie zestawu danych

import java.time.LocalDate;
import java.util.Arrays;
import java.util.List;

// Create books with title, publishDate, reviewCount, rating, and price
List<BookSales> books = Arrays.asList(
        new BookSales("Python Crash Course", LocalDate.of(2023, 1, 10),
                      165, 4.8, 30.61),
        new BookSales("The Pragmatic Programmer", LocalDate.of(2019, 9, 13),
                      2521, 4.5, 38.00),
        new BookSales("Clean Code", LocalDate.of(2008, 8, 1),
                      5639, 4.7, 40.00));

Obliczanie średniej, minimum i maksimum

import org.apache.commons.math3.stat.descriptive.DescriptiveStatistics;


public class BookSalesExample {
    public static void main(String[] args) {
        // Create stats calculator
        DescriptiveStatistics stats = new DescriptiveStatistics();
        // Add each book's price to stats
        books.forEach(book -> stats.addValue(book.getPrice()));
    }
}

Przykładowy wynik: zakres cen

System.out.printf("Books analyzed: %d%n", books.size());

Books analyzed: 3

System.out.printf("Average price: $%.2f%n", stats.getMean());

Average price: $36.20

System.out.printf("Price range: $%.2f - $%.2f%n", stats.getMin(), stats.getMax());

Price range: $30.61 - $40.00

Obliczanie percentyli

public class BookSalesExample {
    public static void main(String[] args) {
        // 50th percentile = median
        System.out.printf("Median price: $%.2f%n", stats.getPercentile(50));

        System.out.printf("Normal range: $%.2f - $%.2f%n",
                stats.getPercentile(25), stats.getPercentile(75));
    }
}

Median price: $38.00

Normal range: $30.61 - $40.00

Statystyki jako kontrola jakości

Metody DescriptiveStatistics
- .getMean(): średnia cena
- .getMin(), .getMax(): zakres cen
- .getPercentile(): typowe ceny
Wykrywanie problemów przez analizę zakresów cen
Korzyści
- Szybkie wykrywanie problemów
- Skaluje się do dużych zbiorów danych
- Zastępuje ręczną inspekcję

Stos książek

Czas na ćwiczenia!

Czyszczenie danych w Javie