Datastatistik

Datarensning i Java

Dennis Lee

Software Engineer

Möt din instruktör!

Dennis Lee

Mjukvaruingenjör på Amazon
Teknik och verksamhet
Doktor i elektroteknik och datateknik

Foto på instruktören

Varför ren data är viktig

Titel	Publiceringsdatum	Betyg	Antal recensioner	Pris
[null]	1/10/23	4.8	165	$30.61
	9/13/19	4.8	2,521	$38.00
Clean Code	8/1/08	4.7	5,639	$400.00

Smutsig data: förlorad försäljning, förvirrade kunder, otillförlitliga prognoser
Lösning: rensa datan

Kursöversikt

Utvärdera datakvalitet

Kursöversikt

Utvärdera datakvalitet
Transformera data

Kursöversikt

Utvärdera datakvalitet
Transformera data
Validera data

Kursöversikt

Utvärdera datakvalitet
Transformera data
Validera data
Rensa tabelldata

Strukturera vår data

import java.time.LocalDate;

public class BookSalesExample {
    private record BookSales(String title, LocalDate publishDate, 
                             int reviewCount,  double rating, double price) {}}

book.rating() // book is an instance of BookSales

Titel	Publiceringsdatum	Betyg	Antal recensioner	Pris
Python Crash Course	1/10/23	4.8	165	$30.61
The Pragmatic Programmer	9/13/19	4.8	2,521	$38.00
Clean Code	8/1/08	4.7	5,639	$40.00

Fylla datamängden med data

import java.time.LocalDate;
import java.util.Arrays;
import java.util.List;

// Create books with title, publishDate, reviewCount, rating, and price
List<BookSales> books = Arrays.asList(
        new BookSales("Python Crash Course", LocalDate.of(2023, 1, 10),
                      165, 4.8, 30.61),
        new BookSales("The Pragmatic Programmer", LocalDate.of(2019, 9, 13),
                      2521, 4.5, 38.00),
        new BookSales("Clean Code", LocalDate.of(2008, 8, 1),
                      5639, 4.7, 40.00));

Beräkna medelvärde, min och max

import org.apache.commons.math3.stat.descriptive.DescriptiveStatistics;


public class BookSalesExample {
    public static void main(String[] args) {
        // Create stats calculator
        DescriptiveStatistics stats = new DescriptiveStatistics();
        // Add each book's price to stats
        books.forEach(book -> stats.addValue(book.getPrice()));
    }
}

Exempelutdata: prisintervall

System.out.printf("Books analyzed: %d%n", books.size());

Books analyzed: 3

System.out.printf("Average price: $%.2f%n", stats.getMean());

Average price: $36.20

System.out.printf("Price range: $%.2f - $%.2f%n", stats.getMin(), stats.getMax());

Price range: $30.61 - $40.00

Beräkna percentiler

public class BookSalesExample {
    public static void main(String[] args) {
        // 50th percentile = median
        System.out.printf("Median price: $%.2f%n", stats.getPercentile(50));

        System.out.printf("Normal range: $%.2f - $%.2f%n",
                stats.getPercentile(25), stats.getPercentile(75));
    }
}

Median price: $38.00

Normal range: $30.61 - $40.00

Statistik som kvalitetskontroll

Metoder i DescriptiveStatistics
- .getMean(): genomsnittspris
- .getMin(), .getMax(): prisintervall
- .getPercentile(): typiska priser
Identifiera problem genom att granska prisintervall
Fördelar
- Snabb problemidentifiering
- Fungerar för stora datamängder
- Ersätter manuell granskning

En bunt böcker

Nu kör vi en övning!

Datarensning i Java