Statistiques des données

Nettoyer des données en Java

Dennis Lee

Software Engineer

Rencontrez votre instructeur !

Dennis Lee

Ingénieur logiciel chez Amazon
Technologie et opérations
Doctorat en génie électrique et informatique

Instructor photo

Pourquoi nettoyer les données compte

Titre	Date de parution	Note	Nb d’avis	Prix
[null]	1/10/23	4.8	165	$30.61
	9/13/19	4.8	2,521	$38.00
Clean Code	8/1/08	4.7	5,639	$400.00

Données sales : ventes perdues, confusion client, prévisions peu fiables
Solution : nettoyer les données

Plan du cours

Évaluer la qualité des données

Plan du cours

Évaluer la qualité des données
Transformer les données

Plan du cours

Évaluer la qualité des données
Transformer les données
Valider les données

Plan du cours

Évaluer la qualité des données
Transformer les données
Valider les données
Nettoyer les données tabulaires

Structurer nos données

import java.time.LocalDate;

public class BookSalesExample {
    private record BookSales(String title, LocalDate publishDate, 
                             int reviewCount,  double rating, double price) {}}

book.rating() // book is an instance of BookSales

Titre	Date de parution	Note	Nb d’avis	Prix
Python Crash Course	1/10/23	4.8	165	$30.61
The Pragmatic Programmer	9/13/19	4.8	2,521	$38.00
Clean Code	8/1/08	4.7	5,639	$40.00

Alimenter l’ensemble de données

import java.time.LocalDate;
import java.util.Arrays;
import java.util.List;

// Create books with title, publishDate, reviewCount, rating, and price
List<BookSales> books = Arrays.asList(
        new BookSales("Python Crash Course", LocalDate.of(2023, 1, 10),
                      165, 4.8, 30.61),
        new BookSales("The Pragmatic Programmer", LocalDate.of(2019, 9, 13),
                      2521, 4.5, 38.00),
        new BookSales("Clean Code", LocalDate.of(2008, 8, 1),
                      5639, 4.7, 40.00));

Calculer moyenne, min, max

import org.apache.commons.math3.stat.descriptive.DescriptiveStatistics;


public class BookSalesExample {
    public static void main(String[] args) {
        // Create stats calculator
        DescriptiveStatistics stats = new DescriptiveStatistics();
        // Add each book's price to stats
        books.forEach(book -> stats.addValue(book.getPrice()));
    }
}

Exemple de sortie : plage de prix

System.out.printf("Books analyzed: %d%n", books.size());

Books analyzed: 3

System.out.printf("Average price: $%.2f%n", stats.getMean());

Average price: $36.20

System.out.printf("Price range: $%.2f - $%.2f%n", stats.getMin(), stats.getMax());

Price range: $30.61 - $40.00

Calculer des percentiles

public class BookSalesExample {
    public static void main(String[] args) {
        // 50th percentile = median
        System.out.printf("Median price: $%.2f%n", stats.getPercentile(50));

        System.out.printf("Normal range: $%.2f - $%.2f%n",
                stats.getPercentile(25), stats.getPercentile(75));
    }
}

Median price: $38.00

Normal range: $30.61 - $40.00

Les statistiques comme contrôle qualité

Méthodes DescriptiveStatistics
- .getMean() : prix moyen
- .getMin(), .getMax() : plage de prix
- .getPercentile() : prix typiques
Repérer les problèmes via les plages de prix
Avantages
- Détection rapide des problèmes
- Passe à l’échelle sur de grands jeux de données
- Remplace l’inspection manuelle

Pile de livres

Passons à la pratique !

Nettoyer des données en Java