Статистика даних

Очищення даних у Java

Dennis Lee

Software Engineer

Познайомтеся з інструктором!

Dennis Lee

Інженер-програміст в Amazon
Технології та операції
Ph.D. з електротехніки та комп'ютерної інженерії

Фото інструктора

Чому важливо чистити дані

Назва	Дата публікації	Рейтинг	Кількість відгуків	Ціна
[null]	1/10/23	4.8	165	$30.61
	9/13/19	4.8	2,521	$38.00
Clean Code	8/1/08	4.7	5,639	$400.00

Брудні дані: втрачені продажі, плутанина клієнтів, ненадійні прогнози
Рішення: очистіть дані

Опис курсу

Оцінити якість даних

Опис курсу

Оцінити якість даних
Трансформувати дані

Опис курсу

Оцінити якість даних
Трансформувати дані
Валідувати дані

Опис курсу

Оцінити якість даних
Трансформувати дані
Валідувати дані
Чистити табличні дані

Структурування даних

import java.time.LocalDate;

public class BookSalesExample {
    private record BookSales(String title, LocalDate publishDate, 
                             int reviewCount,  double rating, double price) {}}

book.rating() // book is an instance of BookSales

Назва	Дата публікації	Рейтинг	Кількість відгуків	Ціна
Python Crash Course	1/10/23	4.8	165	$30.61
The Pragmatic Programmer	9/13/19	4.8	2,521	$38.00
Clean Code	8/1/08	4.7	5,639	$40.00

Наповнення набору даних

import java.time.LocalDate;
import java.util.Arrays;
import java.util.List;

// Create books with title, publishDate, reviewCount, rating, and price
List<BookSales> books = Arrays.asList(
        new BookSales("Python Crash Course", LocalDate.of(2023, 1, 10),
                      165, 4.8, 30.61),
        new BookSales("The Pragmatic Programmer", LocalDate.of(2019, 9, 13),
                      2521, 4.5, 38.00),
        new BookSales("Clean Code", LocalDate.of(2008, 8, 1),
                      5639, 4.7, 40.00));

Обчислення середнього, мін., макс.

import org.apache.commons.math3.stat.descriptive.DescriptiveStatistics;


public class BookSalesExample {
    public static void main(String[] args) {
        // Create stats calculator
        DescriptiveStatistics stats = new DescriptiveStatistics();
        // Add each book's price to stats
        books.forEach(book -> stats.addValue(book.getPrice()));
    }
}

Приклад виводу: діапазон цін

System.out.printf("Books analyzed: %d%n", books.size());

Books analyzed: 3

System.out.printf("Average price: $%.2f%n", stats.getMean());

Average price: $36.20

System.out.printf("Price range: $%.2f - $%.2f%n", stats.getMin(), stats.getMax());

Price range: $30.61 - $40.00

Обчислення перцентилів

public class BookSalesExample {
    public static void main(String[] args) {
        // 50th percentile = median
        System.out.printf("Median price: $%.2f%n", stats.getPercentile(50));

        System.out.printf("Normal range: $%.2f - $%.2f%n",
                stats.getPercentile(25), stats.getPercentile(75));
    }
}

Median price: $38.00

Normal range: $30.61 - $40.00

Статистика як контроль якості

Методи DescriptiveStatistics
- .getMean(): середня ціна
- .getMin(), .getMax(): діапазон цін
- .getPercentile(): типові ціни
Виявляйте проблеми, переглядаючи діапазони цін
Переваги
- Швидке виявлення проблем
- Масштабується на великі набори даних
- Заміщує ручну перевірку

Стос книжок

Давайте потренуємось!

Очищення даних у Java