Статистика данных

Очистка данных на Java

Dennis Lee

Software Engineer

Познакомьтесь с инструктором!

 

Dennis Lee

 

  • Инженер-программист в Amazon
  • Технологии и операции
  • Доктор наук в области электротехники и компьютерной инженерии

 

Фото инструктора

Очистка данных на Java

Почему важны чистые данные

 

Название Дата публикации Рейтинг Кол-во отзывов Цена
[null] 1/10/23 4.8 165 $30.61
9/13/19 4.8 2,521 $38.00
Clean Code 8/1/08 4.7 5,639 $400.00

 

  • Грязные данные: потери продаж, путаница у клиентов, ненадёжные прогнозы
  • Решение: очистить данные
Очистка данных на Java

План курса

  1. Оценка качества данных

 

1_Ch1_L1_.jpg

Очистка данных на Java

План курса

  1. Оценка качества данных
  2. Преобразование данных

 

2_Ch1_L1_.jpg

Очистка данных на Java

План курса

  1. Оценка качества данных
  2. Преобразование данных
  3. Проверка данных

 

3_Ch1_L1_.jpg

Очистка данных на Java

План курса

  1. Оценка качества данных
  2. Преобразование данных
  3. Проверка данных
  4. Очистка табличных данных

 

4_Ch1_L1_.jpg

Очистка данных на Java

Структура данных

import java.time.LocalDate;

public class BookSalesExample {
    private record BookSales(String title, LocalDate publishDate, 
                             int reviewCount,  double rating, double price) {}}

book.rating() // book is an instance of BookSales
Название Дата публикации Рейтинг Кол-во отзывов Цена
Python Crash Course 1/10/23 4.8 165 $30.61
The Pragmatic Programmer 9/13/19 4.8 2,521 $38.00
Clean Code 8/1/08 4.7 5,639 $40.00
Очистка данных на Java

Заполнение набора данных

import java.time.LocalDate;
import java.util.Arrays;
import java.util.List;

// Create books with title, publishDate, reviewCount, rating, and price
List<BookSales> books = Arrays.asList(
        new BookSales("Python Crash Course", LocalDate.of(2023, 1, 10),
                      165, 4.8, 30.61),
        new BookSales("The Pragmatic Programmer", LocalDate.of(2019, 9, 13),
                      2521, 4.5, 38.00),
        new BookSales("Clean Code", LocalDate.of(2008, 8, 1),
                      5639, 4.7, 40.00));
Очистка данных на Java

Вычисление среднего, минимума и максимума

import org.apache.commons.math3.stat.descriptive.DescriptiveStatistics;


public class BookSalesExample {
    public static void main(String[] args) {
        // Create stats calculator
        DescriptiveStatistics stats = new DescriptiveStatistics();
        // Add each book's price to stats
        books.forEach(book -> stats.addValue(book.getPrice()));
    }
}
Очистка данных на Java

Пример вывода: диапазон цен

System.out.printf("Books analyzed: %d%n", books.size());

Books analyzed: 3

System.out.printf("Average price: $%.2f%n", stats.getMean());

Average price: $36.20

System.out.printf("Price range: $%.2f - $%.2f%n", stats.getMin(), stats.getMax());

Price range: $30.61 - $40.00
Очистка данных на Java

Вычисление перцентилей

public class BookSalesExample {
    public static void main(String[] args) {
        // 50th percentile = median
        System.out.printf("Median price: $%.2f%n", stats.getPercentile(50));

        System.out.printf("Normal range: $%.2f - $%.2f%n",
                stats.getPercentile(25), stats.getPercentile(75));
    }
}

Median price: $38.00

Normal range: $30.61 - $40.00
Очистка данных на Java

Статистика как контроль качества

  • Методы DescriptiveStatistics
    • .getMean(): средняя цена
    • .getMin(), .getMax(): диапазон цен
    • .getPercentile(): типичные цены
  • Выявление проблем через анализ диапазонов цен
  • Преимущества
    • Быстрое обнаружение ошибок
    • Работает с большими наборами данных
    • Заменяет ручную проверку

Стопка книг

Очистка данных на Java

Давайте потренируемся!

Очистка данных на Java

Preparing Video For Download...