डेटा सांख्यिकी

Java में डेटा क्लीनिंग

Dennis Lee

Software Engineer

अपने प्रशिक्षक से मिलें!

Dennis Lee

Amazon में सॉफ्टवेयर इंजीनियर
टेक्नोलॉजी और ऑपरेशंस
Electrical and Computer Engineering में Ph.D.

प्रशिक्षक का फोटो

डेटा साफ क्यों मायने रखता है

Title	Publish Date	Rating	Review Count	Price
[null]	1/10/23	4.8	165	$30.61
	9/13/19	4.8	2,521	$38.00
Clean Code	8/1/08	4.7	5,639	$400.00

गंदा डेटा: बिक्री का नुकसान, ग्राहक भ्रम, अविश्वसनीय पूर्वानुमान
समाधान: डेटा साफ करें

कोर्स रूपरेखा

डेटा गुणवत्ता का आकलन करें

कोर्स रूपरेखा

डेटा गुणवत्ता का आकलन करें
डेटा ट्रांसफॉर्म करें

कोर्स रूपरेखा

डेटा गुणवत्ता का आकलन करें
डेटा ट्रांसफॉर्म करें
डेटा वैलिडेट करें

कोर्स रूपरेखा

डेटा गुणवत्ता का आकलन करें
डेटा ट्रांसफॉर्म करें
डेटा वैलिडेट करें
टैब्युलर डेटा साफ करें

हमारा डेटा स्ट्रक्चर करना

import java.time.LocalDate;

public class BookSalesExample {
    private record BookSales(String title, LocalDate publishDate, 
                             int reviewCount,  double rating, double price) {}}

book.rating() // book is an instance of BookSales

Title	Publish Date	Rating	Review Count	Price
Python Crash Course	1/10/23	4.8	165	$30.61
The Pragmatic Programmer	9/13/19	4.8	2,521	$38.00
Clean Code	8/1/08	4.7	5,639	$40.00

डेटासेट को पॉप्युलेट करना

import java.time.LocalDate;
import java.util.Arrays;
import java.util.List;

// Create books with title, publishDate, reviewCount, rating, and price
List<BookSales> books = Arrays.asList(
        new BookSales("Python Crash Course", LocalDate.of(2023, 1, 10),
                      165, 4.8, 30.61),
        new BookSales("The Pragmatic Programmer", LocalDate.of(2019, 9, 13),
                      2521, 4.5, 38.00),
        new BookSales("Clean Code", LocalDate.of(2008, 8, 1),
                      5639, 4.7, 40.00));

Mean, min, max निकालना

import org.apache.commons.math3.stat.descriptive.DescriptiveStatistics;


public class BookSalesExample {
    public static void main(String[] args) {
        // Create stats calculator
        DescriptiveStatistics stats = new DescriptiveStatistics();
        // Add each book's price to stats
        books.forEach(book -> stats.addValue(book.getPrice()));
    }
}

उदाहरण आउटपुट: प्राइस रेंज

System.out.printf("Books analyzed: %d%n", books.size());

Books analyzed: 3

System.out.printf("Average price: $%.2f%n", stats.getMean());

Average price: $36.20

System.out.printf("Price range: $%.2f - $%.2f%n", stats.getMin(), stats.getMax());

Price range: $30.61 - $40.00

प्रतिशतक (percentiles) निकालना

public class BookSalesExample {
    public static void main(String[] args) {
        // 50th percentile = median
        System.out.printf("Median price: $%.2f%n", stats.getPercentile(50));

        System.out.printf("Normal range: $%.2f - $%.2f%n",
                stats.getPercentile(25), stats.getPercentile(75));
    }
}

Median price: $38.00

Normal range: $30.61 - $40.00

क्वालिटी कंट्रोल के रूप में सांख्यिकी

DescriptiveStatistics मेथड्स
- .getMean(): औसत प्राइस
- .getMin(), .getMax(): प्राइस रेंज
- .getPercentile(): सामान्य प्राइस
प्राइस रेंज देखकर समस्याएँ पहचानें
लाभ
- त्वरित समस्या-पहचान
- बड़े डेटासेट पर स्केलेबल
- मैन्युअल जाँच की जगह लेता है

किताबों का ढेर

अभ्यास करते हैं!

Java में डेटा क्लीनिंग