Geavanceerde datamanipulatietechnieken

Data importeren in Java

Anthony Markham

VP Quant Developer

Kolommen verwijderen en toevoegen

Verwijder onnodige kolommen met .drop()
Voeg vooraf berekende of categorische kolommen toe met .addColumns()
- Aantal rijen moet gelijk zijn ❗

// Specifieke kolommen verwijderen
Table cleaned = dataTable.drop("TempID", "Notes");


// Twee nieuwe kolommen toevoegen
StringColumn statusCol = StringColumn.create("Status", "Active", "Inactive", "Active");
IntColumn priorityCol = IntColumn.create("Priority", 1, 2, 3);

Table enhanced = dataTable.addColumns(statusCol, priorityCol);

Rijfiltering met .dropWhere()

Verwijdert overeenkomende rijen
Gebruikt Selection voor filtercriteria

// Maak een selectievoorwaarde
Selection outliers = dataTable.doubleColumn("Value")
    .isLessThan(lowerBound)
    .or(dataTable.doubleColumn("Value")
        .isGreaterThan(upperBound));


// Verwijder rijen die aan de voorwaarde voldoen
Table cleanedData = dataTable.dropWhere(outliers);

Rijen tellen

.rowCount() - telt het aantal rijen in een tabel

// Vergelijk aantal rijen
System.out.println("Oorspronkelijke rijen: " + dataTable.rowCount());
System.out.println("Na verwijderen van uitschieters: " + 
    cleanedData.rowCount());

Oorspronkelijke rijen: 100
Na verwijderen van uitschieters: 95

Booleaanse filtering

Ondersteunt and, or, not methoden

// Complexe booleaanse filtering
Selection techHighPaid = dataTable.stringColumn("Department")
    .isEqualTo("Technology")
    .and(dataTable.doubleColumn("Salary")
        .isGreaterThan(100000));


// Omgekeerde selectie (NOT)
Selection nonTechOrLowPaid = techHighPaid.not();

Transformatie met .map()

Past een functie toe om kolomwaarden te transformeren
Ondersteunt lambda-expressies, wat de code leesbaar maakt

// Transformeer een hele kolom met een vooraf gedefinieerde functie
StringColumn upperNames = dataTable.stringColumn("Name").map(s -> s.toUpperCase());

// Waarden in een kolom transformeren
DoubleColumn prices = dataTable.doubleColumn("Price");
DoubleColumn discounted = prices.map(price -> price * 0.9);


// Stel een naam in en voeg een kolom toe
discounted.setName("DiscountedPrice");
Table withDiscounts = dataTable.addColumns(discounted);

Samenvatting

.drop() - Kolommen verwijderen uit tabel
.dropWhere() - Rijen verwijderen die aan een voorwaarde voldoen
.addColumns() - Nieuwe kolommen toevoegen aan tabel
.map() - Kolomwaarden transformeren

// Geavanceerde manipulatiemethoden
dataTable.drop("TemporaryID");              
dataTable.dropWhere(selection);             
dataTable.addColumns(newColumn);            
doubleCol.map(value -> value * 2);

Laten we oefenen!

Data importeren in Java