Techniques avancées de manipulation des données

Importer des données en Java

Anthony Markham

VP Quant Developer

Suppression et ajout de colonnes

Supprimez les colonnes inutiles avec .drop()
Ajoutez des colonnes précalculées ou catégorielles avec .addColumns()
- Le nombre de lignes doit être identique ❗

// Remove specific columns
Table cleaned = dataTable.drop("TempID", "Notes");


// Add two new columns
StringColumn statusCol = StringColumn.create("Status", "Active", "Inactive", "Active");
IntColumn priorityCol = IntColumn.create("Priority", 1, 2, 3);

Table enhanced = dataTable.addColumns(statusCol, priorityCol);

Filtrage des lignes avec .dropWhere()

Supprime les lignes correspondantes
Utilise Selection comme critère de filtrage

// Create a selection condition
Selection outliers = dataTable.doubleColumn("Value")
    .isLessThan(lowerBound)
    .or(dataTable.doubleColumn("Value")
        .isGreaterThan(upperBound));


// Remove rows matching the condition
Table cleanedData = dataTable.dropWhere(outliers);

Comptage des lignes

.rowCount() - compte le nombre de lignes d'une table

// Compare row counts
System.out.println("Original rows: " + dataTable.rowCount());
System.out.println("After dropping outliers: " + 
    cleanedData.rowCount());

Original rows: 100
After dropping outliers: 95

Filtrage booléen

Prend en charge les méthodes and, or, not

// Complex boolean filtering
Selection techHighPaid = dataTable.stringColumn("Department")
    .isEqualTo("Technology")
    .and(dataTable.doubleColumn("Salary")
        .isGreaterThan(100000));


// Inverse selection (NOT)
Selection nonTechOrLowPaid = techHighPaid.not();

Transformation avec .map()

Applique une fonction pour transformer les valeurs d'une colonne
Prend en charge les expressions lambda pour un code lisible

// Transform an entire column with a predefined function
StringColumn upperNames = dataTable.stringColumn("Name").map(s -> s.toUpperCase());

// Transform values in a column
DoubleColumn prices = dataTable.doubleColumn("Price");
DoubleColumn discounted = prices.map(price -> price * 0.9);


// Set a name and add a column
discounted.setName("DiscountedPrice");
Table withDiscounts = dataTable.addColumns(discounted);

Résumé

.drop() - supprimer des colonnes d'une table
.dropWhere() - supprimer les lignes correspondant à une condition
.addColumns() - ajouter de nouvelles colonnes à la table
.map() - transformer les valeurs d'une colonne

// Core advanced manipulation methods
dataTable.drop("TemporaryID");              
dataTable.dropWhere(selection);             
dataTable.addColumns(newColumn);            
doubleCol.map(value -> value * 2);

Passons à la pratique !

Importer des données en Java