Techniques avancées de manipulation de données

Importer des données en Java

Anthony Markham

VP Quant Developer

Suppression et ajout de colonnes

Supprimer les colonnes inutiles avec .drop()
Ajouter des colonnes pré-calculées ou catégorielles avec .addColumns()
- Le nombre de lignes doit être identique ❗

// Supprimer des colonnes spécifiques
Table cleaned = dataTable.drop("TempID", "Notes");


// Ajouter deux nouvelles colonnes
StringColumn statusCol = StringColumn.create("Status", "Active", "Inactive", "Active");
IntColumn priorityCol = IntColumn.create("Priority", 1, 2, 3);

Table enhanced = dataTable.addColumns(statusCol, priorityCol);

Filtrage de lignes avec .dropWhere()

Supprime les lignes correspondantes
Utilise Selection pour les critères de filtrage

// Créer une condition de sélection
Selection outliers = dataTable.doubleColumn("Value")
    .isLessThan(lowerBound)
    .or(dataTable.doubleColumn("Value")
        .isGreaterThan(upperBound));


// Supprimer les lignes correspondant à la condition
Table cleanedData = dataTable.dropWhere(outliers);

Comptage de lignes

.rowCount() - compte le nombre de lignes dans une table

// Comparer le nombre de lignes
System.out.println("Lignes originales : " + dataTable.rowCount());
System.out.println("Après suppression des valeurs aberrantes : " + 
    cleanedData.rowCount());

Lignes originales : 100
Après suppression des valeurs aberrantes : 95

Filtrage booléen

Prend en charge les méthodes and, or, not

// Filtrage booléen complexe
Selection techHighPaid = dataTable.stringColumn("Department")
    .isEqualTo("Technology")
    .and(dataTable.doubleColumn("Salary")
        .isGreaterThan(100000));


// Sélection inverse (NOT)
Selection nonTechOrLowPaid = techHighPaid.not();

Transformation avec .map()

Applique une fonction pour transformer les valeurs des colonnes
Prend en charge les expressions lambda, rendant le code lisible

// Transformer une colonne entière avec une fonction prédéfinie
StringColumn upperNames = dataTable.stringColumn("Name").map(s -> s.toUpperCase());

// Transformer les valeurs d'une colonne
DoubleColumn prices = dataTable.doubleColumn("Price");
DoubleColumn discounted = prices.map(price -> price * 0.9);


// Définir un nom et ajouter une colonne
discounted.setName("DiscountedPrice");
Table withDiscounts = dataTable.addColumns(discounted);

Résumé

.drop() - Supprimer des colonnes de la table
.dropWhere() - Supprimer des lignes selon une condition
.addColumns() - Ajouter de nouvelles colonnes à la table
.map() - Transformer les valeurs des colonnes

// Méthodes de manipulation avancées
 dataTable.drop("TemporaryID");              
dataTable.dropWhere(selection);             
dataTable.addColumns(newColumn);            
doubleCol.map(value -> value * 2);

Passons à la pratique !

Importer des données en Java