Basisprincipes van data-import begrijpen

Data importeren in Java

Anthony Markham

VP Quant Developer

Ontmoet je instructeur!

Anthony Markham

VP, Quantitatieve Ontwikkelaar/Analytics Lead
C++/Java/Python ontwikkelaar in investment banking
Ervaring in universitair onderwijs

Anthony Markham

Basisprincipes van data-import

Essentieel voor het verwerken van externe informatie in Java-applicaties
Veelvoorkomende formaten zijn CSV (comma-separated values), JSON en Excel

Stroomdiagram met de vijf stappen in de importworkflow

Java biedt robuuste tools in java.io en java.nio pakketten

Basisprincipes van bestandsbeheer

De File klasse vertegenwoordigt bestanden of mappen
Methoden zoals exists(), length(), en isDirectory() laten ons ons bestand valideren

import java.io.File;

File dataFile = new File("data.csv");
boolean exists = dataFile.exists();
long size = dataFile.length();
boolean isDirectory = dataFile.isDirectory();

De Path interface en Files klasse

Path interface en Files klasse bieden moderne bestandsbewerkingen (java.nio)
Voordelen: Meer flexibiliteit, betere foutafhandeling en prestaties
java.io voor eenvoudige bestandsbewerkingen; java.nio voor high-performance input/output bewerkingen

import java.nio.file.Path;
import java.nio.file.Paths;
import java.nio.file.Files;

Path dataPath = Paths.get("data.csv");

boolean exists = Files.exists(dataPath);
long size = Files.size(dataPath);

Tekstbestanden lezen

Files.readAllLines(): Leest het hele bestand in List<String> (één element per regel)
Files.readString(): Leest het hele bestand als één string

Path file = Paths.get("data.csv");

// Lees alle regels in één keer
List<String> lines = Files.readAllLines(file);
// Lees het hele bestand als een string
String content = Files.readString(file);

Het hele bestand wordt in het geheugen geladen 🛑

Datavalidatie

Zorgt voor datakwaliteit vóór verwerking
Controleer datakwaliteit en structuur
Voer veelvoorkomende validaties uit
Behandel elke Exception

Datavalidatiecontroles

Datavalidatie

Veelvoorkomende controles: controleren of het bestand niet leeg is, vereiste kolommen in de header bevestigen
Behandel Exception met een try-catch blok ✅

try {
  Path file = Paths.get("data.csv");
  List<String> lines = Files.readAllLines(file);
  if (lines.isEmpty()) { // Valideer dat bestand inhoud heeft
      System.out.println("Waarschuwing: Bestand is leeg");}

  String header = lines.get(0);
  if (!header.contains("id") || !header.contains("name")) {    // Controleer header
      System.out.println("Fout: Bestand mist vereiste kolommen");
} catch (Exception e) {
    System.out.println("Fout bij lezen bestand: " + e.getMessage());}

Samenvatting

Klasse/Interface	Methode	Beschrijving
`File`	`new File()`	Creëert een abstracte representatie van een bestandspad
`File`	`exists()`	Controleert of een bestand bestaat
`File`	`length()`	Haalt bestandsgrootte in bytes op
`Paths`	`get()`	Creëert een Path-object van een string
`Files`	`exists()`	Controleert of een bestand bestaat (moderne API)
`Files`	`size()`	Haalt bestandsgrootte in bytes op (moderne API)
`Files`	`readAllLines()`	Leest het hele bestand in List<String>
`Files`	`readString()`	Leest het hele bestand als een enkele String

¹ https://docs.oracle.com/javase/8/docs/api/java/nio/file/Files.html

Laten we oefenen!

Data importeren in Java