Grunderna i dataimport

Importera data i Java

Anthony Markham

VP Quant Developer

Möt din instruktör!

Anthony Markham

VP, Quantitative Developer/Analytics Lead
C++/Java/Python-utvecklare inom investment banking
Erfarenhet av universitetsundervisning

Anthony Markham

Grunderna i dataimport

Grundläggande för att bearbeta extern information i Java-applikationer
Vanliga format: CSV (kommaseparerade värden), JSON och Excel

Flödesschema som visar de fem stegen i importarbetsflödet

Java erbjuder robusta verktyg i paketen java.io och java.nio

Grundläggande filhantering

Klassen File representerar filer eller kataloger
Metoder som exists(), length() och isDirectory() används för att validera filen

import java.io.File;

File dataFile = new File("data.csv");
boolean exists = dataFile.exists();
long size = dataFile.length();
boolean isDirectory = dataFile.isDirectory();

Gränssnittet Path och klassen Files

Gränssnittet Path och klassen Files ger moderna filoperationer (java.nio)
Fördelar: Större flexibilitet, bättre undantagshantering och bättre prestanda
java.io för enkla filoperationer; java.nio för högpresterande in- och utdataoperationer

import java.nio.file.Path;
import java.nio.file.Paths;
import java.nio.file.Files;

Path dataPath = Paths.get("data.csv");

boolean exists = Files.exists(dataPath);
long size = Files.size(dataPath);

Läsa textfiler

Files.readAllLines(): Läser hela filen till en List<String> (ett element per rad)
Files.readString(): Läser hela filen till en enda sträng

Path file = Paths.get("data.csv");

// Read all lines at once
List<String> lines = Files.readAllLines(file);
// Read entire file as a string
String content = Files.readString(file);

Hela filen läses in i minnet 🛑

Datavalidering

Säkerställer datakvaliteten innan bearbetning
Kontrollera datakvalitet och struktur
Utför vanliga valideringar
Hantera eventuella Exception

Datavalideringskontroller

Datavalidering

Vanliga kontroller: verifiera att filen inte är tom, bekräfta obligatoriska kolumner i headern
Hantera Exception med ett try-catch-block ✅

try {
  Path file = Paths.get("data.csv");
  List<String> lines = Files.readAllLines(file);
  if (lines.isEmpty()) { // Validate file has content
      System.out.println("Warning: File is empty");}

  String header = lines.get(0);
  if (!header.contains("id") || !header.contains("name")) {    // Check header
      System.out.println("Error: File missing required columns");
} catch (Exception e) {
    System.out.println("Error reading file: " + e.getMessage());}

Sammanfattning

Klass/Gränssnitt	Metod	Beskrivning
`File`	`new File()`	Skapar en abstrakt representation av en filsökväg
`File`	`exists()`	Kontrollerar om en fil finns
`File`	`length()`	Hämtar filstorleken i byte
`Paths`	`get()`	Skapar ett Path-objekt från en sträng
`Files`	`exists()`	Kontrollerar om en fil finns (modernt API)
`Files`	`size()`	Hämtar filstorleken i byte (modernt API)
`Files`	`readAllLines()`	Läser hela filen till List<String>
`Files`	`readString()`	Läser hela filen till en enda String

¹ https://docs.oracle.com/javase/8/docs/api/java/nio/file/Files.html

Nu kör vi en övning!

Importera data i Java