Fundamente ale importului de date

Importul datelor în Java

Anthony Markham

VP Quant Developer

Cunoașteți instructorul!

Anthony Markham

VP, Quantitative Developer/Analytics Lead
Dezvoltator C++/Java/Python în banking de investiții
Experiență în predare universitară

Anthony Markham

Fundamente ale importului de date

Esențial pentru procesarea datelor externe în aplicații Java
Formatele uzuale includ CSV, JSON și Excel

Diagramă cu cei cinci pași ai fluxului de import

Java oferă instrumente robuste în pachetele java.io și java.nio

Noțiuni de bază privind fișierele

Clasa File reprezintă fișiere sau directoare
Metodele exists(), length() și isDirectory() permit validarea fișierului

import java.io.File;

File dataFile = new File("data.csv");
boolean exists = dataFile.exists();
long size = dataFile.length();
boolean isDirectory = dataFile.isDirectory();

Interfața Path și clasa Files

Interfața Path și clasa Files oferă operații moderne (java.nio)
Avantaje: mai multă flexibilitate, gestionare mai bună a excepțiilor și performanță sporită
java.io pentru operații simple; java.nio pentru operații de intrare/ieșire de înaltă performanță

import java.nio.file.Path;
import java.nio.file.Paths;
import java.nio.file.Files;

Path dataPath = Paths.get("data.csv");

boolean exists = Files.exists(dataPath);
long size = Files.size(dataPath);

Citirea fișierelor text

Files.readAllLines(): Citește întregul fișier într-o List<String> (un element pe linie)
Files.readString(): Citește întregul fișier ca un singur șir

Path file = Paths.get("data.csv");

// Read all lines at once
List<String> lines = Files.readAllLines(file);
// Read entire file as a string
String content = Files.readString(file);

Întregul fișier este încărcat în memorie 🛑

Validarea datelor

Asigură calitatea datelor înainte de procesare
Verificați calitatea și structura datelor
Efectuați validări uzuale
Gestionați orice Exception

Verificări de validare a datelor

Validarea datelor

Verificări uzuale: fișierul nu este gol, coloanele obligatorii există în antet
Gestionați Exception cu un bloc try-catch ✅

try {
  Path file = Paths.get("data.csv");
  List<String> lines = Files.readAllLines(file);
  if (lines.isEmpty()) { // Validate file has content
      System.out.println("Warning: File is empty");}

  String header = lines.get(0);
  if (!header.contains("id") || !header.contains("name")) {    // Check header
      System.out.println("Error: File missing required columns");
} catch (Exception e) {
    System.out.println("Error reading file: " + e.getMessage());}

Rezumat

Clasă/Interfață	Metodă	Descriere
`File`	`new File()`	Creează o reprezentare abstractă a unui fișier
`File`	`exists()`	Verifică dacă fișierul există
`File`	`length()`	Returnează dimensiunea fișierului în octeți
`Paths`	`get()`	Creează un obiect Path dintr-un șir
`Files`	`exists()`	Verifică dacă fișierul există (API modern)
`Files`	`size()`	Returnează dimensiunea în octeți (API modern)
`Files`	`readAllLines()`	Citește fișierul într-un List<String>
`Files`	`readString()`	Citește fișierul ca un singur String

¹ https://docs.oracle.com/javase/8/docs/api/java/nio/file/Files.html

Să exersăm!

Importul datelor în Java