Основи імпорту даних

Імпорт даних у Java

Anthony Markham

VP Quant Developer

Познайомтеся з інструктором!

Anthony Markham

Віцепрезидент, керівник розробки/аналітики
Розробник C++/Java/Python в інвестбанкінгу
Досвід викладання в університеті

Ентоні Маркгем

Основи імпорту даних

Необхідно для обробки зовнішніх даних у Java-застосунках
Поширені формати: CSV (comma-separated values), JSON і Excel

Блок-схема з п'ятьма кроками процесу імпорту

Java має потужні інструменти в пакетах java.io та java.nio

Основи роботи з файлами

Клас File представляє файли або каталоги
Методи exists(), length() і isDirectory() дають змогу перевірити файл

import java.io.File;

File dataFile = new File("data.csv");
boolean exists = dataFile.exists();
long size = dataFile.length();
boolean isDirectory = dataFile.isDirectory();

Інтерфейс Path і клас Files

Інтерфейс Path і клас Files надають сучасні файлові операції (java.nio)
Переваги: більше гнучкості, краща обробка винятків і продуктивність
java.io — для простих операцій; java.nio — для високопродуктивного введення/виведення

import java.nio.file.Path;
import java.nio.file.Paths;
import java.nio.file.Files;

Path dataPath = Paths.get("data.csv");

boolean exists = Files.exists(dataPath);
long size = Files.size(dataPath);

Читання текстових файлів

Files.readAllLines(): читає увесь файл у List<String> (по одному елементу на рядок)
Files.readString(): читає увесь файл в один рядок

Path file = Paths.get("data.csv");

// Read all lines at once
List<String> lines = Files.readAllLines(file);
// Read entire file as a string
String content = Files.readString(file);

Увесь файл завантажується в пам'ять 🛑

Валідація даних

Забезпечує якість даних до обробки
Перевірте якість і структуру даних
Виконайте типові перевірки
Обробляйте будь-які Exception

Перевірки валідації даних

Валідація даних

Поширені перевірки: файл не порожній; у заголовку є потрібні стовпці
Обробляйте Exception блоком try-catch ✅

try {
  Path file = Paths.get("data.csv");
  List<String> lines = Files.readAllLines(file);
  if (lines.isEmpty()) { // Validate file has content
      System.out.println("Warning: File is empty");}

  String header = lines.get(0);
  if (!header.contains("id") || !header.contains("name")) {    // Check header
      System.out.println("Error: File missing required columns");
} catch (Exception e) {
    System.out.println("Error reading file: " + e.getMessage());}

Підсумок

Клас/Інтерфейс	Метод	Опис
`File`	`new File()`	Створює абстрактне подання шляху до файла
`File`	`exists()`	Перевіряє, чи існує файл
`File`	`length()`	Повертає розмір файла в байтах
`Paths`	`get()`	Створює об'єкт Path зі рядка
`Files`	`exists()`	Перевіряє, чи існує файл (сучасний API)
`Files`	`size()`	Повертає розмір файла в байтах (сучасний API)
`Files`	`readAllLines()`	Читає увесь файл у List<String>
`Files`	`readString()`	Читає увесь файл в один String

¹ https://docs.oracle.com/javase/8/docs/api/java/nio/file/Files.html

Давайте потренуємось!

Імпорт даних у Java