Optimisation des tables Delta Lake

Transformer et analyser des données avec Microsoft Fabric

Luis Silva

Solution Architect - Data & AI

Qu'est-ce que Delta Lake ?

  • Couche d'entreposage libre pour les lakehouses
  • Transactions ACID, gestion des métadonnées et contrôle de versions
  • Fabric utilise le format de table Delta Lake (Parquet) comme norme
  • Interopérabilité entre les expériences Fabric

Schéma de l'architecture Fabric montrant des données ingérées et stockées comme tables Delta Lake, puis interrogées avec Power BI

Transformer et analyser des données avec Microsoft Fabric

Entretien des tables

  • Garder les tables Delta en bon état
  • Opérations d'entretien de table :
    • Optimize
    • V-Order
    • Vacuum
Transformer et analyser des données avec Microsoft Fabric

Optimize

  • Regrouper plusieurs petits fichiers Parquet en un gros fichier
    • Taille idéale entre 128 Mo et 1 Go
    • Meilleure compression et distribution : lectures plus efficaces
    • À exécuter après le chargement de grandes tables

Schéma représentant une table lakehouse composée d'une douzaine de petits fichiers Parquet optimisée en deux gros fichiers Parquet. Les fichiers d'origine restent inactifs

Transformer et analyser des données avec Microsoft Fabric

Optimize

  • Regrouper plusieurs petits fichiers Parquet en un gros fichier
    • Taille idéale entre 128 Mo et 1 Go
    • Meilleure compression et distribution : lectures plus efficaces
    • À exécuter après le chargement de grandes tables

Schéma représentant une table lakehouse composée d'une douzaine de petits fichiers Parquet optimisée en deux gros fichiers Parquet. Les fichiers d'origine restent inactifs

Transformer et analyser des données avec Microsoft Fabric

Exécuter la commande Optimize depuis l'explorateur Lakehouse

Capture d'écran de la commande Maintenance dans l'explorateur Lakehouse, avec l'option Run OPTIMIZE command en surbrillance

Transformer et analyser des données avec Microsoft Fabric

Exécuter Optimize en Spark SQL

%%sql
OPTIMIZE <lakehouse>.<table>;
Transformer et analyser des données avec Microsoft Fabric

Exécuter Optimize en PySpark

from delta.tables import DeltaTable

dt = DeltaTable.forPath( spark, "Tables/<table>" )
dt.optimize().executeCompaction()
Transformer et analyser des données avec Microsoft Fabric

V-Order

  • Optimisation spéciale appliquée à l'écriture des fichiers Parquet
  • Activée par défaut
Transformer et analyser des données avec Microsoft Fabric

Appliquer V-Order depuis l'explorateur Lakehouse

Capture d'écran de la commande Maintenance dans l'explorateur Lakehouse, avec l'option Apply V-ORDER en surbrillance

Transformer et analyser des données avec Microsoft Fabric

Contrôler l'écriture V-Order dans une session Apache Spark

  • Activer V-Order pour la session

    %%sql 
SET spark.sql.parquet.vorder.enabled=TRUE

     

  • Désactiver V-Order pour la session

    %%sql 
SET spark.sql.parquet.vorder.enabled=FALSE
Transformer et analyser des données avec Microsoft Fabric

Appliquer V-Order lors de l'optimisation d'une table

%%sql 
OPTIMIZE <table|fileOrFolderPath> VORDER;
Transformer et analyser des données avec Microsoft Fabric

Vacuum

  • Supprimer les anciens fichiers inutiles dépassant le seuil de rétention
  • Réduire les coûts d'entreposage infonuagique

Schéma représentant une table lakehouse composée de deux gros fichiers Parquet actifs et d'une douzaine de petits fichiers Parquet inactifs mais encore stockés. Après Vacuum, les anciens fichiers sont supprimés du stockage

Transformer et analyser des données avec Microsoft Fabric

Vacuum

  • Supprimer les anciens fichiers inutiles dépassant le seuil de rétention
  • Réduire les coûts d'entreposage infonuagique

Schéma représentant une table lakehouse composée de deux gros fichiers Parquet actifs et d'une douzaine de petits fichiers Parquet inactifs mais encore stockés. Après Vacuum, les anciens fichiers sont supprimés du stockage

Transformer et analyser des données avec Microsoft Fabric

Exécuter Vacuum depuis l'explorateur Lakehouse

Capture d'écran de la commande Maintenance dans l'explorateur Lakehouse, avec l'option Run VACUUM en surbrillance

Transformer et analyser des données avec Microsoft Fabric

Passons à la pratique !

Transformer et analyser des données avec Microsoft Fabric

Preparing Video For Download...