Plateforme d'intelligence des données - Données

Introduction à Databricks

Kevin Barlow

Data Analytics Practitioner

Pourquoi la gestion des données compte-t-elle pour les organisations ?

Protection et sécurité

Sécurité des données

Confiance dans les données

Analytique fiable

Introduction à Databricks

Types de données

Structurées
  • Les plus courantes et comprises
  • Lignes et colonnes typiques
  • Exemples :
    • tables de base de données
    • .csv
    • Parquet
    • Delta
id name occupation location
1 Kevin Data Scientist California
2 Tom Architect Arizona
3 Sally Lawyer Texas
4 Tina Surgeon Florida
5 Joe Engineer New York
Introduction à Databricks

Types de données

Semi-structurées
  • Courantes avec les appareils Web
  • Un peu de structure, contenu plus flexible
  • Exemples :
    • JSON
    • XML
    • HTML
{
  "people": [{
      "id": 1,
      "name": "Kevin",
      "occupation": "Data Scientist",
      "location": "California"},
    {
      "id": 2,
      "name": "Tom",
      "occupation": "Architect",
      "location": "Arizona"}]
}
Introduction à Databricks

Types de données

Non structurées
  • Courantes avec appareils intelligents, caméras, etc.
  • Peu de structure, riches en information
  • Exemples :
    • JPEG
    • PNG
    • MP4
    • PDF
    • DOC

Schéma de données non structurées

Introduction à Databricks

Delta

delta.io

  • Format de stockage ouvert
  • Ensemble de tables Parquet
  • Journal de transactions JSON
  • Entièrement conforme ACID
  • Jeux de données batch et en continu

Delta Lake

Introduction à Databricks

Unity Catalog

Modèle de données Unity Catalog

1 https://docs.databricks.com/en/data-governance/unity-catalog/index.html#the-unity-catalog-object-model
Introduction à Databricks

Unity Catalog

Modèle de données Unity Catalog

GRANT, SHOW, REVOKE, USE ...

Introduction à Databricks

Explorateur de catalogue

  • Un seul endroit pour explorer tous les actifs de données
  • IU pour découvrir les données
  • Gérer les autorisations Unity Catalog
  • Voir la lignée des données et les actifs liés

Capture d'écran de l'explorateur de catalogue

Introduction à Databricks

Passons à la pratique !

Introduction à Databricks

Preparing Video For Download...