Data Intelligence Platform - Data

Introductie tot Databricks

Kevin Barlow

Data Analytics Practitioner

Waarom geven organisaties om datamanagement?

Bescherming en beveiliging

Databeveiliging

Vertrouwen in data

Zeker analytics

Soorten data

Gestructureerd

Meest voorkomend en bekend
Typische rijen en kolommen
Voorbeelden:
- databasetabellen
- .csv
- Parquet
- Delta

id	naam	beroep	locatie
1	Kevin	Data Scientist	Californië
2	Tom	Architect	Arizona
3	Sally	Advocaat	Texas
4	Tina	Chirurg	Florida
5	Joe	Ingenieur	New York

Soorten data

Semi-gestructureerd

Vaak bij webgebaseerde apparaten
Enige structuur, flexibeler inhoud
Voorbeelden:
- JSON
- XML
- HTML

{
  "people": [{
      "id": 1,
      "name": "Kevin",
      "occupation": "Data Scientist",
      "location": "California"},
    {
      "id": 2,
      "name": "Tom",
      "occupation": "Architect",
      "location": "Arizona"}]
}

Soorten data

Ongestructureerd

Vaak bij slimme apparaten, camera’s, enz.
Weinig structuur, veel informatie
Voorbeelden:
- JPEG
- PNG
- MP4
- PDF
- DOC

Diagram ongestructureerde data

Delta

delta.io

Open-source opslagformaat
Verzameling van parquet-tabellen
JSON-transactielog
Volledig ACID-compatibel
Batch- en streamingdatasets

Unity Catalog

Unity Catalog-gegevensmodel

¹ https://docs.databricks.com/en/data-governance/unity-catalog/index.html#the-unity-catalog-object-model

Unity Catalog

Unity Catalog-gegevensmodel

GRANT, SHOW, REVOKE, USE ...

Catalog Explorer

Eén plek om alle data-assets te verkennen
UI om data te ontdekken
Unity Catalog-rechten beheren
Datalijn en gerelateerde assets bekijken

Catalog Explorer-schermafbeelding

Laten we oefenen!

Introductie tot Databricks