Een schema afdwingen

Introductie tot MongoDB in Python

Filip Schouwenaars

Machine Learning Researcher

Van flexibel naar gevalideerd schema

MongoDB laat je data opslaan zonder vast schema
Ideaal voor snel prototypen en een evoluerend datamodel

mov.insert_one({
    "title": "knives out",
    "genre": ["comedy", "crime", "drama"],
    "year": 2019, # oeps
    "rating": 7.9,
})


mov.find_one({
  "title": "knives out",
  "release_year": 2019
})

Is het schema duidelijk? Stel validatie in

Een schema afdwingen met pydantic

Datavalidatiebibliotheek
Definieer vereiste velden en types
Blauwdruk voor elk document

from pydantic import BaseModel
from typing import Optional

class Movie(BaseModel):
    title: str
    genre: list[str]
    release_year: int
    rating: float
    won_oscar: Optional[bool] = None

Invoegen met getypeerde datamodellen

# Voor
new_movie = {
  "title": "knives out",
  "genre": ["comedy", "crime", "drama"],
  "year": 2019, # oeps
  "rating": 7.9,
}

# Geen output

Geen controles op dataformaat

# Nu
new_movie = Movie(
  title = "knives out",
  genre = ["comedy", "crime", "drama"],
  year = 2019, # oeps
  rating = 7.9,
)

pydantic.error_wrappers.ValidationError:
1 validation error for Movie
release_year: field required

Typfouten en missende velden worden vroegtijdig opgepakt!

Onze fout herstellen

from pydantic import BaseModel
from typing import Optional

class Movie(BaseModel):
    title: str
    genre: list[str]
    release_year: int
    rating: float
    won_oscar: Optional[bool] = None

# Juiste set velden en waarden
new_movie = Movie(
  title = "knives out",
  genre = ["comedy", "crime", "drama"],
  release_year = 2019,
  rating = 7.9,
)


mov.insert_one(dict(new_movie))

InsertOneResult(...)

Ingebouwde schema-validatie in MongoDB

client.film.create_collection(
  "movies_v2",
  validator={
    "$jsonSchema": {
      "required": ["title", "genre", "release_year", "rating"],
      "properties": {
        "title": { "bsonType": "string" },
        "genre": { 
          "bsonType": "array",
          "items": { "bsonType": "string" }
        },
        "release_year": { "bsonType": "int" },
        "rating": { "bsonType": "double" },
        "won_oscar": { "bsonType": "bool" }
      }
    }
  }
)

De ingebouwde schema-validatie testen

client.film.movies_v2.insert_one({
  "title": "knives out",
  "genre": ["comedy", "crime", "drama"],
  "year": 2019, # oeps
  "rating": 7.9,
})

pymongo.errors.WriteError: Document failed validation, [...]
'missingProperties': ['release_year'], 'errmsg': 'Document failed validation'}

Schema-validatie op databaseniveau
Werkt in alle apps die MongoDB gebruiken

Samenvatting

Validatie aan applicatiekant: pydantic.BaseModel
Validatie aan databasekant: ingebouwde schema-validatie van MongoDB
Voorkom fouten
Dwing structuur af

Laten we oefenen!

Introductie tot MongoDB in Python