Tvinga fram ett schema

Introduktion till MongoDB i Python

Filip Schouwenaars

Machine Learning Researcher

Från flexibelt till validerat schema

MongoDB låter dig lagra data utan ett fast schema
Bra för snabb prototyputveckling och ett föränderligt dataschema

mov.insert_one({
    "title": "knives out",
    "genre": ["comedy", "crime", "drama"],
    "year": 2019, # oops
    "rating": 7.9,
})


mov.find_one({
  "title": "knives out",
  "release_year": 2019
})

När schemat är klart är det viktigt att konfigurera validering

Tvinga fram ett schema med pydantic

Bibliotek för datavalidering
Definiera förväntade fält och deras typer
En mall för varje dokument

from pydantic import BaseModel
from typing import Optional

class Movie(BaseModel):
    title: str
    genre: list[str]
    release_year: int
    rating: float
    won_oscar: Optional[bool] = None

Infoga data med typade datamodeller

# Before
new_movie = {
  "title": "knives out",
  "genre": ["comedy", "crime", "drama"],
  "year": 2019, # oops
  "rating": 7.9,
}

# No output

Ingen kontroll av dataformatet

# Now
new_movie = Movie(
  title = "knives out",
  genre = ["comedy", "crime", "drama"],
  year = 2019, # oops
  rating = 7.9,
)

pydantic.error_wrappers.ValidationError:
1 validation error for Movie
release_year: field required

Stavfel och saknade fält fångas upp innan de hamnar i samlingen!

Rätta till vårt misstag

from pydantic import BaseModel
from typing import Optional

class Movie(BaseModel):
    title: str
    genre: list[str]
    release_year: int
    rating: float
    won_oscar: Optional[bool] = None

# Correct set of fields and field values
new_movie = Movie(
  title = "knives out",
  genre = ["comedy", "crime", "drama"],
  release_year = 2019,
  rating = 7.9,
)


mov.insert_one(dict(new_movie))

InsertOneResult(...)

MongoDBs inbyggda schemavalidering

client.film.create_collection(
  "movies_v2",
  validator={
    "$jsonSchema": {
      "required": ["title", "genre", "release_year", "rating"],
      "properties": {
        "title": { "bsonType": "string" },
        "genre": { 
          "bsonType": "array",
          "items": { "bsonType": "string" }
        },
        "release_year": { "bsonType": "int" },
        "rating": { "bsonType": "double" },
        "won_oscar": { "bsonType": "bool" }
      }
    }
  }
)

Testa MongoDBs inbyggda schemavalidering

client.film.movies_v2.insert_one({
  "title": "knives out",
  "genre": ["comedy", "crime", "drama"],
  "year": 2019, # oops
  "rating": 7.9,
})

pymongo.errors.WriteError: Document failed validation, [...]
'missingProperties': ['release_year'], 'errmsg': 'Document failed validation'}

Schemavalidering på databasnivå
Fungerar för alla applikationer som ansluter till MongoDB

Sammanfattning

Validering på applikationssidan: pydantic.BaseModel
Validering på databassidan: MongoDBs inbyggda schemavalidering
Förhindra misstag
Upprätthåll struktur

Nu kör vi en övning!

Introduktion till MongoDB i Python