Застосування схеми

Вступ до MongoDB у Python

Filip Schouwenaars

Machine Learning Researcher

Від гнучкої до валідованої схеми

MongoDB дає змогу зберігати дані без фіксованої схеми
Чудово для швидкого прототипування й еволюції моделі даних

mov.insert_one({
    "title": "knives out",
    "genre": ["comedy", "crime", "drama"],
    "year": 2019, # oops
    "rating": 7.9,
})


mov.find_one({
  "title": "knives out",
  "release_year": 2019
})

Коли схема визначена, важливо налаштувати валідацію

Застосуйте схему з pydantic

Бібліотека для валідації даних
Визначте очікувані поля та їхні типи
«Креслення» для кожного документа

from pydantic import BaseModel
from typing import Optional

class Movie(BaseModel):
    title: str
    genre: list[str]
    release_year: int
    rating: float
    won_oscar: Optional[bool] = None

Вставка з типізованими моделями даних

# Before
new_movie = {
  "title": "knives out",
  "genre": ["comedy", "crime", "drama"],
  "year": 2019, # oops
  "rating": 7.9,
}

# No output

Немає перевірок формату даних

# Now
new_movie = Movie(
  title = "knives out",
  genre = ["comedy", "crime", "drama"],
  year = 2019, # oops
  rating = 7.9,
)

pydantic.error_wrappers.ValidationError:
1 validation error for Movie
release_year: field required

Описки й відсутні поля виявляються до потрапляння в колекцію!

Виправляємо помилку

from pydantic import BaseModel
from typing import Optional

class Movie(BaseModel):
    title: str
    genre: list[str]
    release_year: int
    rating: float
    won_oscar: Optional[bool] = None

# Правильний набір полів і значень
new_movie = Movie(
  title = "knives out",
  genre = ["comedy", "crime", "drama"],
  release_year = 2019,
  rating = 7.9,
)


mov.insert_one(dict(new_movie))

InsertOneResult(...)

Вбудована валідація схем у MongoDB

client.film.create_collection(
  "movies_v2",
  validator={
    "$jsonSchema": {
      "required": ["title", "genre", "release_year", "rating"],
      "properties": {
        "title": { "bsonType": "string" },
        "genre": { 
          "bsonType": "array",
          "items": { "bsonType": "string" }
        },
        "release_year": { "bsonType": "int" },
        "rating": { "bsonType": "double" },
        "won_oscar": { "bsonType": "bool" }
      }
    }
  }
)

Тестуємо вбудовану валідацію схеми MongoDB

client.film.movies_v2.insert_one({
  "title": "knives out",
  "genre": ["comedy", "crime", "drama"],
  "year": 2019, # oops
  "rating": 7.9,
})

pymongo.errors.WriteError: Document failed validation, [...]
'missingProperties': ['release_year'], 'errmsg': 'Document failed validation'}

Валідація схеми на рівні бази даних
Працює в усіх застосунках, що звертаються до MongoDB

Підсумок

Валідація на боці застосунку: pydantic.BaseModel
Валідація на боці бази: вбудована валідація схеми MongoDB
Запобігає помилкам
Забезпечує структуру

Давайте потренуємось!

Вступ до MongoDB у Python