Хранение данных: типы хранилищ

Современные архитектуры данных

Miller Trujillo

Senior Software Engineer

Blob-хранилище

• BLOB = Binary Large Object
• Поддерживают все типы данных, включая неструктурированные
• Масштабируемость. Практически без ограничений
• Blob-хранилища доступны по цене!

Сценарии использования Blob-хранилищ

• Неструктурированные данные — хранение медиафайлов
• Резервное копирование и архивирование
• Зона приземления данных
• Доставка контента

SQL

	SQL-базы данных
Сценарии использования	Транзакционные приложения, сложные запросы, согласованность и целостность данных
Поддерживаемые данные	Структурированные данные (табличные)
Распространённые решения	AWS RDS, GCP Cloud SQL, Azure SQL Database — MySQL, PostgreSQL, Data warehouse

NoSQL

	NoSQL-базы данных
Сценарии использования	Высокая масштабируемость и нагрузка, согласованность в конечном счёте
Поддерживаемые данные	Полуструктурированные данные (JSON, XML, ключ-значение, граф и др.), временные ряды
Распространённые решения	MongoDB, AWS DynamoDB, GCP Firestore, Azure Cosmos DB, Hbase

Хранилища данных и озёра данных

• BigQuery, Redshift, Snowflake, Databricks
• Blob-хранилище (S3, Cloud Storage, Blob storage)
• Логическое разграничение
• ELT (Extract, load, transform)

Давайте потренируемся!

Современные архитектуры данных