Объединение и слияние данных

Преобразование и анализ данных с Microsoft Fabric

Luis Silva

Solution Architect - Data & AI

Инструменты для слияния данных

Иконки трёх инструментов: SQL, Spark и Dataflows

Основы слияния данных

Объединение таблиц по общим столбцам.
Удобно при построении схем «звезда».
Основная операция: JOIN двух таблиц (левой и правой).

Основы слияния данных

Объединение таблиц по общим столбцам.
Удобно при построении схем «звезда».
Основная операция: JOIN двух таблиц (левой и правой).

Диаграмма, иллюстрирующая слияние двух таблиц

Виды JOIN

INNER JOIN: возвращает записи, имеющие совпадения в обеих таблицах.

Диаграмма двух таблиц — левой и правой — с выделенным пересечением как результатом операции INNER JOIN

Виды JOIN

INNER JOIN: возвращает записи, имеющие совпадения в обеих таблицах.
LEFT OUTER JOIN: возвращает все записи из левой таблицы и совпадающие записи из правой.

Диаграмма двух таблиц — левой и правой — с выделенной левой таблицей и пересечением как результатом операции LEFT OUTER JOIN

Виды JOIN

INNER JOIN: возвращает записи, имеющие совпадения в обеих таблицах.
LEFT OUTER JOIN: возвращает все записи из левой таблицы и совпадающие записи из правой.
RIGHT OUTER JOIN: возвращает все записи из правой таблицы и совпадающие записи из левой.

Диаграмма двух таблиц — левой и правой — с выделенной правой таблицей и пересечением как результатом операции RIGHT OUTER JOIN

Виды JOIN

INNER JOIN: возвращает записи, имеющие совпадения в обеих таблицах.
LEFT OUTER JOIN: возвращает все записи из левой таблицы и совпадающие записи из правой.
RIGHT OUTER JOIN: возвращает все записи из правой таблицы и совпадающие записи из левой.
FULL OUTER JOIN: возвращает все записи при наличии совпадения в любой из таблиц.

Диаграмма двух таблиц — левой и правой — с выделенным объединением как результатом операции FULL OUTER JOIN

Слияние таблиц с помощью SQL

Оператор JOIN

Синтаксис:

SELECT 
  <columns> 
  ... 
FROM <Left_Table>
INNER | LEFT | RIGHT | FULL JOIN <Right_Table> 
  ON <Left_Table>.<Join_Column> = <Right_Table>.<Join_Column>;

Слияние таблиц с помощью PySpark

Функция join()

Синтаксис:

<df_left>.join(
  <df_right,
  [<df_left>.<join_column> == <df_right>.<join_column>],
  how='inner' | 'left' | 'right | 'outer'
)

Слияние таблиц с помощью Dataflows

Объединение запросов
Объединение запросов в новый

Снимок экрана с диалогом «Объединение запросов» в Dataflow

Давайте потренируемся!

Преобразование и анализ данных с Microsoft Fabric