Как ALS чередует шаги для генерации предсказаний

Построение рекомендательных систем с помощью PySpark

Jamen Long

Data Scientist at Nike

частично пустая матрица

Построение рекомендательных систем с помощью PySpark

частично пустая матрица с двумя полностью заполненными факторными матрицами

Построение рекомендательных систем с помощью PySpark

частично пустая матрица с двумя полностью заполненными факторными матрицами; одна факторная матрица помечена «скорректированная», остальные — «константа»

Построение рекомендательных систем с помощью PySpark

то же изображение с графиком: ось X — итерации, ось Y — RMSE; точка в верхней левой части графика

Построение рекомендательных систем с помощью PySpark

то же изображение с графиком: ось X — итерации, ось Y — RMSE; новая точка ниже по оси Y и правее по оси X, соединённая линией с предыдущей

Построение рекомендательных систем с помощью PySpark

то же изображение с графиком: ось X — итерации, ось Y — RMSE; ещё одна точка ниже по оси Y и правее по оси X, соединённая линией с предыдущей

Построение рекомендательных систем с помощью PySpark

то же изображение с несколькими точками, показывающими снижение RMSE по мере продолжения итераций модели

Построение рекомендательных систем с помощью PySpark

частично пустая матрица со стрелкой, ведущей к полностью заполненной аппроксимации другой матрицы

Построение рекомендательных систем с помощью PySpark

частично пустая матрица

Построение рекомендательных систем с помощью PySpark

частично пустая матрица с двумя полностью заполненными факторными матрицами

Построение рекомендательных систем с помощью PySpark

частично пустая матрица с выделенным значением и двумя факторными матрицами с выделенными строкой и столбцом

Построение рекомендательных систем с помощью PySpark

частично пустая матрица с другим выделенным значением и двумя факторными матрицами с выделенными строкой и столбцом

Построение рекомендательных систем с помощью PySpark

частично пустая матрица с ещё одним выделенным значением и двумя факторными матрицами с выделенными строкой и столбцом

Построение рекомендательных систем с помощью PySpark

частично пустая матрица с горизонтальными стрелками, указывающими на первое значение в каждой строке, и двумя факторными матрицами

Построение рекомендательных систем с помощью PySpark

частично пустая матрица с вертикальными стрелками вниз, указывающими на первое значение в каждом столбце, и двумя факторными матрицами

Построение рекомендательных систем с помощью PySpark

исходная матрица с двумя факторными матрицами, в которых выделены все значения

Построение рекомендательных систем с помощью PySpark

исходная матрица с двумя факторными матрицами, в которых выделены все значения, а пустые ячейки исходной матрицы также выделены

Построение рекомендательных систем с помощью PySpark

добавлена четвёртая матрица, показывающая, как ALS заполнил пустые ячейки

Построение рекомендательных систем с помощью PySpark

Давайте потренируемся!

Построение рекомендательных систем с помощью PySpark

Preparing Video For Download...