Потреба в оптимізації

Вступ до Deep Learning у Python

Dan Becker

Data Scientist and contributor to Keras and TensorFlow libraries

Базова нейронна мережа

ch2_1_v3.002.png

Вступ до Deep Learning у Python

Базова нейронна мережа

ch2_1_v3.003.png

Вступ до Deep Learning у Python

Базова нейронна мережа

ch2_1_v3.004.png

Вступ до Deep Learning у Python

Базова нейронна мережа

ch2_1_v3.005.png

Вступ до Deep Learning у Python

Базова нейронна мережа

ch2_1_v3.006.png

Вступ до Deep Learning у Python

Базова нейронна мережа

ch2_1_v3.007.png

Вступ до Deep Learning у Python

Базова нейронна мережа

ch2_1_v3.008.png

Вступ до Deep Learning у Python

Базова нейронна мережа

ch2_1_v3.009.png

Вступ до Deep Learning у Python

Базова нейронна мережа

ch2_1_v3.010.png

Вступ до Deep Learning у Python

Передбачення для кількох точок

  • Точні передбачення складніші з більшою кількістю точок
  • За будь-яких ваг є багато значень помилки
  • ... бо ми передбачаємо для багатьох точок
Вступ до Deep Learning у Python

Функція втрат

  • Агрегує помилки передбачень з багатьох точок даних в одне число
  • Міра прогностичної якості моделі
Вступ до Deep Learning у Python

Функція втрат: квадратична помилка

ch2_1_v3.019.png

Вступ до Deep Learning у Python

Функція втрат: квадратична помилка

ch2_1_v3.020.png

Вступ до Deep Learning у Python

Функція втрат: квадратична помилка

ch2_1_v3.021.png

Вступ до Deep Learning у Python

Функція втрат

ch2_1_v3.023.png

Вступ до Deep Learning у Python

Функція втрат

ch2_1_v3.024.png

Вступ до Deep Learning у Python

Функція втрат

ch2_1_v3.025.png

Вступ до Deep Learning у Python

Функція втрат

  • Менше значення функції втрат — краща модель
  • Мета: знайти ваги з найменшим значенням функції втрат
  • Градієнтний спуск
Вступ до Deep Learning у Python

Градієнтний спуск

  • Уявіть, що ви в темному полі
  • Потрібно знайти найнижчу точку
  • На дотик визначайте нахил землі
  • Зробіть маленький крок вниз
  • Повторюйте, доки в усі боки не буде вгору
Вступ до Deep Learning у Python

Кроки градієнтного спуску

  • Почніть з випадкової точки
  • Поки не опинитесь на рівному місці:
    • Знайдіть нахил
    • Зробіть крок униз
Вступ до Deep Learning у Python

Оптимізація моделі з однією вагою

ch2_1_v3.042.png

Вступ до Deep Learning у Python

Оптимізація моделі з однією вагою

ch2_1_v3.044.png

Вступ до Deep Learning у Python

Оптимізація моделі з однією вагою

ch2_1_v3.045.png

Вступ до Deep Learning у Python

Оптимізація моделі з однією вагою

ch2_1_v3.046.png

Вступ до Deep Learning у Python

Оптимізація моделі з однією вагою

ch2_1_v3.047.png

Вступ до Deep Learning у Python

Оптимізація моделі з однією вагою

ch2_1_v3.048.png

Вступ до Deep Learning у Python

Оптимізація моделі з однією вагою

ch2_1_v3.049.png

Вступ до Deep Learning у Python

Оптимізація моделі з однією вагою

ch2_1_v3.050.png

Вступ до Deep Learning у Python

Оптимізація моделі з однією вагою

ch2_1_v3.051.png

Вступ до Deep Learning у Python

Давайте потренуємось!

Вступ до Deep Learning у Python

Preparing Video For Download...