Очистка и преобразование данных

Практический пример: финансовый анализ в KNIME

Andrew Logan

Data Scientist, 4&8 Ltd

Придерживаемся плана

  • Чистые, полезные и согласованные данные
  • Очистка: пропущенные значения, дедупликация, удаление лишних строк и столбцов и др.
  • Преобразование: работа со строками, числовые вычисления, переименование столбцов и др.

Рабочий процесс KNIME с выделенными этапами очистки и преобразования

Практический пример: финансовый анализ в KNIME

Чистота — залог качества

  • Наиболее распространённые узлы: Missing Value, Duplicate Row Filter, Column Filter, String Cleaner
  • Добавляйте аннотации!

Узлы очистки KNIME

Практический пример: финансовый анализ в KNIME

Чистота — залог качества

  • Наиболее распространённые узлы: Missing Value, Duplicate Row Filter, Column Filter, String Cleaner
  • Добавляйте аннотации!
  • Много других узлов: используйте форум KNIME — https://forum.knime.com/ или поисковик для нестандартных случаев

Результаты поиска на форуме KNIME по теме очистки

Практический пример: финансовый анализ в KNIME

Полезные преобразования

  • Преобразование данных для практического использования
  • Работа со строками

Узлы String Manipulation

Практический пример: финансовый анализ в KNIME

Полезные преобразования

  • Преобразование данных для практического использования
  • Работа со строками
  • Числовые вычисления

Узлы для числовых вычислений

Практический пример: финансовый анализ в KNIME

Полезные преобразования

  • Преобразование данных для практического использования
  • Работа со строками
  • Числовые вычисления
  • Другие узлы преобразования
  • Аннотации!

Другие узлы преобразования

Практический пример: финансовый анализ в KNIME

Понятно и удобно для повторного использования

  • Метаузлы — как города на карте маршрута.

Иллюстрация дорожной карты

Практический пример: финансовый анализ в KNIME

Понятно и удобно для повторного использования

  • Метаузлы — как города на карте маршрута.
  • Множество узлов в одном

GIF-пример создания метаузла — несколько узлов объединяются в один

Практический пример: финансовый анализ в KNIME

Понятно и удобно для повторного использования

  • Метаузлы — как города на карте маршрута.
  • Множество узлов в одном
  • Экономия времени
  • Легко понять
  • Легко аннотировать

Содержимое метаузла

Практический пример: финансовый анализ в KNIME

Давайте потренируемся!

Практический пример: финансовый анализ в KNIME

Preparing Video For Download...