Объяснимость и интерпретируемость

Понимание искусственного интеллекта

Iason Prassides

Content Developer, DataCamp

Объяснимость и интерпретируемость

Объяснимость: способность человека получать доступ к результатам ИИ и понимать их, например прогнозы и решения

Объяснимость в классификаторе пингвинов на основе ML

Интерпретируемость: понимание внутренних процессов систем ИИ: алгоритма, модели, работы с данными

Интерпретируемость в модели ML на основе дерева решений

Системы ИИ: white-box и black-box

White-box: прозрачные и легко интерпретируемые модели и системы

Линейная регрессия как модель типа white-box

Системы ИИ: white-box и black-box

White-box: прозрачные и легко интерпретируемые модели и системы

Линейная регрессия и дерево решений

Системы ИИ: white-box и black-box

White-box: прозрачные и легко интерпретируемые модели и системы

Линейная регрессия и дерево решений

Системы ИИ: white-box и black-box

Black-box: высокая сложность, минимальная или нулевая прозрачность

Глубокая нейронная сеть как модель типа black-box

Системы ИИ: white-box и black-box

Black-box: высокая сложность, минимальная или нулевая прозрачность

Глубокая нейронная сеть как модель типа black-box

Базовые инструменты объяснимого ИИ (XAI)

XAI: методы и инструменты для повышения прозрачности и объяснимости систем и моделей ИИ

Анализ внутреннего устройства модели: изучение внутренних параметров модели для понимания принимаемых решений

Базовые инструменты объяснимого ИИ (XAI)

XAI: методы и инструменты для повышения прозрачности и объяснимости систем и моделей ИИ

Анализ внутреннего устройства модели: изучение внутренних параметров модели для понимания принимаемых решений

Документация модели: описание архитектуры и проектных решений для общего доступа

Базовые инструменты объяснимого ИИ (XAI)

XAI: методы и инструменты для повышения прозрачности и объяснимости систем и моделей ИИ

Анализ внутреннего устройства модели: изучение внутренних параметров модели для понимания принимаемых решений

Документация модели: описание архитектуры и проектных решений для общего доступа

Визуализация модели: наглядное представление признаков данных и результатов модели

Инструменты XAI: важность признаков

Важность признаков: влияние или вклад признаков (предикторов) в результаты модели

Понять, как модели на основе данных (ML/DL) принимают решения
Выявлять и устранять проблемы, например предвзятость
Влияние на производительность модели при удалении признака

SHAP (SHapley Additive exPlanations)

Набор инструментов для визуализации важности признаков

Визуализации SHAP для объяснимости

Инструменты XAI: важность признаков

SHAP (SHapley Additive exPlanations)

График важности признаков SHAP для модели прогнозирования поступления в университет

Инструменты XAI: важность признаков

SHAP (SHapley Additive exPlanations)

Визуализации SHAP для объяснимости.

Инструменты XAI: важность признаков

SHAP (SHapley Additive exPlanations)

Визуализации SHAP для объяснимости

Практическое применение XAI

Алгоритмическая прозрачность:
- Как алгоритмы обрабатывают данные и принимают решения

Локальная и глобальная интерпретируемость:
- Понимание поведения системы для конкретного прогноза, и
- Понимание общего поведения системы на наборе данных или задаче

Этические соображения:
- XAI для решения этических проблем ИИ: предвзятость, дискриминация, соответствие требованиям и др.

Взаимодействие человека и ИИ:
- Надёжное сотрудничество на основе доверия и обратной связи

Давайте потренируемся!

Понимание искусственного интеллекта