Проверяемость и доверие

AI для аналитиков данных

Andy Cotgreave

Author and Speaker, Former Technical Evangelist at Tableau

Почти получилось...

Почти получилось...

ИИ излучает уверенность

 

• Неправильные результаты выглядят так же убедительно, как правильные
• Нет сигнала вроде «Возможно, я ошибаюсь»
• Если вы не проверите, ошибку выпустите _вы_

Проверка — это не повторение работы

 

• Неверный инстинкт: переделать работу в BI-инструменте
• Относитесь к результатам ИИ как к быстрому младшему аналитику — мощному, но не всегда надёжному
• Ваша задача: проверить его на прочность, а не переделывать

Процесс проверки

Процесс проверки

 

1. Выберите конкретную точку данных
2. Отфильтруйте исходные данные вручную до этой точки
3. Проверьте расчёт для этой точки

Процесс проверки

 

1. Скопируйте код или результат ИИ
2. Вставьте его в другой ассистент или диалог
3. Попросите найти логические ошибки

Процесс проверки

 

1. Проведите проверку на здравый смысл с точки зрения бизнеса
2. Спросите себя: согласуется ли этот вывод с вашим опытом?

Процесс проверки

 

1. Попросите ИИ проверить свой код на граничных случаях (пустые значения, дубликаты, нули)

Соразмеряйте строгость со ставками

• Исследовательская или разовая работа → более лёгкая проверка
• Продакшен-дашборд, презентация для руководства и т.д. → более строгая проверка

Контроль человека — часть работы

Угодливость ИИ

 

• ИИ склонен соглашаться с вами
• Намёк, возражение или предположение → ИИ подхватывает подсказку
• Защита на уровне промпта: формулируйте нейтрально
• Защита на уровне проверки: строже всего проверяйте выводы, которые подтверждают то, что вы хотели услышать

Давайте потренируемся!

AI для аналитиков данных