Проблемы и аспекты работы с данными

Концепции больших языковых моделей (LLM)

Vidhi Chugh

AI strategist and ethicist

Аспекты работы с данными

 

Аспекты работы с данными

 

  • Объём данных и вычислительные мощности
  • Качество данных
  • Разметка
  • Смещение
  • Конфиденциальность
Концепции больших языковых моделей (LLM)

Объём данных и вычислительные мощности

  • LLM требуют большого объёма данных
    • Как ребёнок, учащийся говорить
    • 570 ГБ, ~1,3 млн книг

 

Ребёнок учится говорить

1 Freepik
Концепции больших языковых моделей (LLM)

Объём данных и вычислительные мощности

  • LLM требуют большого объёма данных
    • Как ребёнок, учащийся говорить
    • 570 ГБ, ~1,3 млн книг

 

  • Огромные вычислительные мощности и высокое энергопотребление

 

  • Стоимость может достигать миллионов долларов!

Человек за компьютером, подключённым к серверу

Концепции больших языковых моделей (LLM)

Качество данных

  • Качество данных имеет первостепенное значение

 

  • Точные данные → лучшее обучение → высокое качество ответов → доверие

 

  • Как ребёнок, учащийся говорить
    • Мусор на входе → мусор на выходе

Низкое качество вывода при обучении LLM на данных с ошибками или неграмотным текстом

Концепции больших языковых моделей (LLM)

Размеченные данные

  • Правильная метка: точное обучение, обобщение паттернов, корректные ответы

  • Трудоёмко: каждой записи нужно присвоить правильную метку

Команда за компьютерами размечает данные

  • Неверные метки снижают качество модели
  • Устранение ошибок: обнаружение → анализ → итерация
Концепции больших языковых моделей (LLM)

Смещение в данных

  • Влияние социальных стереотипов
  • Недостаточное разнообразие обучающих данных
  • Дискриминация и несправедливые результаты

 

  • Выявление и устранение смещений в данных
    • Оценка дисбаланса данных
    • Обеспечение разнообразия
    • Методы борьбы со смещением: расширение примеров

Смещение в данных

  • Пример:

    • «Медсестра сказала, что...» → «она» или «её»
Концепции больших языковых моделей (LLM)

Конфиденциальность данных

  • Соответствие требованиям законодательства о защите данных

 

  • Конфиденциальность — важная проблема
    • Обучение на данных без разрешения может привести к утечке
    • Правовой, финансовый и репутационный ущерб
  • Чувствительные или персональные данные (PII)

 

  • Получите разрешение

Конфиденциальность данных

Концепции больших языковых моделей (LLM)

Давайте потренируемся!

Концепции больших языковых моделей (LLM)

Preparing Video For Download...