Проблеми й аспекти роботи з даними

Концепції Large Language Models (LLMs)

Vidhi Chugh

AI strategist and ethicist

Міркування щодо даних

 

Міркування щодо даних

 

  • Обсяг даних і обчислювальна потужність
  • Якість даних
  • Розмітка
  • Упередженість
  • Конфіденційність
Концепції Large Language Models (LLMs)

Обсяг даних і обчислювальна потужність

  • LLM потребують багато даних
    • Подібно до того, як дитина вчиться говорити
    • 570 GB, ~1,3 мільйона книжок

 

Дитина вчиться говорити

1 Freepik
Концепції Large Language Models (LLMs)

Обсяг даних і обчислювальна потужність

  • LLM потребують багато даних
    • Подібно до того, як дитина вчиться говорити
    • 570 GB, ~1,3 мільйона книжок

 

  • Потужні обчислення; зважайте на споживання енергії

 

  • Це може коштувати мільйони доларів!

Чоловік працює за комп'ютером, під'єднаним до великого сервера

Концепції Large Language Models (LLMs)

Якість даних

  • Якісні дані — критично важливо

 

  • Точні дані = краще навчання = вища якість відповідей = більше довіри

 

  • Дитина вчиться говорити
    • Нісенітниці на вході -> нісенітниці на виході

низька якість виходів, якщо тренувати LLM на даних із помилками або поганою граматикою

Концепції Large Language Models (LLMs)

Розмічені дані

  • Правильні мітки: точне навчання, узагальнення шаблонів, точні відповіді

  • Витратна праця: призначити коректну мітку кожному матеріалу

Команда за комп'ютерами розмічає дані

  • Хибні мітки погіршують роботу моделі
  • Усунення помилок: виявити -> проаналізувати -> повторити
Концепції Large Language Models (LLMs)

Упередженість у даних

  • Вплив суспільних стереотипів
  • Брак різноманіття в тренувальних даних
  • Дискримінація та несправедливі результати

 

  • Виявляйте й усувайте упереджені дані
    • Оцінюйте дисбаланси даних
    • Підтримуйте різноманіття
    • Методи зменшення упередженості: більше різноманітних прикладів

Упередженість у даних

  • Приклад:

    • "The nurse said that..." -> "she" або "her"
Концепції Large Language Models (LLMs)

Конфіденційність даних

  • Відповідність нормам захисту даних і приватності

 

  • Конфіденційність має значення
    • Навчання на даних без дозволу може призвести до порушення
    • Юридичні, фінансові та репутаційні ризики
  • Чутливі або персональні ідентифікаційні дані (PII)

 

  • Отримайте дозвіл

Конфіденційність даних

Концепції Large Language Models (LLMs)

Давайте потренуємось!

Концепції Large Language Models (LLMs)

Preparing Video For Download...