Aspekty dat a jejich správa

Koncepty velkých jazykových modelů (LLM)

Vidhi Chugh

AI strategist and ethicist

Aspekty dat

 

Aspekty dat

 

  • Objem dat a výpočetní výkon
  • Kvalita dat
  • Označování
  • Zkreslení
  • Soukromí
Koncepty velkých jazykových modelů (LLM)

Objem dat a výpočetní výkon

  • LLM potřebují velké množství dat
    • Podobně jako dítě učící se mluvit
    • 570 GB, ~1,3 milionu knih

 

Dítě učící se mluvit

1 Freepik
Koncepty velkých jazykových modelů (LLM)

Objem dat a výpočetní výkon

  • LLM potřebují velké množství dat
    • Podobně jako dítě učící se mluvit
    • 570 GB, ~1,3 milionu knih

 

  • Enormní výpočetní výkon; uvažte spotřebu energie

 

  • Náklady mohou dosáhnout milionů dolarů!

Muž pracující u počítače připojeného k velkému serveru

Koncepty velkých jazykových modelů (LLM)

Kvalita dat

  • Kvalitní data jsou nezbytná

 

  • Přesná data = lepší učení = kvalitnější odpovědi = vyšší důvěra

 

  • Dítě učící se mluvit
    • Nesmysl na vstupu -> nesmysl na výstupu

Nekvalitní výstupy při trénování LLM na datech plných chyb nebo špatné gramatiky

Koncepty velkých jazykových modelů (LLM)

Označená data

  • Správný štítek: přesné učení, zobecnění vzorů, přesné odpovědi

  • Pracná činnost: přiřazení správného štítku ke každému článku

Tým pracující u počítačů na označování dat

  • Nesprávné štítky snižují výkon modelu
  • Řešení chyb: identifikace -> analýza -> iterace
Koncepty velkých jazykových modelů (LLM)

Zkreslení dat

  • Ovlivněno společenskými stereotypy
  • Nedostatečná diverzita trénovacích dat
  • Diskriminace a nespravedlivé výstupy

 

  • Odhalení a řešení zkreslených dat
    • Vyhodnocení nevyvážených dat
    • Podpora diverzity
    • Techniky zmírnění zkreslení: více různorodých příkladů

Zkreslení dat

  • Příklad:

    • "The nurse said that..." -> "she" nebo "her"
Koncepty velkých jazykových modelů (LLM)

Ochrana soukromí dat

  • Dodržování předpisů o ochraně dat a soukromí

 

  • Soukromí je klíčovou otázkou
    • Trénování bez souhlasu může vést k úniku dat
    • Právní, finanční a reputační škody
  • Citlivé nebo osobně identifikovatelné informace (PII)

 

  • Získejte souhlas

Ochrana dat

Koncepty velkých jazykových modelů (LLM)

Pojďme procvičovat!

Koncepty velkých jazykových modelů (LLM)

Preparing Video For Download...