Att driva AI-system efter lansering

AI för HR

Chris Klaus

Senior AI Architect, Chalice AI

Vad du bör hålla koll på

$$

Se efter mönster:

  • Samma frågor återkommer

  • Anställda dubbelkollar svar

  • Små inkonsekvenser i svaren

$$

Håll en enkel logg:

  • Frågor, svar, vad som verkade fel

$$

Dessa signaler visar när systemen börjar avvika

AI för HR

Regelbundna kontroller

$$

listy2.gif

30-minuters månadsgenomgång

  1. Policyöverensstämmelse - Har något uppdaterats? Testa med aktuella frågor.

  2. Språkglidning - Stämmer svaren med den senaste handboken?

  3. Kantfall - Gå igenom loggen för återkommande svagheter.

  4. Scope-krypning - Hanterar systemet förfrågningar det inte är avsett för?

  5. Instruktionsnoggrannhet - Speglar reglerna fortfarande den aktuella verksamheten?

AI för HR

När policyer ändras – uppdatera instruktionerna först

$$

Ny policy annonserad? Uppdatera AI-systemen först – innan de anställda börjar fråga.

$$

Steg Åtgärd
1 Uppdatera AI-instruktionerna direkt – revidera kontextkällor och svarsriktlinjer
2 Testa med realistiska frågor – använd faktiska medarbetarfrågor för att validera svaren
3 Fokusera på kantfall – identifiera scenarier där agenten kan misslyckas eller ge felaktiga svar
4 Om svaren är felaktiga → begränsa agentens scope eller hänvisa till en människa
AI för HR

Samarbete

$$

Kvartalsvisa stickprov

Hitta en person till som kan granska dina system

  • Ge dem fem realistiska scenarier

  • Be dem markera förvirring, överraskningar eller situationer där de föredrar en människa

$$

check.png

AI för HR

När något går fel

$$

Omedelbar åtgärd:

  1. Åtgärda konfigurationen direkt

  2. Dokumentera vad som hände och vad som ändrades

  3. Kommunicera tydligt med berörda medarbetare

$$

Exempelmeddelande:

"Vi märkte att [systemet] gav föråldrad information om [ämnet]. Här är den aktuella policyn..."

transparency.png

AI för HR

Bygg ditt stödnätverk

$$

team.png

$$

Tre löpande kontakter du behöver:

Roll Varför du behöver dem
HR-kontakt Fångar upp medarbetarförvirring tidigt
Teknisk kontakt Justerar konfigurationer snabbt
Compliance-kontakt Uppmärksammar regeländringar
AI för HR

Övervakning

4signals.png

AI för HR

$$

$$

calendar.png

$$

$$

Fyrvekkersramverk för lansering:

  • Vecka 1: Testa de 20 vanligaste förväntade frågorna

  • Vecka 2: Pilottest med 10–15 personer

  • Vecka 3: Uppdatera baserat på feedback

  • Vecka 4: Schemalägg månadsgenomgångar

AI för HR

Nu kör vi en övning!

AI för HR

Preparing Video For Download...