Überprüfbarkeit und Vertrauen

KI für Data Analysts

Andy Cotgreave

Author and Speaker, Former Technical Evangelist at Tableau

Beinahe schiefgegangen ...

Beinahe schiefgegangen ...

KI wirkt selbstsicher

 

• Falsche Ausgaben wirken so poliert wie richtige
• Kein visuelles Signal: „Hier könnte ich falsch liegen"
• Wenn du nicht prüfst, lieferst _du_ den Fehler aus

Verifizieren ≠ doppelt machen

 

• Falscher Impuls: alles im BI-Tool nachbauen
• Behandle KI-Ausgaben wie von einer schnellen Junior-Analystin – stark, aber nicht von sich aus vertrauenswürdig
• Dein Job: Stresstest, nicht Neubau

Der Verifizierungs-Workflow

Der Verifizierungs-Workflow

 

1. Wähle einen konkreten Datenpunkt
2. Filtere die Rohdaten manuell auf diesen Punkt
3. Prüfe die Berechnung dafür nach

Der Verifizierungs-Workflow

 

1. Kopiere den KI-Code oder das Ergebnis
2. Füge es in einen anderen Assistenten oder Chat ein
3. Bitte um das Finden von Logikfehlern

Der Verifizierungs-Workflow

 

1. Mach einen Business-Sanity-Check
2. Frag: passt die Einsicht zur Erfahrung?

Der Verifizierungs-Workflow

 

1. Bitte die KI, den eigenen Code mit Edge Cases zu testen (Nullwerte, Duplikate, Nullen)

Strenge an den Einsatz anpassen

• Explorativ oder ad hoc → geringere Strenge
• Produktions-Dashboard, Vorstandspräsentation etc. → höhere Strenge

Human-in-the-loop ist der Job

KI-Schmeichelei

 

• KI stimmt dir oft zu
• Andeuten, widersprechen oder Hypothese vorgeben → KI folgt dem Cue
• Schutz beim Prompten: neutrale Sprache nutzen
• Schutz bei der Verifizierung: sei am strengsten mit Ergebnissen, die deine Erwartung bestätigen

Lass uns üben!

KI für Data Analysts