Skapa samtalsutskrifter för kundtjänst

Multimodala system med OpenAI API

James Chapman

Curriculum Manager, DataCamp

Introduktion till fallstudien

En bild av en chatbot

AI Engineer på DataCamp
Hanterar röstmeddelanden
Talbaserad kundtjänstchatbot

Kundtjänstteam på DataCamp

Introduktion till fallstudien

En bild av en chatbot

Introduktion till fallstudien

Steg: transkribera ljud

Introduktion till fallstudien

Steg: identifiera språk

Introduktion till fallstudien

Steg: översätt till engelska

Introduktion till fallstudien

Steg: generera ett svar

Introduktion till fallstudien

Steg: svara på originalspråket

Introduktion till fallstudien

Steg: moderering

Plan för fallstudien

Transkribera ljudet till text
Identifiera språket
Översätt till engelska
Förfina texten

Steg: översätt till engelska

Steg 1: transkribera ljud

from openai import OpenAI

client = OpenAI(api_key="ENTER YOUR KEY HERE")

# Open the mp3 file
audio_file = open("recording.mp3", "rb")

# Create a transcript
response = client.audio.transcriptions.create(
                  model="whisper-1", 
                  file=audio_file)

Steg 1: transkribera ljud

# Extract and print the transcript
transcript = response.text
print(transcript)

Utskrift på ukrainska

Steg 2: identifiera språk

response = client.chat.completions.create(
    model="gpt-4o-mini",
    max_completion_tokens=5,

    messages=[{"role": "user", 
        "content": f"""Identify the language of the following text and respond 
         only with the country code (e.g., 'en', 'uk', 'fr'): {transcript}"""}])


# Extract detected language
language = response.choices[0].message.content
print(language)

uk

Steg 3: översätt till engelska

response = client.chat.completions.create(
    model="gpt-4o-mini",
    max_completion_tokens=300,
    messages=[
        {"role": "user", "content": f"""Translate this customer transcript
        from country code {language} to English: {transcript}"""}])

# Extract translated text
translated_text = response.choices[0].message.content

Steg 3: översätt till engelska

print(translated_text)

Översatt text – rå

Steg 3: översätt till engelska

print(translated_text)

Översatt text (markerad) – rå

Steg 4: förfina texten

response = client.chat.completions.create(
    model="gpt-4o-mini",
    max_completion_tokens=300,
    messages=[
    {"role": "user", 
     "content": f"""You are an AI assistant that corrects transcripts by fixing 
     misinterpretations, names, and terminology. Please refine the following
     transcript:\n\n{translated_text}"""}])

# Extract corrected text
corrected_text = response.choices[0].message.content

Steg 4: förfina texten

print(corrected_text)

Korrigerad text (markerad)

Sammanfattning

Transkriberade ljudet
Identifierade och översatte språket
Förfinade texten

Anropade OpenAI API fyra gånger ⭐

Utskrift på ukrainska

Översatt text (markerad) – rå

Korrigerad text (markerad)

Nu kör vi en övning!

Multimodala system med OpenAI API