建立客服通話逐字稿

使用 OpenAI API 的多模態系統

James Chapman

Curriculum Manager, DataCamp

案例研究導入

聊天機器人圖片

DataCamp 的 AI 工程師
處理語音訊息
語音客服聊天機器人

DataCamp 的客服團隊

案例研究導入

聊天機器人圖片

案例研究導入

步驟：語音轉文字

案例研究導入

步驟：偵測語言

案例研究導入

步驟：翻譯為英文

案例研究導入

步驟：產生回應

案例研究導入

步驟：以原語回覆

案例研究導入

步驟：內容審核

案例研究計畫

將語音轉為文字
偵測語言
翻譯成英文
修潤文字

步驟：翻譯為英文

步驟 1：語音轉文字

from openai import OpenAI

client = OpenAI(api_key="ENTER YOUR KEY HERE")

# Open the mp3 file
audio_file = open("recording.mp3", "rb")

# Create a transcript
response = client.audio.transcriptions.create(
                  model="whisper-1", 
                  file=audio_file)

步驟 1：語音轉文字

# Extract and print the transcript
transcript = response.text
print(transcript)

烏克蘭文逐字稿

步驟 2：偵測語言

response = client.chat.completions.create(
    model="gpt-4o-mini",
    max_completion_tokens=5,

    messages=[{"role": "user", 
        "content": f"""Identify the language of the following text and respond 
         only with the country code (e.g., 'en', 'uk', 'fr'): {transcript}"""}])


# Extract detected language
language = response.choices[0].message.content
print(language)

uk

步驟 3：翻譯為英文

response = client.chat.completions.create(
    model="gpt-4o-mini",
    max_completion_tokens=300,
    messages=[
        {"role": "user", "content": f"""Translate this customer transcript
        from country code {language} to English: {transcript}"""}])

# Extract translated text
translated_text = response.choices[0].message.content

步驟 3：翻譯為英文

print(translated_text)

翻譯文本－原始

步驟 3：翻譯為英文

print(translated_text)

翻譯文本（標示）－原始

步驟 4：修潤文字

response = client.chat.completions.create(
    model="gpt-4o-mini",
    max_completion_tokens=300,
    messages=[
    {"role": "user", 
     "content": f"""You are an AI assistant that corrects transcripts by fixing 
     misinterpretations, names, and terminology. Please refine the following
     transcript:\n\n{translated_text}"""}])

# Extract corrected text
corrected_text = response.choices[0].message.content

步驟 4：修潤文字

print(corrected_text)

修正後文本（標示）

重點回顧

已將語音轉成文字
已偵測並翻譯語言
已修潤文字

呼叫 OpenAI API 共四次 ⭐

烏克蘭文逐字稿

翻譯文本（標示）－原始

修正後文本（標示）

Time for practice!

使用 OpenAI API 的多模態系統