创建客户来电转录

使用 OpenAI API 的多模态系统

James Chapman

Curriculum Manager, DataCamp

案例研究简介

聊天机器人的图片

DataCamp 的 AI 工程师
处理语音消息
语音客服聊天机器人

DataCamp 客服团队

案例研究简介

聊天机器人的图片

案例研究简介

步骤：转录音频

案例研究简介

步骤：检测语言

案例研究简介

步骤：翻译成英文

案例研究简介

步骤：生成回复

案例研究简介

步骤：用原文回复

案例研究简介

步骤：内容审核

案例研究计划

将音频转成文本
识别语言
翻译为英文
优化文本

步骤：翻译成英文

步骤 1：转录音频

from openai import OpenAI

client = OpenAI(api_key="ENTER YOUR KEY HERE")

# Open the mp3 file
audio_file = open("recording.mp3", "rb")

# Create a transcript
response = client.audio.transcriptions.create(
                  model="whisper-1", 
                  file=audio_file)

步骤 1：转录音频

# Extract and print the transcript
transcript = response.text
print(transcript)

乌克兰语转录

步骤 2：识别语言

response = client.chat.completions.create(
    model="gpt-4o-mini",
    max_completion_tokens=5,

    messages=[{"role": "user", 
        "content": f"""Identify the language of the following text and respond 
         only with the country code (e.g., 'en', 'uk', 'fr'): {transcript}"""}])


# Extract detected language
language = response.choices[0].message.content
print(language)

uk

步骤 3：翻译成英文

response = client.chat.completions.create(
    model="gpt-4o-mini",
    max_completion_tokens=300,
    messages=[
        {"role": "user", "content": f"""Translate this customer transcript
        from country code {language} to English: {transcript}"""}])

# Extract translated text
translated_text = response.choices[0].message.content

步骤 3：翻译成英文

print(translated_text)

译文 - 原始

步骤 3：翻译成英文

print(translated_text)

译文（高亮）- 原始

步骤 4：优化文本

response = client.chat.completions.create(
    model="gpt-4o-mini",
    max_completion_tokens=300,
    messages=[
    {"role": "user", 
     "content": f"""You are an AI assistant that corrects transcripts by fixing 
     misinterpretations, names, and terminology. Please refine the following
     transcript:\n\n{translated_text}"""}])

# Extract corrected text
corrected_text = response.choices[0].message.content

步骤 4：优化文本

print(corrected_text)

修订文本（高亮）

回顾

已转录音频
已识别并翻译语言
已优化文本

共调用 OpenAI API 四次 ⭐

乌克兰语转录

译文（高亮）- 原始

修订文本（高亮）

开始练习！

使用 OpenAI API 的多模态系统