Membuat transkrip panggilan pelanggan

Sistem Multi-Modal dengan OpenAI API

James Chapman

Curriculum Manager, DataCamp

Pendahuluan studi kasus

Gambar chatbot

$$

  • AI Engineer di DataCamp
  • Menangani pesan suara
  • Chatbot dukungan pelanggan berbasis suara

$$

$$

Tim dukungan pelanggan di DataCamp

Sistem Multi-Modal dengan OpenAI API

Pendahuluan studi kasus

Gambar chatbot

Sistem Multi-Modal dengan OpenAI API

Pendahuluan studi kasus

Langkah: transkrip audio

Sistem Multi-Modal dengan OpenAI API

Pendahuluan studi kasus

Langkah: deteksi bahasa

Sistem Multi-Modal dengan OpenAI API

Pendahuluan studi kasus

Langkah: terjemahkan ke bahasa Inggris

Sistem Multi-Modal dengan OpenAI API

Pendahuluan studi kasus

Langkah: buat respons

Sistem Multi-Modal dengan OpenAI API

Pendahuluan studi kasus

Langkah: balas dalam bahasa asli

Sistem Multi-Modal dengan OpenAI API

Pendahuluan studi kasus

Langkah: moderasi

Sistem Multi-Modal dengan OpenAI API

Rencana studi kasus

$$

$$

  1. Transkrip audio ke teks
  2. Deteksi bahasa
  3. Terjemahkan ke bahasa Inggris
  4. Perbaiki teks

$$

Langkah: terjemahkan ke bahasa Inggris

Sistem Multi-Modal dengan OpenAI API

Langkah 1: transkrip audio

from openai import OpenAI

client = OpenAI(api_key="ENTER YOUR KEY HERE")

# Open the mp3 file
audio_file = open("recording.mp3", "rb")

# Create a transcript
response = client.audio.transcriptions.create(
                  model="whisper-1", 
                  file=audio_file)
Sistem Multi-Modal dengan OpenAI API

Langkah 1: transkrip audio

# Extract and print the transcript
transcript = response.text
print(transcript)

$$

Transkrip dalam bahasa Ukraina

Sistem Multi-Modal dengan OpenAI API

Langkah 2: deteksi bahasa

response = client.chat.completions.create(
    model="gpt-4o-mini",
    max_completion_tokens=5,

    messages=[{"role": "user", 
        "content": f"""Identify the language of the following text and respond 
         only with the country code (e.g., 'en', 'uk', 'fr'): {transcript}"""}])


# Extract detected language
language = response.choices[0].message.content
print(language)

uk
Sistem Multi-Modal dengan OpenAI API

Langkah 3: terjemahkan ke bahasa Inggris

response = client.chat.completions.create(
    model="gpt-4o-mini",
    max_completion_tokens=300,
    messages=[
        {"role": "user", "content": f"""Translate this customer transcript
        from country code {language} to English: {transcript}"""}])

# Extract translated text
translated_text = response.choices[0].message.content
Sistem Multi-Modal dengan OpenAI API

Langkah 3: terjemahkan ke bahasa Inggris

print(translated_text)

Teks terjemahan - mentah

Sistem Multi-Modal dengan OpenAI API

Langkah 3: terjemahkan ke bahasa Inggris

print(translated_text)

Teks terjemahan (disorot) - mentah

Sistem Multi-Modal dengan OpenAI API

Langkah 4: perbaiki teks

response = client.chat.completions.create(
    model="gpt-4o-mini",
    max_completion_tokens=300,
    messages=[
    {"role": "user", 
     "content": f"""You are an AI assistant that corrects transcripts by fixing 
     misinterpretations, names, and terminology. Please refine the following
     transcript:\n\n{translated_text}"""}])

# Extract corrected text
corrected_text = response.choices[0].message.content
Sistem Multi-Modal dengan OpenAI API

Langkah 4: perbaiki teks

print(corrected_text)

Teks yang diperbaiki (disorot)

Sistem Multi-Modal dengan OpenAI API

Ringkasan

$$

  • Audio ditranskrip
  • Bahasa dideteksi dan diterjemahkan
  • Teks diperbaiki

$$

  • Memanggil OpenAI API empat kali ⭐

Transkrip dalam bahasa Ukraina

Teks terjemahan (disorot) - mentah

Teks yang diperbaiki (disorot)

Sistem Multi-Modal dengan OpenAI API

Ayo berlatih!

Sistem Multi-Modal dengan OpenAI API

Preparing Video For Download...