Převod řeči na text

Multimodální systémy s OpenAI API

James Chapman

Curriculum Manager, DataCamp

Co nás čeká...

Cíle kurzu

Zvukové modely OpenAI
Moderování textu
Případová studie: chatbot zákaznické podpory

Obrázek zobrazující zvukové modely, moderování textu a případovou studii

Rekapitulace...

from openai import OpenAI


# Create the OpenAI client
client = OpenAI(api_key="<OPENAI_API_TOKEN>")


# Create a request to the Chat Completions endpoint
response = client.chat.completions.create(

    model="gpt-4o-mini",
    messages=[{"role": "user", 
               "content": "What is the OpenAI API?"}]

)

Klíč API není potřeba—je již nastaven 🎉

Rekapitulace...

# Extract the content from the response
print(response.choices[0].message.content)

The OpenAI API is a cloud-based service provided by OpenAI that allows developers
to integrate advanced AI models into their applications.

OpenAI API jde za hranice textu 🚀

Zvukové modely OpenAI

Možnosti převodu řeči na text:

Přepis zvuku
Překlad neanglického zvuku
Podporuje mp3, mp4, mpeg, mpga, m4a, wav a webm (limit 25 MB)

Případy použití:

Přepisy schůzek
Titulky videí

Ikona zobrazující zvukovou nahrávku a blok textu.

Zpracování hovorů se zákazníky

Načítání zvukových souborů

Příklad: přepis meeting_recording.mp3

audio_file = open("meeting_recording.mp3", "rb")

Pokud se soubor nachází v jiném adresáři

audio_file = open("path/to/file/meeting_recording.mp3", "rb")

Vytvoření přepisu

Audio endpoint

audio_file= open("meeting_recording.mp3", "rb")


response = client.audio.transcriptions.create(

    model="whisper-1",

    file=audio_file

)


print(response)

Transcription(text="Welcome everyone to the June product monthly. We'll get started in...)

¹ https://platform.openai.com/docs/guides/speech-to-text

Přepis

print(response.text)

Welcome everyone to the June product monthly. We'll get started in just a minute.
Alright, let's get started. Today's agenda will start with a spotlight from Chris
on the new mobile user onboarding flow, then we'll review how we're tracking on
our quarterly targets, and finally, we'll finish with another spotlight from Katie
who will discuss the upcoming branding updates...

Přepis neanglického zvuku

Ikona zobrazující zvukovou nahrávku a blok textu.

Postup přepisu:

open() zvukový soubor
Odeslat žádost o přepis
Extrahovat text

Vytváření překladů

audio_file = open("non_english_audio.m4a", "rb")


response = client.audio.translations.create(

    model="whisper-1",

    file=audio_file

)


print(response.text)

The search volume for keywords like A I has increased rapidly since the launch of
Cha GTP.

Výkon přepisu

Výkon se může výrazně lišit v závislosti na:
- Kvalitě zvuku
- Jazyce zvuku
- Znalosti tématu modelem

Různé jazyky světa.

Lass uns üben!

Multimodální systémy s OpenAI API