Fala para texto

Sistemas Multimodais com a API da OpenAI

James Chapman

Curriculum Manager, DataCamp

A seguir...

Objetivos do curso

Modelos de áudio da OpenAI
Moderação de texto
Estudo de caso: chatbot de suporte ao cliente

Uma imagem mostrando modelos de áudio, moderação de texto e um estudo de caso

Recapitulando...

from openai import OpenAI


# Create the OpenAI client
client = OpenAI(api_key="<OPENAI_API_TOKEN>")


# Create a request to the Chat Completions endpoint
response = client.chat.completions.create(

    model="gpt-4o-mini",
    messages=[{"role": "user", 
               "content": "What is the OpenAI API?"}]

)

Sem chave de API — já está configurada pra você 🎉

Recapitulando...

# Extract the content from the response
print(response.choices[0].message.content)

The OpenAI API is a cloud-based service provided by OpenAI that allows developers
to integrate advanced AI models into their applications.

A OpenAI API vai além de texto 🚀

Modelos de áudio da OpenAI

Recursos de fala para texto:

Transcrever áudio
Traduzir áudio não em inglês
Suporta mp3, mp4, mpeg, mpga, m4a, wav e webm (limite de 25 MB)

Casos de uso:

Transcrições de reuniões
Legendas de vídeo

Um ícone mostrando uma gravação de áudio e um bloco de texto.

Processamento de chamadas de clientes

Carregando arquivos de áudio

Exemplo: transcrever meeting_recording.mp3

audio_file = open("meeting_recording.mp3", "rb")

Se o arquivo estiver em um diretório diferente

audio_file = open("path/to/file/meeting_recording.mp3", "rb")

Criando a transcrição

Endpoint de áudio

audio_file= open("meeting_recording.mp3", "rb")


response = client.audio.transcriptions.create(

    model="whisper-1",

    file=audio_file

)


print(response)

Transcription(text="Welcome everyone to the June product monthly. We'll get started in...)

¹ https://platform.openai.com/docs/guides/speech-to-text

A transcrição

print(response.text)

Welcome everyone to the June product monthly. We'll get started in just a minute.
Alright, let's get started. Today's agenda will start with a spotlight from Chris
on the new mobile user onboarding flow, then we'll review how we're tracking on
our quarterly targets, and finally, we'll finish with another spotlight from Katie
who will discuss the upcoming branding updates...

Transcrevendo áudio não em inglês

Um ícone mostrando uma gravação de áudio e um bloco de texto.

Fluxo de transcrição:

open() arquivo de áudio
Enviar a solicitação de transcrição
Extrair o texto

Criando traduções

audio_file = open("non_english_audio.m4a", "rb")


response = client.audio.translations.create(

    model="whisper-1",

    file=audio_file

)


print(response.text)

The search volume for keywords like A I has increased rapidly since the launch of
Cha GTP.

Desempenho de transcrição

O desempenho pode variar bastante, dependendo de:
- Qualidade do áudio
- Idioma do áudio
- Conhecimento do modelo sobre o assunto

Diferentes idiomas ao redor do mundo.

Vamos praticar!

Sistemas Multimodais com a API da OpenAI