Chuyển giọng nói thành văn bản

Hệ thống đa phương thức với OpenAI API

James Chapman

Curriculum Manager, DataCamp

Tiếp theo...

$$

Mục tiêu khóa học
  • Mô hình âm thanh của OpenAI
  • Kiểm duyệt văn bản
  • Nghiên cứu tình huống: chatbot hỗ trợ khách hàng

Hình ảnh mô hình âm thanh, kiểm duyệt văn bản và nghiên cứu tình huống

Hệ thống đa phương thức với OpenAI API

Tóm tắt...

from openai import OpenAI


# Create the OpenAI client
client = OpenAI(api_key="<OPENAI_API_TOKEN>")


# Create a request to the Chat Completions endpoint
response = client.chat.completions.create(

    model="gpt-4o-mini",
    messages=[{"role": "user", 
               "content": "What is the OpenAI API?"}]

)
  • Không cần API key—đã được thiết lập sẵn cho bạn 🎉
Hệ thống đa phương thức với OpenAI API

Tóm tắt...

# Extract the content from the response
print(response.choices[0].message.content)

The OpenAI API is a cloud-based service provided by OpenAI that allows developers
to integrate advanced AI models into their applications.

$$

  • OpenAI API vượt xa văn bản 🚀
Hệ thống đa phương thức với OpenAI API

Mô hình âm thanh của OpenAI

Khả năng chuyển giọng nói thành văn bản:

  • Chép lời âm thanh
  • Dịch âm thanh không phải tiếng Anh
  • Hỗ trợ mp3, mp4, mpeg, mpga, m4a, wav, và webm (giới hạn 25 MB)

 

Trường hợp sử dụng:

  • Bản chép lời cuộc họp
  • Phụ đề video

Biểu tượng ghi âm và khối văn bản.

  • Xử lý cuộc gọi khách hàng
Hệ thống đa phương thức với OpenAI API

Tải tệp âm thanh

 

Ví dụ: chuyển âm meeting_recording.mp3

audio_file = open("meeting_recording.mp3", "rb")

$$

Nếu tệp nằm ở thư mục khác

audio_file = open("path/to/file/meeting_recording.mp3", "rb")
Hệ thống đa phương thức với OpenAI API

Tạo bản chép lời

  • Endpoint âm thanh
audio_file= open("meeting_recording.mp3", "rb")


response = client.audio.transcriptions.create(

    model="whisper-1",

    file=audio_file

)


print(response)

Transcription(text="Welcome everyone to the June product monthly. We'll get started in...)
1 https://platform.openai.com/docs/guides/speech-to-text
Hệ thống đa phương thức với OpenAI API

Bản chép lời

print(response.text)

Welcome everyone to the June product monthly. We'll get started in just a minute.
Alright, let's get started. Today's agenda will start with a spotlight from Chris
on the new mobile user onboarding flow, then we'll review how we're tracking on
our quarterly targets, and finally, we'll finish with another spotlight from Katie
who will discuss the upcoming branding updates...
Hệ thống đa phương thức với OpenAI API

Chép lời âm thanh không phải tiếng Anh

Biểu tượng ghi âm và khối văn bản.

Quy trình chép lời:

  1. open() tệp âm thanh
  2. Gửi yêu cầu chép lời
  3. Trích xuất văn bản
Hệ thống đa phương thức với OpenAI API

Tạo bản dịch

audio_file = open("non_english_audio.m4a", "rb")


response = client.audio.translations.create(

    model="whisper-1",

    file=audio_file

)


print(response.text)

The search volume for keywords like A I has increased rapidly since the launch of
Cha GTP.
Hệ thống đa phương thức với OpenAI API

Hiệu suất chép lời

 

  • Hiệu suất có thể thay đổi lớn, tùy thuộc vào:
    • Chất lượng âm thanh
    • Ngôn ngữ âm thanh
    • Kiến thức của mô hình về chủ đề

Nhiều ngôn ngữ trên thế giới.

Hệ thống đa phương thức với OpenAI API

Ayo berlatih!

Hệ thống đa phương thức với OpenAI API

Preparing Video For Download...