Quản lý hội thoại AI

Giới thiệu về Amazon Bedrock

Nikhil Rangarajan

Data Scientist

Quản lý trạng thái hội thoại trong Bedrock

Quản lý hội thoại: thiết yếu cho tương tác AI tự nhiên, mạch lạc
Ngữ cảnh hội thoại: gồm lịch sử và metadata
Các mô hình Claude có thể xét đến ngữ cảnh

Minh họa các vòng tròn cho từng phần của hội thoại: thông điệp, lịch sử và metadata.

Triển khai quản lý hội thoại

Lớp ConversationManager xử lý chức năng hội thoại cốt lõi
Lịch sử lưu cả thông điệp người dùng và trợ lý kèm vai trò
Cách tiếp cận có cấu trúc bảo đảm khả năng mở rộng và bảo trì

class ConversationManager:

  def __init__(self):
    self.bedrock = 
        boto3.client('bedrock-runtime')

    self.conversation_history = []
    self.max_tokens = 8000


  def add_message(self, role, content):
      self.conversation_history
      .append({"role": role,

        "content": content

  })

Dùng ConversationManager trong thực tế

Thêm thông điệp mới vào nhật ký hội thoại
Bảo đảm ghi nhận đầu vào của người dùng
Giúp mô hình duy trì ngữ cảnh

conversation_manager = ConversationManager()
conversation_manager.add_message("user", "What's the weather like?")

Dùng ConversationManager trong thực tế

Định dạng thành thông điệp
Giới hạn lượng văn bản gửi đi
Gửi hội thoại đã định dạng cho mô hình

# Send the latest context to the model
conversation_history = conversation_manager.conversation_history
messages = "\n\n".join(
    f"{msg['role']}: {msg['content']}" 
    for msg in conversation_history[-2:]) # Only most recent exchanges


# Send the full message to the model
response = conversation_manager.bedrock.invoke_model(
    modelId="amazon.nova-micro-v1:0", body=messages)

Ayo berlatih!

Giới thiệu về Amazon Bedrock