Kho đặc trưng trong kiến trúc MLOps tự động

MLOps Tự động hoá Hoàn toàn

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

Đặc trưng trong máy học

$$

Kỹ thuật đặc trưng

Chọn, xử lý và biến đổi dữ liệu thô để tạo đặc trưng làm đầu vào cho thuật toán ML

Hình một công nhân mặc đồ bảo hộ cạnh giấy tờ và bánh răng, biểu trưng cho quy trình dữ liệu.

$$

Ví dụ:

  • Biến đổi số
  • Mã hóa danh mục
  • Gom nhóm giá trị
  • Tạo đặc trưng mới
MLOps Tự động hoá Hoàn toàn

Kỹ thuật đặc trưng trong doanh nghiệp

$$

Sơ đồ kiến trúc cho thấy nguồn dữ liệu batch và streaming được tiêu thụ bởi nhóm nhà khoa học dữ liệu, họ biến đổi dữ liệu theo quy trình kỹ thuật đặc trưng điển hình.

MLOps Tự động hoá Hoàn toàn

Kỹ thuật đặc trưng trong doanh nghiệp

$$

Cùng sơ đồ như trước nhưng thêm một nhóm khác tiêu thụ nguồn dữ liệu, làm kỹ thuật đặc trưng trong silo riêng.

MLOps Tự động hoá Hoàn toàn

Kỹ thuật đặc trưng trong doanh nghiệp

$$

Tiếp nối hình trước: thêm nhóm thứ ba tiêu thụ cùng nguồn dữ liệu, làm kỹ thuật đặc trưng trong silo riêng.

MLOps Tự động hoá Hoàn toàn

Kho đặc trưng

$$

  • Kho đặc trưng tập trung

  • Tránh lặp công việc nhờ tự động hóa

  • Chuẩn hóa biến đổi

  • Lưu trữ tập trung

  • Phục vụ đặc trưng cho batch và thời gian thực

$$

Sơ đồ kiến trúc: nguồn dữ liệu được đưa vào kho đặc trưng. Trong kho, dữ liệu được biến đổi, đặc trưng được lưu trữ và được phục vụ.

MLOps Tự động hoá Hoàn toàn

Kho đặc trưng - Thử nghiệm nhanh hơn

$$

  • Thử nghiệm nhanh hơn
    • Trích xuất dữ liệu cho thí nghiệm
    • Khám phá đặc trưng
    • Tránh nhiều định nghĩa cho cùng đặc trưng

$$

Sơ đồ kiến trúc. Kho đặc trưng nằm ngang và cung cấp đặc trưng cho các thí nghiệm được điều phối trong môi trường Thử nghiệm và Phát triển.

MLOps Tự động hoá Hoàn toàn

Kho đặc trưng - Huấn luyện liên tục

$$

  • Huấn luyện liên tục (CT)
    • Trích xuất dữ liệu cho pipeline tự động trong sản xuất

$$

Sơ đồ kiến trúc. Kho đặc trưng nằm ngang, cung cấp dữ liệu cho thành phần huấn luyện liên tục trong môi trường staging/production.

MLOps Tự động hoá Hoàn toàn

Kho đặc trưng - Dự đoán trực tuyến

$$

  • Dự đoán trực tuyến
    • Dùng đặc trưng định nghĩa sẵn cho dịch vụ dự đoán

$$

Sơ đồ kiến trúc. Kho đặc trưng nằm ngang, cung cấp đặc trưng cho dịch vụ dự đoán trong hệ thống.

MLOps Tự động hoá Hoàn toàn

Kho đặc trưng - Đối xứng môi trường

$$

  • Tránh lệch huấn luyện-so-serving

$$

Sơ đồ kiến trúc. Kho đặc trưng nằm ngang, cung cấp đặc trưng cho pipeline điều phối, huấn luyện liên tục và dịch vụ dự đoán trên các môi trường.

MLOps Tự động hoá Hoàn toàn

Ayo berlatih!

MLOps Tự động hoá Hoàn toàn

Preparing Video For Download...