Query dengan agen Databricks SQL

Databricks dengan Python SDK

Avi Steinberg

Senior Software Engineer

Databricks Unity Catalog

Metode utama untuk menyimpan data di Databricks
Berisi skema, yang dapat memuat banyak tabel
Buat tabel di dalam skema dari beragam sumber
Banyak skema open-source di katalog samples

Databricks Unity Catalog

¹ https://docs.databricks.com/aws/en/catalogs/

LangChain

Pustaka untuk membangun dan menerapkan aplikasi LLM
Memungkinkan Anda membuat agen AI yang memakai SQL untuk mengkueri data

Dependensi Python LangChain

Instal dependensi paket Python:

pip install --upgrade databricks-langchain langchain-community langchain 
                      databricks-sql-connector databricks-sqlalchemy

Impor pustaka:

from langchain_community.agent_toolkits import create_sql_agent
from langchain_community.agent_toolkits import SQLDatabaseToolkit
from langchain_community.utilities import SQLDatabase
from databricks_langchain import ChatDatabricks

ID Databricks SQL Warehouse

Detail Koneksi Databricks SQL Warehouse

Autentikasi LangChain ke Workspace Databricks

Ekspor variabel lingkungan:

os.environ["DATABRICKS_TOKEN"] = "<Your-Access-Token>"
os.environ["DATABRICKS_HOST"] = "<your-workspace-id>.cloud.databricks.com"

Agen Databricks SQL

Ajukan pertanyaan ke agen AI tentang data di skema katalog Databricks
Agen AI dapat menjawab pertanyaan tentang data yang memerlukan SQL
Setel verbose=True agar agen AI menampilkan langkah kerjanya

Keluaran kueri LangChain

Gunakan agen Databricks SQL untuk kueri Katalog

db = SQLDatabase.from_databricks(
    catalog="samples", 
    schema="nyctaxi",
    warehouse_id=warehouse_id)
llm = ChatDatabricks(
    endpoint="databricks-meta-llama-3-3-70b-instruct",
    temperature=0.1,
    max_tokens=100)
toolkit = SQLDatabaseToolkit(db=db, llm=llm)
agent = create_sql_agent(llm=llm, toolkit=toolkit, verbose=True)
# Query the Databricks SQL Agent
result = agent.run("What's the time and distance of the longest trip?")
print(result)

¹ https://docs.databricks.com/aws/en/large-language-models/langchain#databricks-sql-agent

Buat basis data SQL LangChain dari Katalog Databricks

db = SQLDatabase.from_databricks(
    catalog="samples", 
    schema="nyctaxi",
    warehouse_id="<your-warehouse-id>"
)

¹ api.python.langchain.com/en/latest/utilities/langchain_community.utilities.sql_database.SQLDatabase.html

Buat LLM LangChain dengan model dasar

llm = ChatDatabricks(

    endpoint="databricks-meta-llama-3-3-70b-instruct",

    temperature=0.1,
    max_tokens=100,
)

temperature: float antara 0 dan 1 untuk mengatur tingkat acak respons model
max_tokens: jumlah token maksimum dalam respons

¹ https://docs.databricks.com/aws/en/large-language-models/langchain

Buat toolkit basis data SQL LangChain

toolkit = SQLDatabaseToolkit(db=db, llm=llm)

¹ https://docs.databricks.com/aws/en/large-language-models/langchain

Buat Agen Databricks SQL

agent = create_sql_agent(llm=llm, toolkit=toolkit, verbose=True)

result = agent.run("What's the time and distance of the longest trip?")
display(result)

Rata-rata perjalanan sekitar 15 menit.

¹ https://docs.databricks.com/aws/en/large-language-models/langchain

Mari kueri data Databricks!

Databricks dengan Python SDK