Batchning av upserts

Bygga AI-applikationer med Pinecone

James Chapman

Curriculum Manager, DataCamp

Begränsningar vid upsert

 

  1. Hastighet för förfrågningar
  2. Storlek på förfrågningar

 

  • Batchning: dela upp förfrågningar i mindre delar

 

pinecone-rate-limits.png

1 https://docs.pinecone.io/reference/quotas-and-limits#rate-limits
Bygga AI-applikationer med Pinecone

Definiera en chunking-funktion

def chunks(iterable, batch_size=100):

it = iter(iterable)
chunk = tuple(itertools.islice(it, batch_size))
while chunk:
yield chunk
chunk = tuple(itertools.islice(it, batch_size))
Bygga AI-applikationer med Pinecone

Sekventiell batchning

  • Delar upp förfrågningar och skickar dem sekventiellt en i taget
pc.Pinecone(api_key="YOUR API KEY")
index = pc.Index('datacamp-index')


for chunk in chunks(vectors): index.upsert(vectors=chunk)

Fördelar:

  • Löser begränsningar för hastighet och storlek

Nackdelar:

  • Väldigt långsamt!
Bygga AI-applikationer med Pinecone

Parallell batchning

  • Delar upp förfrågningar och skickar dem parallellt
pc = Pinecone(api_key="YOUR_API_KEY", pool_threads=30)


with pc.Index('datacamp-index', pool_threads=30) as index:
async_results = [index.upsert(vectors=chunk, async_req=True) for chunk in chunks(vectors, batch_size=100)]
[async_result.get() for async_result in async_results]
Bygga AI-applikationer med Pinecone

Nu kör vi en övning!

Bygga AI-applikationer med Pinecone

Preparing Video For Download...