Пакетные операции upsert

Создание ИИ-приложений с Pinecone

James Chapman

Curriculum Manager, DataCamp

Ограничения при upsert

 

  1. Частота запросов
  2. Размер запросов

 

  • Пакетная обработка: разбиение запросов на небольшие части

 

pinecone-rate-limits.png

1 https://docs.pinecone.io/reference/quotas-and-limits#rate-limits
Создание ИИ-приложений с Pinecone

Определение функции разбиения на части

def chunks(iterable, batch_size=100):

it = iter(iterable)
chunk = tuple(itertools.islice(it, batch_size))
while chunk:
yield chunk
chunk = tuple(itertools.islice(it, batch_size))
Создание ИИ-приложений с Pinecone

Последовательная пакетная обработка

  • Разбиение запросов и последовательная отправка по одному
pc.Pinecone(api_key="YOUR API KEY")
index = pc.Index('datacamp-index')


for chunk in chunks(vectors): index.upsert(vectors=chunk)

Преимущества:

  • Решает проблемы частоты и размера запросов

Недостатки:

  • Очень медленно!
Создание ИИ-приложений с Pinecone

Параллельная пакетная обработка

  • Разбиение запросов и отправка параллельно
pc = Pinecone(api_key="YOUR_API_KEY", pool_threads=30)


with pc.Index('datacamp-index', pool_threads=30) as index:
async_results = [index.upsert(vectors=chunk, async_req=True) for chunk in chunks(vectors, batch_size=100)]
[async_result.get() for async_result in async_results]
Создание ИИ-приложений с Pinecone

Давайте потренируемся!

Создание ИИ-приложений с Pinecone

Preparing Video For Download...