Förklara chattbaserade generativa AI-modeller

Förklarbar AI i Python

Fouad Trad

Machine Learning Engineer

Chattbaserade generativa AI-modeller

Används för att generera text
Förutsäger baserat på kontext och kunskap

Bild som visar en användare som skickar en prompt till en generativ AI-modell och får ett svar.

Chain-of-thought-prompt

Uppmuntrar modellen att formulera sitt resonemang

Bild som visar hur en chain-of-thought-prompt ber modellen lösa ett problem steg för steg, där svaret innehåller resonemanget bakom varje steg.

Skapa en chain-of-thought-prompt

prompt = """A shop starts with 20 apples. It sells 5 apples and then receives 8 more. 
How many apples does the shop have now? Show your reasoning step-by-step."""

response = get_response(prompt)

print(response)

To find out how many apples the shop has now, let's follow the transactions step-by-step:

1- The shop begins with 20 apples.

2- The shop sells 5 apples. 
   We subtract this number from the starting quantity: 20 - 5 = 15

3- The shop receives 8 apples. 
   We add this number to the remaining apples: 15 + 8 = 23

So, after these transactions, the shop has 23 apples.

Self-consistency

Utvärderar modellens säkerhet i genererade svar

Bild som visar att en self-consistency-prompt innebär att samma prompt skickas flera gånger till modellen, där varje gång ger ett svar.

Self-consistency vid textklassificering

Användbart för textklassificering

Bild som visar ett self-consistency-exempel där modellen ska klassificera en användarrecension som positiv eller negativ och ger flera svar.

Self-consistency vid textklassificering

Användbart för textklassificering

Bild som visar ett self-consistency-exempel där modellen ska klassificera en användarrecension som positiv eller negativ och ger flera svar. Säkerheten beräknas som andelen av varje kategori i förhållande till det totala antalet svar.

Skapa self-consistency-promptar

prompt = """Classify the following review as positive or negative. 
You should reply with either "positive" or "negative", nothing else.
Review: 'The customer service was great, but the product itself did not meet my expectations.'"""


responses = []

for i in range(5):
    sentiment = get_response(review)

    responses.append(sentiment.lower())


confidence = {
    'positive': responses.count('positive') / len(responses),
    'negative': responses.count('negative') / len(responses)
}

Skapa self-consistency-promptar

print(confidence)

{
    'positive': 0.6,
    'negative': 0.4
}

Nu kör vi en övning!

Förklarbar AI i Python