Fra chatgrensesnitt til API

Du har prøvd chatvinduene. Denne leksjonen viser det programmereren trenger å se bak dem: det samme språkmodell-API-et, men som et kall fra koden din — request inn, respons ut. Ingen magi, bare data som reiser over nettet.

Samme modell, ny inngang

Et chatvindu er bare en klient: den samler det du skriver i en meldingsliste, sender listen til et API, og tegner svaret pent på skjermen. Når du kaller det samme API-et fra kode, tar du over begge jobbene — du bygger selv listen som skal sendes, og du bestemmer selv hva som skal skje med svaret.

1// Request — det du sender inn (forenklet skisse)2const request = {3  model: "språkmodell",           // hvilken modell du snakker med4  messages: [5    { role: "system", content: "Du er kundeservice for et bakeri." },6    { role: "user", content: "Hva koster grove rundstykker?" },7  ],8  temperature: 0.4,               // hvor mye svaret får lov å sprike9  max_tokens: 200,                // taket for svarets lengde10};

Hva du sender inn, hva du får ut

• messages — meldingslisten. Hver melding har en role (system, bruker eller assistent) og en content-tekst. Hele kurset bygger på denne listen.
• temperature — hvor kreativt svaret skal være. Mer om det i leksjon 5.
• max_tokens — taket for svarets lengde, også i leksjon 5.
• model — hvilken modell du snakker med. Navnene varierer mellom leverandørene, formen gjør det ikke.

1// Respons — det som kommer tilbake (forenklet skisse)2const respons = {3  choices: [4    {5      message: {6        role: "assistant",7        content: "Grove rundstykker koster 24 kroner stykket.",8      },9    },10  ],11  usage: {12    input_tokens: 28,   // det du sendte13    output_tokens: 9,   // det som kom tilbake14  },15};

To ting å merke seg. Svaret ligger inni en liste — hos de fleste leverandører heter den choices, og teksten henter du med respons.choices[0].message.content. Og usage-feltet forteller hva kallet kostet i tokens: det du sendte og det du fikk tilbake, begge veier. Vi regner på prisene i leksjon 7.

Hvorfor kode slår chatvinduet

• Gjenbruk — samme kall, samme instruks, hver gang. Boten din svarer like pent klokka tre om natten som du gjør klokka ni.
• Automasjon — kallet kan fyres av av noe annet: et skjema, en netthendelse, en kø. Ingen må sitte og lime tekst inn i et vindu.
• Strukturert mottak — svaret er data, ikke tekst på en skjerm. Du kan lese ut felt, validere dem og sende dem videre.

Meldingsformatet — en array med rolle- og tekst-objekter — er i praksis det du finner hos de store leverandørene. SDK-ene deres pakker det inn i litt ulike navn, men formen du bygger her er den samme. Du lærer én ting og bruker den overalt.