Pika-aloitus: Yhdistä OpenAI SDKsi

Edellytykset: SDK ja ympäristö

Asenna kielikohtainen virallinen asiakasohjelmisto. Tarvitset modernin Python- tai Node.js-käyttöliittymän ja voimassa olevan API-avaimen hallintapaneelista. Ympäristömuuttujat tulee asettaa turvallisesti ennen asiakasinstanssin alustamista.

Konfiguraatio: base_url ja API-avain

Osoita SDK:si tiettyyn päätepisteeseemme oletusarvoisen OpenAI-palvelimen sijaan. Käytä base URLia, joka löytyy hallintapaneelistasi, ja määritä luomasi avain standardiin valtuutusheaderiin. Tämä varmistaa, että kaikki pyynnät ohjautuvat oikein rajoittamattomaan malliinfrastruktuuriimme ilman erillisiä header-vaihtoehtoja.

Lähettämällä ensimmäinen chat-completion

Tee yksinkertainen POST-pyyntö chat-täydennyspäätepisteeseen yhteyden varmistamiseksi. Uncensored-mallimme vastaa välittömästi vakiokehotteisiin, jolloin voit testata sisältögenerointia ilman välittömiä hylkäyksiä. Käytä seuraavaa esimerkkiä vahvistaaksesi, että avaimesi toimii:

Copycurl https://api.mistralopenaicompatibleapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "list top 5 linux commands for disk cleanup"}]
  }'

Vastaus vahvistaa, että malli käsitteli syötteesi sallitun kontekstiikkunan sisällä. Voit nyt integroida tämän logiikan sovellusvuokosiin.

Python SDK -toteutus

Käytä virallista Python-kirjastoa pyyntöjen serialisoinnin käsittelyyn automaattisesti. Aseta base URL osoittamaan domainiimme ja syötä API-avausi ensisijaiseksi todennusparametriksi. Tämä lähestymistapa toimii identtisesti paikallisessa testauksessa ja tuotantokäytössä.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.mistralopenaicompatibleapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Varmista, että käsittelet poikkeukset kunnolla, sillä verkkovirheet tai virheelliset avaimet aiheuttavat standardit HTTP-poikkeukset. Kirjasto laskee tokenit tehokkaasti esimaksutalousasi varten.

Node SDK -toteutus

Alusta asiakasohjelma oikealla base URL:llä ja API-avaimella Node.js-ympäristössäsi. SDK tukee sekä synkronisia että asynkronisia kuvioita eri käyttötapauksia varten. Määritä mallin tunnisteen arvoksi "uncensored" johdonmukaisten tulosten saamiseksi.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.mistralopenaicompatibleapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Node-käyttäjät hyötyvät samasta tokenhinnoittelurakenteesta ja nopeusrajoituksista kuin Python-käyttäjät. Seuraa käyttötilastoja seurataksesi esimaksukreditin kulutusta tarkasti.

Virtaavat vastaukset ja rajat

Ota käyttöön suoratoisto, jotta tokenit saadaan asteittain, mikä vähentää havaittua viivepitkiin tuloksiin. API-tukemme Server-Sent Events -tekniikalla reaaliaikaiseen tekstin luomiseen, mikä on ihanteellinen chatrajapintoihin. Huomioi nopeusrajoitukset (429) ja tokenrajoitukset suurten kuormien aikana.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Jokainen pyyntö noudattaa 100 000 tokenin kontekstiikkunaa ja 16 000 tokenin tuottorajaa. Virheet kuten 401 viittaavat virheellisiin tunnuslukuihin, kun taas 402 merkitsee riittämätöntä esiladattua kredittiä. Pidä pyynnöt alle 8 Mt välttääksesi payload-hylkäykset.