OpenAI API -hintakatsaus: Yleiset virheet ja miten välttää ne

Token-kustannukset: syöttö vs. tulo

OpenAI API -hinnoittelu laskuttaa syöttö- ja tulostokenit erikseen. Tämä tarkoittaa, että kokonaiskustannuksesi riippuu sekä siitä, kuinka paljon lähetät että siitä, kuinka paljon malli tuottaa. Syöttötokenit kattavat syötteesi sekä mahdollisen keskusteluhistorian. Tulostokenit kattavat mallin vastauksen tekstin.

Epäsuodatettu mallimme maksaa $0.15 miljoonalta syöttötokenilta ja $0.50 miljoonalta tulostustokenilta. Korkeampi tulostuskustannus heijastaa tekstin tuottamiseen tarvittavaa laskentatehoa. Lyhyemmät vastaukset maksavat vähemmän, mutta kuluttavat silti ennakkomaksusaldoasi.

• Syöttötunnisteet sisältävät syötteesi ja keskusteluhistorian
• Lähtötokentat kattavat mallin koko vastauksen
• Molemmat token-tyypit lasketaan esimaksutaseeseesi
• Virheet ja hylkäykset eivät kuluta nolla tokenneja

Copycurl https://api.mistralopenaicompatibleapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "list top 5 linux commands for disk cleanup"}]
  }'

Kontekstiikkoni rajoitukset ja odottamattomat laskut

Kontekstiikkoni rajoitukset vaikuttavat suoraan tokenkustannuksiisi, koska pidemmät keskustelut kuluttavat enemmän syötetokeneja. Tukematon mallimme tukee 100 000 tokenin kontekstiikkonia syötteelle ja tuotannolle yhdessä. Voit tuottaa jopa 16 000 tokenia per pyyntö. Jos jätät max_tokens pois, raja laskee 2 048 tokeniin.

Pidemmät kontekstiikkunat tarkoittavat korkeampia syöttötoken-kustannuksia mutta mahdollistavat myös monimutkaisemman päättelyn. Keskusteluhistorian leikkaaminen vähentää syöttökustannuksia mutta voi heikentää vastauksen laatua. Etsi tasapaino, joka sopii käyttötarkoitukseesi.

• 100 000 tokenin yhteinen kontekstiikkuna syötteelle ja tulokselle
• 16,000 maksimituottotokenia pyyntöä kohden
• 2 048 oletustuotos-tokenit, jos max_tokens jätetään pois
• Kontekstiuikkuna vaikuttaa sekä kustannuksiin että vastauksen laatuun

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.mistralopenaicompatibleapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Streaming vs non-streaming token calculation

Virtaavat vastaukset laskevat tokenit samalla tavalla kuin ei-virtaavat pyynnöt. Jokainen asiakkaalle lähetetty token lasketaan esimaksutaseeseesi riippumatta toimitustavasta. Virtaava tiedoanto toivoo tokenit vain osissa eikä kaikkia kerralla.

Käytä streamausta, kun tarvitset reaaliaikaista palautetta mutta seuraat token-käyttöä tarkasti. Viimeinen palautus sisältää kokonaistoken-laskurit sekä syötteelle että lähdölle. Seuraa näitä laskureita pysyäksesi budjetissasi.

• Virran ja ei-virran käyttävät identtistä tokenien laskentaa
• Jokainen asiakkaalle lähetetty token kuluttaa krediittejä
• Lopullinen palikka sisältää yhteiset syöte- ja tulostetokenien määrät
• Seuraa token-käyttöä streamausimplementaatiossasi

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Yleiset SDK-määritysvirheet

SDK-määritysvirheet aiheuttavat odottamattomia laskuja lähettämällä liian monta tokenia tai tekemällä redundantteja pyyntöjä. Kehittäjät unohtavat usein asettaa max_tokens-arvon, mikä johtaa odottamattoman pitkiin vastauksiin. Toiset jättävät huomiotta streamausimplementaatiot, jotka jatkavat tokenien lähettämistä vastauksen valmistumisen jälkeen.

Määritä SDK nimenomaisilla parametreilla. Aseta max_tokens ohjataksesi tuloksen pituutta. Ota streamaus käyttöön vain, kun tarvitset reaaliaikaista palautetta. Seuraa token-käyttöä sovelluslokeissasi.

• Aseta selkeät max_tokens-arvot hallitsemaan lähtöpituutta
• Ota suoratoisto käyttöön vain, kun reaaliaikainen palaute on tarpeen
• Seuraa tokenimääriä sovelluksesi lokissa
• Määritä aikakatkaisuarvot estääksesi jumittuvat pyynnöt

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.mistralopenaicompatibleapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Miksi esimaksukreditit säästävät sinulle rahaa

Esilukusaltonnit poistavat tilausjätteen veloittamalla vain todellisesta token-käytöstä. Järjestelmämme veloittaa 0,15 $ miljoonaa syöttötokenia kohden ja 0,50 $ miljoonaa lähtötokenia kohden. Virheet ja hylkäykset kuluttavat nolla tokenia, joten et koskaan maksa epäonnistuneista pyynnöistä.

Maksa $20–$500 kryptolla USDT TRC20 -verkossa tai USDC Base -verkossa. Saat bonusluottoa, kun täydennät $50 tai enemmän. Luotot eivät vanhene, joten voit käyttää niitä milloin haluat. Ei kuukausimaksuja, joten maksat vain todellisesta käytöstä.

• Esilukusaltonnit veloittavat vain todellisesta token-käytöstä
• Virheet ja hylkäykset eivät kuluta nolla tokenneja
• Lataa $20–$500 kryptolla
• Krediitit eivät koskaan vanhene ja bonuskrediitti koskee

Nopeusrajoitusten rangaistusten välttäminen

Nopeusrajoitukset estävät väärinkäytön, mutta voivat keskeyttää sovelluksesi, jos ne on määritetty virheellisesti. API:emme sallii 300 pyyntöä minuutissa avainta kohden ja 8 samanaikaista pyyntöä avainta kohden. Pyyntöjen runkojen tulee pysyä alle 8 Mt:n, jotta ne hylätään.

Ota käyttöön uudelleenyrittölogiikka eksponentiaalisella viiveen kasvattamisella osuessasi nopeusrajoituksiin. Seuraa pyyntöjen määrää minuutissa pysyäksesi rajojen sisällä. Käytä erillisiä avaimia eri sovelluskomponenteille kuorman jakamiseksi. Yksi aktiivinen avain tililläsi tarkoittaa, että sinun on hallittava avainten kiertoa huolellisesti.

• 300 pyyntöä minuutissa API-avainta kohden
• 8 samanaikaista pyyntöä sallittu per avain
• Pyyntökehikot on oltava alle 8 MB
• Yksi aktiivinen avain per tili vaihtokyvyllä

Vertailu uncensored-mallien kustannuksista

Epäsuodatetut mallit ovat usein kalliimpia kuin standardimallit erikoiskoulutuksen ja päättelyvaatimusten vuoksi. Mallimme laskuttaa $0,15 miljoonaa syöttötokenia kohden ja $0,50 miljoonaa tulostokenia kohden. Tämä hinnoittelu heijastaa epäsuodatetun tuotannon laskentaresursseja.

Vakio mallit voivat olla halvempia, mutta sisältävät sisältörajoituksia, jotka vaikuttavat vastauksen laatuun. Mallit ilman sensuuraa tarjoavat rajoittamattomia vastauksia lailliseen aikuisille sopivaan sisältöön, fiktiiviseen sisältöön ja tutkimukseen. Valitse sisältötarpeidesi perusteella hinnan sijaan.

• Uncensuroituihin malleihin tarvitaan erikoistunutta koulutusta ja päättelyä.
• Hinnoittelumme heijastaa uncensored-generoinnin laskentakustannuksia
• Sisältörajoitukset vaikuttavat vastauksen laatuun ja kustannuksiin
• Valitse sisällön tarpeiden mukaan, ei vain hinnan perusteella

Käytön ja laskutushälytysten seuranta

Token-käytön seuranta auttaa sinua valvomaan kustannuksia ja ehkäisemään budjetin ylityksiä. API palauttaa token-määrät jokaisessa vastauksessa, mukaan lukien streamausvastaukset. Seuraa näitä määriä sovelluksesi lokissa ja ohjauspaneelissa.

Aseta hälytykset, kun käyttö saavuttaa tietyt kynnykset. Seuraa syöttö- ja lähtötokenien suhdetta optimoidaksesi promptejasi. Käytä token-laskureita laskeaksesi todelliset kustannukset ja vertaaksesi niitä esimaksusaldoosi.

• Tokenimäärät näkyvät jokaisessa vastauksessa, myös streamauksessa
• Seuraa syöte- ja tulostetokenien suhteita
• Aseta käytön hälytykset budjetin ylikuluttamisen estämiseksi
• Laske todelliset kustannukset tokenmäärien perusteella