OpenAI API árazás: Gyakori hibák és hogyan kerüld el őket

Tokenköltségek: bevitel vs. kimenet

Az OpenAI API árazása külön-külön számlázza a bemeneti és kimeneti tokeneket. Ez azt jelenti, hogy a teljes költséged attól függ, hogy mennyit küldesz és mennyit generál a modell. A bemeneti tokenek a promptodat és a beszélgetés előzményeit fedik le. A kimeneti tokenek a modell válasz szövegét fedik le.

Az uncensored modellünk $0,15-öt számít fel millió bemeneti token után és $0,50-t millió kimeneti token után. A magasabb kimeneti költség a szöveggeneráláshoz szükséges számítási teljesítményt tükrözi. A rövidebb válaszok kevesebbe kerülnek, de továbbra is a feltöltött hiteledből vonnak le.

• A bemeneti tokenek tartalmazzák a promptot és a beszélgetés előzményeit
• A kimeneti tokenek a modell teljes válaszát lefedik.
• Mindkét token típus a előre fizetett egyenleghez számít
• A hibák és a visszautasítások null tokent fogyasztanak

Copycurl https://api.mistralopenaicompatibleapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "list top 5 linux commands for disk cleanup"}]
  }'

Kontextusablak korlátok és váratlan díjak

A kontextusablak korlátok közvetlenül befolyásolják a tokenköltségeket, mert a hosszabb beszélgetések több bemeneti tokenet fogyasztanak. Uncensored modellünk 100 000 tokenes kontextusablakot támogat a prompt és a kiegészítés együttesen. Kérésenként akár 16 000 token generálható. Ha elhagyja a max_tokens paramétert, a korlát 2 048 tokenre csökken.

A hosszabb kontextusablakok magasabb bemeneti token költségeket jelentenek, de lehetővé teszik a komplexebb gondolkodást is. A beszélgetési előzmények vágása csökkenti a bemeneti költségeket, de ronthatja a válasz minőségét. Találja meg az egyensúlyt, amely az Ön esetére működik.

• 100 000-es teljes kontextusablak bemenet és kimenet együtt
• 16,000 maximális kimeneti token kérésenként
• 2 048 alapértelmezett kimeneti token, ha a max_tokens elmarad
• A kontextus ablak mind a költségeket, mind a válaszminőséget befolyásolja

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.mistralopenaicompatibleapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Streamelés vs. nem streamelési token számítás

A streamelt válaszok tokenjeinek számítása ugyanúgy történik, mint a nem streamelt kérések esetén. A kliensnek minden elküldött token számít a előre fizetett egyenlegéhez, függetlenül a szállítási módtól. A streamelés csak fokozatosan, nem pedig egyszerre adja vissza a tokeneket.

Használjon streamelést, ha valós idejű visszajelzést igényel, de óvatosan nyomon követi a tokenhasználatot. Az utolsó darab tartalmazza a teljes token számokat bemenetre és kimenetre egyaránt. Figyelje ezeket a számokat, hogy a költségvetésen belül maradjon.

• A streamelt és nem streamelt mód azonos token számolást használ
• Minden kliensnek küldött token krediteket fogyaszt
• A végső darab tartalmazza a teljes bemeneti és kimeneti token számokat
• Token használat nyomon követése a streamelő megvalósításban

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Gyakori SDK konfigurációs hibák

Az SDK-konfigurációs hibák váratlan költségeket okozhatnak a túl sok token küldésével vagy felesleges kérésekkel. A fejlesztők gyakran elfelejtik beállítani a max_tokens értékét, ami váratlanul hosszú válaszokhoz vezet. Mások elmulasztják a streamelés megvalósítását, ami továbbra is tokeneket küld a válasz befejezése után.

Konfigurálja az SDK-t explicit paraméterekkel. Állítsa be a max_tokens értéket a kimenet hosszának szabályozására. Csak akkor engedélyezze a streamelést, ha valós idejű visszajelzésre van szüksége. Kövesse nyomon a token-felhasználást az alkalmazás naplóiban.

• Állíts be explicit max_tokens értékeket a kimeneti hossz vezérlésére
• Csak akkor engedélyezze a streamelést, ha valós idejű visszajelzés szükséges.
• Figyelje a token számokat az alkalmazás naplóiban
• Konfigurálja az időtúllépési értékeket a lógó kérések megelőzésére

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.mistralopenaicompatibleapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Miért takarít meg pénzt a feltöltött hitel

Az előre fizetett kreditek megszüntetik az előfizetési pazarlást, és csak a tényleges tokenfelhasználásért számítanak fel díjat. Rendszerünk $0.15-öt számít fel millió bemeneti tokenenként és $0.50-ot millió kimeneti tokenenként. A hibák és visszautasítások nulla tokenet fogyasztanak, így soha nem fizet sikertelen kérésekért.

Fizessen $20-tól $500-ig kriptovalutával USDT TRC20-on vagy USDC Base-on. Bónusz hitelt kap $50 vagy több feltöltése esetén. A hitelek sosem járnak le, így bármikor felhasználhatja őket. A havi díjak hiánya miatt csak a tényleges fogyasztásért fizet.

• Az előre fizetett kreditek csak a tényleges tokenfelhasználásért számítanak fel
• A hibák és a visszautasítások null tokent fogyasztanak
• Top up $20 és $500 között kriptóban
• A kreditek sosem járnak le, és bónusz kredit jár

A sebességkorlátozási bírságok elkerülése

A sebességkorlátok megakadályozzák a visszaéléseket, de megszakíthatják az alkalmazásodat, ha helytelenül vannak beállítva. API-nk percenként 300 kérést enged kulcsonként és 8 párhuzamos kérést kulcsonként. A kérések törzse nem haladhatja meg a 8 MB-ot a visszautasítás elkerülése érdekében.

Implementáljon újrapróbálkozási logikát exponenciális backoffkal a sebességkorlátok elérésekor. Figyelje a percenkénti kérésszámot, hogy maradjon a korlátokon belül. Használjon külön kulcsokat az alkalmazás különböző komponenseihez a terhelés elosztásához. Egy fiókra érvényes aktív kulcs esetén óvatosan kell kezelnie a kulcsforgatást.

• 300 kérés percenként API-kulcsonként
• 8 párhuzamos kérés engedélyezve kulsonként
• A kérések törzse 8 MB alatt kell legyen
• Fihtonként egy aktív kulcs cserelehetőséggel

Az uncensored model költségeinek összehasonlítása

Az uncensored modellek gyakran drágábbak, mint a standard modellek a specializált képzés és következtetési igények miatt. Modellünk millió bemeneti tokenenként $0,15-öt, millió kimeneti tokenenként pedig $0,50-öt számít fel. Ez az árazás az uncensored generáláshoz szükséges számítási erőforrásokat tükrözi.

A standard modellek olcsóbbak lehetnek, de tartalmi korlátozásokat tartalmaznak, amelyek befolyásolják a válaszok minőségét. Az uncensored modellek korlátlan válaszokat biztosítanak törvényes felnőtt tartalmakhoz, fikcióhoz és kutatáshoz. Válassz a tartalomi igényeid alapján, ne csak az ár alapján.

• Az uncensored modellek specializált képzést és inferenciát igényelnek.
• Árazásunk tükrözi az uncensored generáció számítási költségeit
• A tartalmi korlátozások befolyásolják a válaszminőséget és a költségeket
• Válasszon a tartalmi igények alapján, ne csak az ár alapján

Használat és számlázási értesítések nyomon követése

A tokenfelhasználás követése segít nyomon követni a költségeket és megakadályozni a költségkeret túllépését. API-nk token számokat ad vissza minden válaszban, beleértve a streamelő válaszokat is. Kövesse ezeket a számokat az alkalmazásnaplókban és műszerfalakon.

Állítson be értesítéseket, amikor a felhasználás eléri az adott küszöbértékeket. Figyelje az input és output token arányokat a promptok optimalizálásához. Használja a token számokat a tényleges költségek kiszámításához és az előre fizetett egyenleggel való összehasonlításhoz.

• A tokenek száma minden válaszban megjelenik, streamelés esetén is
• Figyelje az input és output token arányokat
• Állíts be használati értesítéseket a költségkeret túllépésének megelőzésére
• Valós költségek kiszámítása token számok alapján