Ceny API OpenAI: Časté chyby a jak jim předejít

Pochopení nákladů na tokeny: vstup vs. výstup

Ceny API OpenAI účtují vstupní a výstupní tokeny samostatně. To znamená, že celkové náklady závisí na tom, kolik odešlete a kolik model vygeneruje. Vstupní tokeny pokrývají váš prompt plus historii konverzace. Výstupní tokeny pokrývají text odpovědi modelu.

Náš model bez omezení účtuje $0,15 za milion vstupních tokenů a $0,50 za milion výstupních tokenů. Vyšší cena za výstup odráží výpočetní nároky na generování textu. Kratší odpovědi stojí méně, ale stále spotřebovávají váš předplacený kredit.

• Vstupní tokeny zahrnují váš prompt a historii konverzace
• Výstupní tokeny pokrývají kompletní odpověď modelu
• Oba typy tokenů se započítávají do vašeho předplaceného zůstatku
• Chyby a odmítnutí nespotřebují nulu tokenů

Copycurl https://api.mistralopenaicompatibleapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "list top 5 linux commands for disk cleanup"}]
  }'

Limity okna kontextu a neočekávané poplatky

Limity okna kontextu přímo ovlivňují vaše náklady za tokeny, protože delší konverzace spotřebovávají více vstupních tokenů. Náš uncensored model podporuje okno kontextu o 100 000 tocenech pro prompt i completion dohromady. Můžete vygenerovat až 16 000 tokenů na požadavek. Pokud vynecháte max_tokens, limit klesne na 2 048 tokenů.

Delší kontextová okna znamenají vyšší náklady na vstupní tokeny, ale také umožňují složitější uvažování. Ořezání historie konverzace snižuje vstupní náklady, ale může zhoršit kvalitu odpovědí. Najděte rovnováhu, která funguje pro váš případ použití.

• Celkové kontextové okno 100 000 tokenů pro vstup plus výstup
• 16 000 maximálních výstupních tokenů na požadavek
• Výchozích 2 048 výstupních tokenů, pokud je max_tokens vynecháno.
• Kontextové okno ovlivňuje jak náklady, tak kvalitu odpovědi

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.mistralopenaicompatibleapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Výpočet tokenů streamování vs. nestreamování

Streamované odpovědi počítají tokeny stejným způsobem jako nestreamované požadavky. Každý token odeslaný klientovi se započítává do vašeho předplaceného zůstatku bez ohledu na způsob doručení. Streamování pouze postupně doručuje tokeny místo odeslání všech najednou.

Použijte streamování, když potřebujete zpětnou vazbu v reálném čase, ale pečlivě sledujte spotřebu tokenů. Poslední chunk obsahuje celkové počty tokenů pro vstup i výstup. Sledujte tyto počty, abyste zůstali v rozpočtu.

• Streamování a nestreamování používají identické počítání tokenů
• Každý token odeslaný klientovi spotřebovává kredity
• Poslední část zahrnuje celkové počty vstupních a výstupních tokenů
• Sledujte využití tokenů ve své streamovací implementaci

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Časté chyby konfigurace SDK

Nesprávná konfigurace SDK způsobuje neočekávané poplatky odesláním příliš mnoha tokenů nebo prováděním redundantních požadavků. Vývojáři často zapomínají nastavit max_tokens, což vede k neočekávaně dlouhým odpovědím. Jiní přehlédnou implementaci streamování, která pokračuje v odesílání tokenů i po dokončení odpovědi.

Nastavte své SDK s explicitními parametry. Nastavte max_tokens pro ovládání délky výstupu. Povolte streamování pouze tehdy, když potřebujete zpětnou vazbu v reálném čase. Sledujte využití tokenů v logech své aplikace.

• Nastavte explicitní max_tokens pro ovládání délky výstupu
• Povolte streamování pouze tehdy, když je potřeba zpětná vazba v reálném čase
• Sledujte počty tokenů v logech vaší aplikace
• Nastavte hodnoty časového limitu, abyste předešli visícím požadavkům

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.mistralopenaicompatibleapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Proč předplacené kredity vám ušetří peníze

Předplacené kredity eliminují plýtvání předplatným tím, že účtují pouze za skutečné využití tokenů. Náš systém účtuje 0,15 $ za milion vstupních tokenů a 0,50 $ za milion výstupních tokenů. Chyby a odmítnutí spotřebují nula tokenů, takže nikdy neplatíte za selhané požadavky.

Zaplaťte 20 až 500 USD v kryptoměnách za USDT na TRC20 nebo USDC na Base. Získejte bonusový úvěr při dobíjení od $50 výše. Úvěry nikdy nevyprší, takže je můžete použít kdykoli budete potřebovat. Žádné měsíční poplatky znamenají, že platíte pouze za to, co skutečně spotřebujete.

• Předplacené kredity účtují pouze za skutečné využití tokenů
• Chyby a odmítnutí nespotřebují nulu tokenů
• Dobití $20 až $500 v kryptoměně
• Úvěry nikdy nevyprší a vztahuje se na ně bonusový kredit

Předcházení pokutám za překročení limitu rychlosti

Omezení rychlosti (rate limits) zabraňují zneužívání, ale mohou přerušit vaši aplikaci, pokud jsou nesprávně nakonfigurována. Naše API umožňuje 300 požadavků za minutu na klíč a 8 souběžných požadavků na klíč. Těla požadavků musí zůstat pod 8 MB, aby nedošlo k jejich zamítnutí.

Implementujte logiku opakování s exponenciálním backoffem při dosažení limitů rychlosti. Sledujte počet požadavků za minutu, abyste zůstali v mezích limitů. Použijte samostatné klíče pro různé komponenty aplikace pro rozložení zátěže. Jeden aktivní klíč na účet znamená, že musíte pečlivě spravovat rotaci klíčů.

• 300 požadavků za minutu na klíč API
• 8 souběžných požadavků povoleno na klíč
• Těla požadavků musí být menší než 8 MB
• Jeden aktivní klíč na účet s možností nahrazení

Porovnání nákladů na modely bez omezení

Modely bez omezení často stojí více než standardní modely kvůli specializovanému tréninku a požadavkům na inferenci. Náš model účtuje $0.15 za milion vstupních tokenů a $0.50 za milion výstupních tokenů. Toto cenění odráží výpočetní zdroje potřebné pro generování bez omezení.

Standardní modely mohou být levnější, ale zahrnují omezení obsahu, která ovlivňují kvalitu odpovědí. Uncensored modely poskytují neomezené odpovědi pro legální adult obsah, fikci a výzkum. Vyberte podle potřeb obsahu spíše než pouze podle ceny.

• Modely bez omezení vyžadují specializovaný training a inference
• Naše cena odráží náklady na výpočetní výkon pro uncensored generování
• Omezení obsahu ovlivňují kvalitu odpovědí a náklady
• Vyberte na základě potřeb obsahu, ne jen ceny

Sledování využití a upozornění na fakturaci

Sledování spotřeby tokenů vám pomáhá monitorovat náklady a předcházet překročení rozpočtu. Naše API vrací počty tokenů v každé odpovědi, včetně streamovaných odpovědí. Sledujte tyto počty v logách a dashboardech vaší aplikace.

Nastavte upozornění, když využití dosáhne určitých prahových hodnot. Sledujte poměr vstupních a výstupních tokenů pro optimalizaci promptů. Použijte počty tokenů pro výpočet skutečných nákladů a porovnejte je se svým předplaceným zůstatkem.

• Počty tokenů se objevují v každé odpovědi včetně streamovaných
• Sledujte poměry vstupních a výstupních tokenů
• Nastavte upozornění na využití, abyste předešli překročení rozpočtu
• Vypočítejte skutečné náklady pomocí počtu tokenů