OpenAI API-prissättning: Vanliga misstag och hur du undviker dem

Att förstå tokenkostnader: inmatning vs utmatning

OpenAI API-prissättning tar ut betalt separat för inmatnings- och utmatningstokens. Detta innebär att dina totala kostnader beror på både hur mycket du skickar och hur mycket modellen genererar. Inmatningstokens täcker din prompt plus eventuell konversationshistorik. Utmatningstokens täcker modellens svarstext.

Vår obegränsade modell kostar $0.15 per miljon inmatningstokens och $0.50 per miljon utmatningstokens. Den högre utmatningskostnaden speglar beräkningsresurserna som krävs för att generera text. Kortare svar kostar mindre men förbrukar fortfarande din förbetalda kredit.

• Inmatningstoken inkluderar din prompt och konversationshistorik
• Utdatatokens täcker modellens kompletta svar
• Båda token-typerna räknas mot din förbetalda balans
• Fel och avvisningar förbrukar noll tokens

Copycurl https://api.mistralopenaicompatibleapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "list top 5 linux commands for disk cleanup"}]
  }'

Kontextfönstrets begränsningar och oväntade avgifter

Kontextfönstrets begränsningar påverkar dina tokenkostnader direkt eftersom längre samtal kräver fler inmatningstokens. Vår okorrigerade modell stöder ett kontextfönster på 100 000 tokens för prompt plus svar tillsammans. Du kan generera upp till 16 000 tokens per begäran. Om du utelämnar max_tokens sjunker gränsen till 2 048 tokens.

Längre kontextfönster innebär högre kostnader för input-tokens men möjliggör också mer komplexa resonemang. Att trimma konversationens historik minskar input-kostnaderna men kan försämra svarskvaliteten. Hitta balansen som fungerar för ditt användningsfall.

• 100 000 totalt kontextfönster för inmatning plus utmatning
• 16,000 maximala utdatatokens per begäran
• 2 048 standard utdatatokens om max_tokens utelämnas
• Kontextrutan påverkar både kostnader och svarskvalitet

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.mistralopenaicompatibleapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Tokenberäkning för streaming jämfört med icke-streaming

Streaming-responser räknar tokens på samma sätt som icke-streamande förfrågningar. Varje token som skickas till klienten räknas mot ditt förbetala saldo oavsett leveransmetod. Streaming levererar bara tokens inkrementellt snarare än alla på en gång.

Använd streaming när du behöver realtidsfeedback men spåra tokenanvändning noggrant. Den sista chunken innehåller totala tokenräkningar för både input och output. Övervaka dessa räkningsvärden för att hålla dig inom din budget.

• Streaming och icke-streaming använder identisk tokenräkning
• Varje token som skickas till klienten förbrukar krediter
• Slutsats: Sista biten inkluderar totala antalet in- och utdata-token
• Spåra tokenförbrukning i din strömningsimplementering

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Vanliga konfigurationsfel i SDK

SDK-miskonfigurationer orsakar oväntade kostnader genom att skicka för många tokens eller göra onödiga förfrågningar. Utvecklare glömmer ofta att ställa in max_tokens, vilket leder till oväntat långa svar. Andra missar streaming-implementeringar som fortsätter att skicka tokens efter att svaret är klart.

Konfigurera ditt SDK med explicita parametrar. Ange max_tokens för att kontrollera utmatningslängd. Aktivera strömning endast när du behöver realtidsåterkoppling. Övervaka tokenanvändning i dina applikationsloggar.

• Ställ in explicita max_tokens för att kontrollera utmatningslängd
• Aktivera strömning endast när realtidsfeedback behövs
• Övervaka tokenräkningar i dina applikationsloggar
• Konfigurera timeout-värden för att förhindra hängande begäranden

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.mistralopenaicompatibleapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Varför förbetald kredit sparar dig pengar

Förbetalsald eliminerar slöseri med abonnemang genom att debitera endast för faktisk tokenanvändning. Vårt system debiterar $0.15 per miljon input-tokens och $0.50 per miljon output-tokens. Fel och avslag förbrukar noll token så att du aldrig betalar för misslyckade begäranden.

Betala $20 till $500 i crypto för USDT på TRC20 eller USDC på Base. Få bonuskredit vid påfyllning på $50 eller mer. Krediter förfaller aldrig så att du kan använda dem när du vill. Inga månadskostnader innebär att du bara betalar för det du faktiskt förbrukar.

• Förbetalsald debiterar endast för faktisk tokenanvändning
• Fel och avvisningar förbrukar noll tokens
• Topp upp $20 till $500 i krypto
• Krediter löper aldrig ut och bonuskredit gäller

Undvik straff för hastighetsbegränsningar

Rate limits förhindrar missbruk men kan avbryta din applikation om de är felaktigt konfigurerade. Vårt API tillåter 300 förfrågningar per minut per nyckel och 8 samtidiga förfrågningar per nyckel. Begärande kroppar måste hålla sig under 8 MB för att undvika avvisning.

Implementera retry-logik med exponentiell backoff när du träffar hastighetsgränser. Övervika ditt förfrågningsantal per minut för att hålla dig inom gränserna. Använd separata nycklar för olika applikationskomponenter för att fördela belastningen. En aktiv nyckel per konto innebär att du måste hantera nyckelrotation noggrant.

• 300 requests per minute per API key
• 8 samtidiga begäran tillåtna per nyckel
• Begärans kroppar måste vara under 8 MB
• En aktiv nyckel per konto med ersättningsmöjlighet

Jämförelse av osensurerade modellkostnader

Oucensurerade modeller kostar ofta mer än standardmodeller på grund av specialiserad träning och inferenskrav. Vår modell tar ut $0.15 per miljon ingångstokens och $0.50 per miljon utmatningstokens. Denna prissättning speglar de beräkningsresurser som krävs för ucensurerad generation.

Standardmodeller kan kosta mindre men innehåller innehållsbegränsningar som påverkar svarsqualiteten. Obegränsade modeller ger obegränsade svar för lagligt vuxet innehåll, fiktion och forskning. Välj baserat på dina innehållsbehov snarare än pris ensam.

• Ouncensurerade modeller kräver specialiserad träning och inferens
• Vår prissättning återspeglar kostnaderna för uncensored-genereringsberäkning
• Innehållsbegränsningar påverkar svarskvalitet och kostnad
• Välj baserat på innehållsbehov inte bara pris

Spårning av användning och faktureringsaviseringar

Tokenanvändningsspårning hjälper dig att övervaka kostnader och förhindra budgetöverskridanden. Vårt API returnerar tokenantal i varje svar inklusive strömsvart. Spåra dessa antal i dina applikationsloggar och dashboards.

Skapa varningar när användningen når vissa tröskelvärden. Övervaka förhållandet mellan inmatnings- och utdata-tokens för att optimera dina prompts. Använd tokenräkningarna för att beräkna faktiska kostnader och jämför mot ditt förbetalda saldo.

• Tokenantal visas i varje svar inklusive streaming
• Övervaka förhållandet mellan inmatnings- och utmatningstokens
• Ställ in användningsvarningar för att förhindra budgetöverskridanden
• Beräkna faktiska kostnader med tokenantal