OpenAI API-pris: Almindelige fejl og hvordan du undgår dem

Forståelse af tokenomkostninger: input vs. output

OpenAI API-prissætning opkræver separat for input- og output-tokens. Dette betyder, at dine samlede omkostninger afhænger af både, hvor meget du sender, og hvor meget modellen genererer. Input-tokens dækker din prompt samt eventuel samtalehistorik. Output-tokens dækker modellens svartekst.

Vores ucensurerede model koster $0.15 per million input tokens og $0.50 per million output tokens. Den højere output-kostnad afspejler den beregning, der kræves til tekstgenerering. Kortere svar koster mindre, men forbruger stadig din forudbetalte credit.

• Input-tokens inkluderer din prompt og samtalehistorik
• Output tokens dækker modellens komplette svar
• Både token-typer tæller med i din forudbetalte balance
• Fejl og afvisninger forbruger nul tokens

Copycurl https://api.mistralopenaicompatibleapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "list top 5 linux commands for disk cleanup"}]
  }'

Kontekstvinduesgrænser og uventede fakturaer

Kontekstvinduesgrænser påvirker direkte dine tokenomkostninger, da længere samtaler forbruger flere inputtokens. Vores uncensored-model understøtter et kontekstvindue på 100.000 tokens for prompt plus completion tilsammen. Du kan generere op til 16.000 tokens pr. anmodning. Hvis du udelader max_tokens, falder grænsen til 2.048 tokens.

Længere kontekstvinduer betyder højere input-tokenomkostninger, men muliggør også mere kompleks reasoning. At trimme samtalehistorikken reducerer inputomkostningerne, men kan forringe svar kvaliteten. Find balancen, der passer til dit use case.

• 100.000 totalt kontekstvindue til input plus output
• 16.000 maksimale output-tokens pr. anmodning
• 2.048 standard output-tokens hvis max_tokens udelades
• Kontekstvindue påvirker både omkostninger og svar kvalitet

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.mistralopenaicompatibleapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Streaming vs. non-streaming tokenberegning

Streaming-responsberegninger beregner tokens på samme måde som ikke-streaming-anmodninger. Hvert token, der sendes til klienten, tæller med i din forudbetalte saldo uanset leveringsmetode. Streaming leverer blot tokens inkrementelt i stedet for alle på én gang.

Brug streaming, når du har brug for realtidsfeedback, men spå tokenforbrug omhyggeligt. Den sidste chunk indeholder samlede tællinger af tokens for både input og output. Overvåg disse tællinger for at holde dig inden for dit budget.

• Streaming og ikke-streaming bruger identisk tælling af tokens
• Hvert token sendt til klienten forbruger credits
• Endelig chunk inkluderer totale input- og output-tokenantal
• Spor tokenforbrug i din streaming-implementering

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Almindelige konfigurationsfejl i SDK

SDK-misconfigurationer forårsager uventede omkostninger ved at sende for mange tokens eller lave redundante anmodninger. Udviklere glemmer ofte at indstille max_tokens, hvilket resulterer i uventet lange svar. Andre overser streaming-implementeringer, der fortsætter med at sende tokens, efter at svaret er fuldført.

Konfigurer dit SDK med eksplicitte parametre. Indstil max_tokens for at kontrollere outputlængde. Aktiver streaming kun, når du har brug for realtidsfeedback. Overvåg tokenforbrug i dine applikationslogs.

• Indstil eksplicitte max_tokens for at kontrollere outputlængden
• Aktivér streaming kun, når realtidsfeedback er nødvendig
• Overvåg tokenantal i dine applikationslogs
• Konfigurer timeout-værdier for at forhindre hængende anmodninger

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.mistralopenaicompatibleapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Hvorfor forudbetalte kreditter sparer dig penge

Forudbet kreditter eliminerer abonnementsspild ved at opkræve kun for faktisk token-brug. Vores system opkræver $0.15 per million input-tokens og $0.50 per million output-tokens. Fejl og afvisninger forbruger nul tokens, så du betaler aldrig for mislykkede anmodninger.

Betalt $20 til $500 i crypto for USDT på TRC20 eller USDC på Base. Modtag bonuskredit ved top-up på $50 eller mere. Kreditter udløber ikke, så du kan bruge dem, når det passer dig. Ingen månedlige gebyrer betyder, at du kun betaler for det, du faktisk forbruger.

• Forudbet kreditter opkræver kun for faktisk token-brug
• Fejl og afvisninger forbruger nul tokens
• Top op $20 til $500 i krypto
• Kreditter udløber aldrig, og bonuskredit gælder

Undgå rate limit-penalty

Rate limits forhindrer misbrug, men kan afbryde din applikation, hvis de er konfigureret forkert. Vores API tillader 300 anmodninger per minut per nøgle og 8 samtidige anmodninger per nøgle. Anmodningskroppe skal holdes under 8 MB for at undgå afvisning.

Implementér retry-logik med eksponentiel backoff, når du rammer hastighedsbegrænsninger. Overvåg dit forespørgselantal per minut for at holde dig inden for grænserne. Brug separate nøgler til forskellige applikationskomponenter for at fordele belastningen. Én aktiv nøgle per konto betyder, at du skal håndtere nøglerotation omhyggeligt.

• 300 requests per minute per API key
• 8 samtidige anmodninger tilladt per nøgle
• Forespørgselskroppe skal være under 8 MB
• En aktiv nøgle pr. konto med erstatningsmulighed

Sammenligning af ubegrænsede modelomkostninger

Ucensurerede modeller koster ofte mere end standardmodeller på grund af specialiseret træning og inferencekrav. Vores model koster $0.15 per million input-tokens og $0.50 per million output-tokens. Denne prisafgivning afspejler de beregningsressourcer, der er nødvendige for ucensureret generering.

Standardmodeller kan være billigere, men indeholder indholdsbegrænsninger, der påvirker svar kvaliteten. Uncensored-modeller giver ubegrænsede svar til lovligt voksenindhold, fiktion og forskning. Vælg baseret på dine indholdsbehov frem for pris alene.

• Ucensurerede modeller kræver specialiseret træning og inference
• Vores pris afspejler omkostningerne ved uncensored generation compute
• Indholdsbegrænsninger påvirker svar kvalitet og omkostninger
• Vælg baseret på indholdsbehov, ikke kun pris

Sporing af forbrug og faktureringsalarmer

Tokenforbrugsopsporing hjælper dig med at overvåge omkostninger og forhindre budgetoverskridelser. Vores API returnerer tokenoptællinger i hvert svar, inklusive streaming-svar. Sporer disse tællinger i dine applikationslogs og dashboards.

Opsæt alarmer, når forbrug når visse grænser. Overvåg forholdet mellem input- og output-tokens for at optimere dine prompts. Brug tællingerne til at beregne faktiske omkostninger og sammenligne med din forudbetalte saldo.

• Tokenantal vises i hvert svar, inklusive streaming
• Overvåg input- versus outputtokenforhold
• Indstil brugeralarm for at forhindre budgetoverskridelser
• Beregn faktiske omkostninger ved hjælp af tokenantal