Ceny API OpenAI: Najczęstsze błędy i jak ich unikać

Zrozumienie kosztów tokenów: wejście vs. wyjście

Ceny API OpenAI rozliczają osobno tokeny wejściowe i wyjściowe. Oznacza to, że całkowity koszt zależy od tego, ile wysyłasz i ile generuje model. Tokeny wejściowe obejmują Twój prompt oraz historię rozmowy. Tokeny wyjściowe obejmują tekst odpowiedzi modelu.

Nasz uncenzurowany model pobiera opłatę $0.15 za milion tokenów wejściowych i $0.50 za milion tokenów wyjściowych. Wyższy koszt wyjściowy odzwierciedla zasoby obliczeniowe wymagane do generowania tekstu. Krótsze odpowiedzi kosztują mniej, ale nadal zużywają Twój prekarny kredyt.

• Tokeny wejściowe obejmują Twoje polecenie i historię rozmowy
• Tokeny wyjściowe obejmują kompletną odpowiedź modelu
• Oba typy tokenów wliczają się do Twojego salda z góry opłaconego
• Błędy i odrzucenia nie pobierają zero tokenów

Copycurl https://api.mistralopenaicompatibleapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "list top 5 linux commands for disk cleanup"}]
  }'

Limity okna kontekstowego i nieoczekiwane obciążenia

Limity okna kontekstowego mają bezpośredni wpływ na Twoje koszty tokenów, ponieważ dłuższe rozmowy zużywają więcej tokenów wejściowych. Nasz model uncensored obsługuje okno kontekstowe 100 000 tokenów dla promptu plus uzupełnienie łącznie. Możesz generować do 16 000 tokenów na żądanie. Jeśli pominisz max_tokens, limit spada do 2 048 tokenów.

Dłuższe okna kontekstowe oznaczają wyższe koszty tokenów wejściowych, ale również umożliwiają bardziej złożone rozumowanie. Odcinanie historii rozmowy redukuje koszty wejściowe, ale może obniżyć jakość odpowiedzi. Znajdź balans, który pasuje do Twojego przypadku użycia.

• 100 000-tokenowe okno kontekstowe dla wejścia plus wyjście
• Maksymalnie 16,000 tokenów wyjściowych na żądanie
• 2 048 domyślne tokeny output, jeśli max_tokens jest pominięte
• Okno kontekstowe wpływa zarówno na koszty, jak i jakość odpowiedzi

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.mistralopenaicompatibleapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Obliczanie tokenów strumieniowych vs. nie-strumieniowych

Odpowiedzi strumieniowe liczą tokeny w ten sam sposób co żądania niestrumieniowe. Każdy token wysłany do klienta wlicza się do Twojego zaliczonego salda niezależnie od metody dostarczania. Strumieniowanie po prostu dostarcza tokeny stopniowo, a nie wszystkie naraz.

Korzystaj ze strumieniowania, gdy potrzebujesz informacji zwrotnej w czasie rzeczywistym, ale dokładnie śledź zużycie tokenów. Ostatni fragment zawiera całkowite liczby tokenów zarówno dla wejścia, jak i wyjścia. Monitoruj te liczby, aby utrzymać się w budżecie.

• Strumieniowanie i tryb niestreamieniowy używają identycznego liczenia tokenów
• Każdy token wysłany do klienta zużywa kredyty
• Ostateczny fragment zawiera całkowite liczby tokenów wejściowych i wyjściowych
• Śledź użycie tokenów w swojej implementacji strumieniowej

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Najczęstsze błędy konfiguracji SDK

Nieprawidłowe konfiguracje SDK powodują nieoczekiwane obciążenia poprzez wysyłanie zbyt dużej liczby tokenów lub wykonywanie redundantnych żądań. Programiści często zapominają ustawić max_tokens, co skutkuje nieoczekiwanie długimi odpowiedziami. Inni pomijają implementacje strumieniowania, które kontynuują wysyłanie tokenów po zakończeniu odpowiedzi.

Skonfiguruj swoje SDK z jawnymi parametrami. Ustaw max_tokens, aby kontrolować długość wyjścia. Włącz strumieniowanie tylko wtedy, gdy potrzebujesz informacji zwrotnej w czasie rzeczywistym. Monitoruj użycie tokenów w dziennikach aplikacji.

• Ustaw jawny limit max_tokens, aby kontrolować długość wyjścia
• Włącz strumieniowanie tylko wtedy, gdy potrzebna jest informacja zwrotna w czasie rzeczywistym
• Monitoruj liczby tokenów w dziennikach swojej aplikacji
• Skonfiguruj wartości limitu czasu, aby zapobiec zawieszaniu się żądań

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.mistralopenaicompatibleapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Dlaczego kredyty przedpłacone oszczędzają Ci pieniądze

Kredyty prepaid eliminują marnotrawstwo subskrypcji, obciążając tylko za rzeczywiste zużycie tokenów. Nasz system pobiera $0.15 za milion tokenów wejściowych i $0.50 za milion tokenów wyjściowych. Błędy i odrzucenia zużywają zero tokenów, więc nigdy nie płacisz za nieudane żądania.

Płać od $20 do $500 w kryptowalutach za USDT na TRC20 lub USDC na Base. Otrzymaj bonusowy kredyt przy doładowaniu $50 lub więcej. Kredyty nie wygasają, więc możesz ich używać, gdy tylko zechcesz. Brak opłat miesięcznych oznacza, że płacisz tylko za to, co faktycznie zużywasz.

• Kredyty prepaid obciążają tylko za rzeczywiste zużycie tokenów
• Błędy i odrzucenia nie pobierają zero tokenów
• Doładuj $20 do $500 kryptowalutą
• Kredyty nigdy nie wygasają, a kredyty bonusowe są naliczane

Unikanie kar za przekroczenie limitów szybkości

Limity szybkości zapobiegają nadużyciom, ale mogą przerwać działanie Twojej aplikacji, jeśli są nieprawidłowo skonfigurowane. Nasze API pozwala na 300 żądań na minutę na klucz i 8 żądań współbieżnych na klucz. Ciała żądań muszą mieścić się w limicie 8 MB, aby uniknąć odrzucenia.

Wdroż logikę ponawiania z wykładniczym opóźnieniem przy osiąganiu limitów szybkości. Monitoruj liczbę żądań na minutę, aby pozostać w granicach limitów. Używaj oddzielnych kluczy dla różnych komponentów aplikacji, aby rozłożyć obciążenie. Jeden aktywny klucz na konto oznacza, że musisz ostrożnie zarządzać rotacją kluczy.

• 300 żądań na minutę na klucz API
• Do 8 równoległych żądań na klucz
• Ciała żądań muszą być mniejsze niż 8 MB
• Jeden aktywny klucz na konto z możliwością wymiany

Porównanie kosztów modeli bez cenzury

Modele bez cenzury często kosztują więcej niż modele standardowe ze względu na specjalistyczne szkolenie i wymagania wnioskowania. Nasz model pobiera $0.15 za milion tokenów wejściowych i $0.50 za milion tokenów wyjściowych. Ta cena odzwierciedla zasoby obliczeniowe potrzebne do generowania bez cenzury.

Modele standardowe mogą być tańsze, ale zawierają ograniczenia treści, które wpływają na jakość odpowiedzi. Modele uncensored zapewniają nieograniczone odpowiedzi na legalne treści dla dorosłych, fikcję i badania. Wybierz na podstawie potrzeb dotyczących treści, a nie tylko ceny.

• Modele bez cenzury wymagają specjalistycznego treningu i infrastruktury wnioskowania.
• Nasze ceny odzwierciedlają koszty obliczeniowe generowania bez cenzury
• Ograniczenia treści wpływają na jakość odpowiedzi i koszt
• Wybierz na podstawie potrzeb dotyczących treści, a nie tylko ceny

Śledzenie zużycia i alerty rozliczeniowe

Śledzenie użycia tokenów pomaga monitorować koszty i zapobiegać przekroczeniu budżetu. Nasze API zwraca liczby tokenów w każdej odpowiedzi, w tym odpowiedziach strumieniowych. Śledź te liczby w dziennikach aplikacji i panelach sterowania.

Ustaw alerty, gdy zużycie osiągnie określone progi. Monitoruj stosunek tokenów wejściowych do wyjściowych, aby zoptymalizować swoje prompty. Użyj liczb tokenów do obliczenia rzeczywistych kosztów i porównania z saldem z góry opłaconym.

• Liczby tokenów pojawiają się w każdej odpowiedzi, w tym w strumieniowaniu
• Monitoruj proporcje tokenów wejściowych do wyjściowych
• Skonfiguruj alerty dotyczące zużycia, aby zapobiec przekroczeniu budżetu
• Oblicz rzeczywiste koszty, używając liczb tokenów