Szybki start: Podłącz SDK OpenAI

Wymagania wstępne: SDK i środowisko

Zainstaluj oficjalną bibliotekę klienta dla preferowanego języka. Będziesz potrzebować nowoczesnego środowiska wykonawczego Python lub Node.js oraz ważnego klucza API z panelu. Zmienne środowiskowe powinny być ustawione bezpiecznie przed zainicjowaniem instancji klienta.

Konfiguracja: base_url i Klucz API

Wskaż swój SDK na nasz konkretny punkt końcowy zamiast domyślnego hosta OpenAI. Użyj adresu bazowego dostarczonego w Twoim panelu i przypisz wygenerowany klucz do standardowego nagłówka autoryzacji. Zapewnia to prawidłowe kierowanie wszystkich żądań do infrastruktury naszego modelu bez cenzury bez konieczności używania niestandardowych nagłówków.

Wysyłanie twojego pierwszego chat completion

Wyślij proste żądanie POST do endpointu uzupełnień czatu, aby zweryfikować łączność. Nasz model uncensored odpowiada natychmiast na standardowe prompty, pozwalając przetestować generowanie treści bez natychmiastowych odmów. Użyj poniższego przykładu, aby potwierdzić, że Twój klucz działa:

Copycurl https://api.mistralopenaicompatibleapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "list top 5 linux commands for disk cleanup"}]
  }'

Odpowiedź potwierdza, że model przetworzył Twoje dane w ramach dozwolonego okna kontekstowego. Możesz teraz zintegrować tę logikę z przepływami pracy swojej aplikacji.

Implementacja Python SDK

Korzystaj z oficjalnej biblioteki Pythona, aby automatycznie obsługiwać serializację żądań. Ustaw base URL na naszą domenę i przekaż swój klucz API jako główny parametr uwierzytelniania. To podejście działa identycznie zarówno przy testach lokalnych, jak i wdrożeniach produkcyjnych.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.mistralopenaicompatibleapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Upewnij się, że poprawnie obsługujesz wyjątki, ponieważ błędy sieciowe lub nieprawidłowe klucze spowodują zgłoszenie standardowych wyjątków HTTP. Biblioteka efektywnie zarządza liczeniem tokenów dla Twojego salda prepaid.

Implementacja SDK Node

Zainicjuj klienta, podając prawidłowy base URL i klucz API w środowisku Node.js. SDK obsługuje zarówno wzorce synchroniczne, jak i asynchroniczne dla różnych przypadków użycia. Skonfiguruj identyfikator modelu na "uncensored", aby uzyskać spójne wyniki.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.mistralopenaicompatibleapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Użytkownicy Node korzystają z tej samej struktury cenowej tokenów i limitów szybkości co użytkownicy Pythona. Monitoruj panel użytkowania, aby dokładnie śledzić zużycie kredytu prepaid.

Strumieniowanie odpowiedzi i limity

Włącz strumieniowanie, aby otrzymywać tokeny stopniowo, co zmniejsza postrzeganą latencję przy długich odpowiedziach. Nasze API obsługuje Server-Sent Events do generowania tekstu w czasie rzeczywistym, co jest idealne dla interfejsów czatu. Zwracaj uwagę na limity szybkości (429) i ograniczenia tokenów podczas dużego obciążenia.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Każde żądanie respektuje okno kontekstowe 100 000 tokenów i limit wyjściowy 16 000 tokenów. Błędy takie jak 401 oznaczają nieprawidłowe poświadczenia, podczas gdy 402 sygnalizuje niewystarczające saldo prepaid. Trzymaj żądania poniżej 8 MB, aby uniknąć odrzucenia payloadu.