Harga API OpenAI: Kesilapan Biasa dan Cara Mengelakkannya

Memahami kos token: input vs output

Harga API OpenAI mengenakan caj secara berasingan untuk token input dan output. Ini bermakna jumlah kos anda bergantung kepada kedua-dua berapa banyak anda hantar dan berapa banyak model menjana. Token input meliputi prompt anda serta sejarah perbualan. Token output meliputi teks respons model.

Model tanpa sensor kami mengenakan caj $0.15 bagi setiap juta token input dan $0.50 bagi setiap juta token output. Kos output yang lebih tinggi mencerminkan pengiraan yang diperlukan untuk menjana teks. Respons yang lebih pendek kosnya lebih rendah tetapi masih menggunakan kredit pra-bayar anda.

• Token input merangkumi prompt anda dan sejarah perbualan
• Token output meliputi respons lengkap model
• Kedua-dua jenis token dikira dalam baki pra-dibayar anda
• Kesilapan dan penolakan menelan sifar token

Copycurl https://api.mistralopenaicompatibleapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "list top 5 linux commands for disk cleanup"}]
  }'

Had jendela konteks dan caj tidak dijangka

Had jendela konteks secara langsung mempengaruhi kos token anda kerana perbualan yang lebih panjang menggunakan lebih banyak token input. Model uncensored kami menyokong jendela konteks 100,000 token untuk prompt ditambah penyelesaian bersama-sama. Anda boleh menjana sehingga 16,000 token setiap permintaan. Jika anda membiarkan max_tokens, had turun kepada 2,048 token.

Jendela konteks yang lebih panjang bermaksud kos token input yang lebih tinggi tetapi juga membolehkan penalaran yang lebih kompleks. Memotong sejarah perbualan mengurangkan kos input tetapi mungkin merosakkan kualiti respons. Cari keseimbangan yang sesuai untuk kes penggunaan anda.

• Tetingkap konteks jumlah 100,000 untuk input plus output
• 16,000 token output maksimum setiap permintaan
• 2,048 token output lalai jika max_tokens diabaikan
• Tetingkap konteks mempengaruhi kos dan kualiti respons

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.mistralopenaicompatibleapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Pengiraan token berstrim vs tidak berstrim

Respons penstriman mengira token dengan cara yang sama seperti permintaan bukan penstriman. Setiap token yang dihantar kepada klien dikira terhadap baki pra-dibayar anda tanpa mengira kaedah penghantaran. Penstriman hanya menghantar token secara berperingkat bukannya sekaligus.

Gunakan penstriman apabila anda memerlukan maklum balas masa nyata tetapi menjejaki penggunaan token dengan teliti. Segmen akhir mengandungi jumlah kiraan token untuk input dan output. Pantau kiraan ini untuk kekal dalam bajet anda.

• Streaming dan bukan streaming menggunakan pengiraan token yang sama
• Setiap token yang dihantar ke klien menggunakan kredit
• Bungkusan akhir termasuk jumlah kiraan token input dan output
• Jejak penggunaan token dalam pelaksanaan aliran anda

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Ralat konfigurasi SDK lazim

Konfigurasi SDK yang salah menyebabkan caj tidak dijangka dengan menghantar terlalu banyak token atau membuat permintaan berlebihan. Pembangun sering lupa menetapkan max_tokens yang mengakibatkan respons yang terlalu panjang. Yang lain terlepas pelaksanaan penstriman yang terus menghantar token selepas respons selesai.

Konfigurasikan SDK anda dengan parameter eksplisit. Tetapkan max_tokens untuk mengawal panjang output. Aktifkan aliran data hanya apabila anda memerlukan maklum balas masa nyata. Pantau penggunaan token dalam log aplikasi anda.

• Tetapkan max_tokens secara eksplisit untuk mengawal panjang output
• Dayakan penstriman hanya apabila maklum balas masa nyata diperlukan
• Pantau kiraan token dalam log aplikasi anda
• Konfigurasikan nilai masa tunggu untuk mencegah permintaan yang menggantung

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.mistralopenaicompatibleapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Mengapakah kredit pra-bayar menjimatkan wang anda

Kredit prabayar menghapuskan pembaziran langganan dengan mengenakan caj hanya untuk penggunaan token sebenar. Sistem kami mengenakan $0.15 bagi setiap sejuta token input dan $0.50 bagi setiap sejuta token output. Ralat dan penolakan menggunakan sifar token jadi anda tidak pernah membayar untuk permintaan yang gagal.

Bayar $20 hingga $500 dalam crypto untuk USDT pada TRC20 atau USDC pada Base. Terima kredit bonus apabila top up $50 atau lebih. Kredit tidak luput supaya anda boleh menggunakannya bila-bila masa diperlukan. Tiada yuran bulanan bermaksud anda hanya membayar untuk apa yang anda gunakan sebenarnya.

• Kredit prabayar mengenakan caj hanya untuk penggunaan token sebenar
• Kesilapan dan penolakan menelan sifar token
• Isi semula $20 hingga $500 dalam kripto
• Kredit tidak pernah luput dan kredit bonus terpakai

Mengelakkan penalti had kadar

Had kadar menghalang penyalahgunaan tetapi boleh mengganggu aplikasi anda jika dikonfigurasi dengan salah. API kami membenarkan 300 permintaan setiap minit per kunci dan 8 permintaan serentak per kunci. Badan permintaan mesti kekal di bawah 8 MB untuk mengelakkan penolakan.

Laksanakan logik cuba semula dengan penangguhan eksponen apabila mencapai had kadar. Pantau kiraan permintaan per minit anda untuk kekal dalam had. Gunakan kunci berasingan untuk komponen aplikasi yang berbeza untuk mengagihkan beban. Satu kunci aktif setiap akaun bermaksud anda mesti menguruskan putaran kunci dengan teliti.

• 300 permintaan setiap minit setiap kunci API
• 8 permintaan serentak dibenarkan setiap kunci
• Badan permintaan mestilah di bawah 8 MB
• Satu kunci aktif per akaun dengan keupayaan penggantian

Membandingkan kos model tanpa sensor

Model tanpa sensor sering kali lebih mahal daripada model standard disebabkan keperluan latihan dan inferens yang khusus. Model kami mengenakan caj $0.15 bagi setiap juta token input dan $0.50 bagi setiap juta token output. Penetapan harga ini mencerminkan sumber pengkomputeran yang diperlukan untuk penjanaan tanpa sensor.

Model standard mungkin lebih murah tetapi termasuk sekatan kandungan yang menjejaskan kualiti respons. Model tanpa sensor menyediakan respons tanpa had untuk kandungan dewasa yang sah, fiksyen, dan penyelidikan. Pilih berdasarkan keperluan kandungan anda bukan hanya harga.

• Model tanpa sensor memerlukan latihan dan inferens khusus
• Pricing kami mencerminkan kos pengiraan penjanaan tanpa sensor
• Pengekangan kandungan mempengaruhi kualiti respons dan kos
• Pilih berdasarkan keperluan kandungan bukan hanya harga

Penjejakan dan amaran bil

Penjejakan penggunaan token membantu anda memantau kos dan menghalang melebihi bajet. API kami mengembalikan kiraan token dalam setiap respons termasuk respons aliran. Jejak kiraan ini dalam log dan papan pemuka aplikasi anda.

Sediakan amaran apabila penggunaan mencapai ambang tertentu. Lacak nisbah token input versus output untuk mengoptimumkan prompt anda. Gunakan kiraan token untuk mengira kos sebenar dan bandingkan dengan baki pra-bayar anda.

• Bilangan token muncul dalam setiap respons termasuk aliran
• Pantau nisbah token input berbanding output
• Tetapkan amaran penggunaan untuk mencegah melebihi bajet
• Kira kos sebenar menggunakan kiraan token