Harga API OpenAI: Kesalahan Umum dan Cara Menghindarinya

Memahami biaya token: input vs output

Struktur harga API OpenAI membebankan biaya secara terpisah untuk token input dan output. Ini berarti total biaya Anda bergantung pada seberapa banyak yang Anda kirim dan seberapa banyak model menghasilkan. Token input mencakup prompt Anda plus riwayat percakapan. Token output mencakup teks respons model.

Model tanpa sensor kami mengenakan biaya $0.15 per juta token input dan $0.50 per juta token output. Biaya output yang lebih tinggi mencerminkan komputasi yang diperlukan untuk menghasilkan teks. Respons yang lebih pendek biaya lebih rendah tetapi tetap mengonsumsi kredit prabayar Anda.

• Token input mencakup prompt dan riwayat percakapan Anda
• Token output mencakup respons lengkap model
• Kedua jenis token dihitung ke dalam saldo prabayar Anda
• Kesalahan dan penolakan mengonsumsi nol token

Copycurl https://api.mistralopenaicompatibleapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "list top 5 linux commands for disk cleanup"}]
  }'

Batas jendela konteks dan biaya tak terduga

Batas jendela konteks secara langsung memengaruhi biaya token Anda karena percakapan yang lebih panjang mengonsumsi lebih banyak token input. Model uncensored kami mendukung jendela konteks 100.000 token untuk prompt ditambah penyelesaian secara bersama-sama. Anda dapat menghasilkan hingga 16.000 token per permintaan. Jika Anda mengabaikan max_tokens, batas turun menjadi 2.048 token.

Jendela konteks yang lebih besar berarti biaya token input yang lebih tinggi tetapi juga memungkinkan penalaran yang lebih kompleks. Memangkas riwayat percakapan mengurangi biaya input tetapi dapat menurunkan kualitas respons. Temukan keseimbangan yang sesuai dengan kasus penggunaan Anda.

• Jendela konteks total 100.000 token untuk input plus output
• 16.000 token output maksimum per permintaan
• 2.048 token output default jika max_tokens dihilangkan
• Jendela konteks memengaruhi biaya dan kualitas respons

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.mistralopenaicompatibleapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Perhitungan token streaming vs non-streaming

Respons streaming menghitung token dengan cara yang sama seperti permintaan non-streaming. Setiap token yang dikirim ke klien dihitung dalam saldo prabayar Anda terlepas dari metode pengirimannya. Streaming hanya mengirimkan token secara bertahap, bukan sekaligus.

Gunakan streaming saat Anda membutuhkan umpan balik real-time tetapi melacak penggunaan token dengan hati-hati. Potongan terakhir berisi hitungan token total untuk input dan output. Pantau hitungan ini agar tetap dalam anggaran Anda.

• Streaming dan non-streaming menggunakan penghitungan token yang identik
• Setiap token yang dikirim ke klien mengonsumsi kredit
• Bagian akhir mencakup total jumlah token input dan output
• Lacak penggunaan token dalam implementasi streaming Anda

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Kesalahan konfigurasi SDK umum

Konfigurasi SDK yang salah menyebabkan biaya tak terduga dengan mengirim terlalu banyak token atau membuat permintaan berulang. Pengembang sering lupa mengatur max_tokens sehingga menghasilkan respons yang tidak terduga panjang. Yang lain melewatkan implementasi streaming yang terus mengirim token setelah respons selesai.

Konfigurasi SDK Anda dengan parameter eksplisit. Tetapkan max_tokens untuk mengontrol panjang output. Aktifkan streaming hanya ketika Anda membutuhkan umpan balik real-time. Pantau penggunaan token dalam log aplikasi Anda.

• Atur max_tokens eksplisit untuk mengontrol panjang output
• Aktifkan streaming hanya ketika umpan balik real-time diperlukan
• Pantau hitungan token di log aplikasi Anda
• Konfigurasikan nilai timeout untuk mencegah permintaan yang menggantung

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.mistralopenaicompatibleapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Mengapa kredit prabayar menghemat uang Anda

Kredit prabayar menghilangkan pemborosan langganan dengan membebankan biaya hanya untuk penggunaan token aktual. Sistem kami membebankan $0.15 per juta token input dan $0.50 per juta token output. Kesalahan dan penolakan mengonsumsi nol token sehingga Anda tidak pernah membayar untuk permintaan yang gagal.

Bayar $20 hingga $500 dalam kripto untuk USDT di TRC20 atau USDC di Base. Terima kredit bonus saat mengisi ulang $50 atau lebih. Kredit tidak pernah kedaluwarsa sehingga Anda dapat menggunakannya kapan saja diperlukan. Tidak ada biaya bulanan berarti Anda hanya membayar untuk apa yang benar-benar Anda konsumsi.

• Kredit prabayar hanya membebankan biaya untuk penggunaan token aktual
• Kesalahan dan penolakan mengonsumsi nol token
• Top up $20 hingga $500 dalam crypto
• Kredit tidak pernah kedaluwarsa dan kredit bonus berlaku

Menghindari penalti batas laju

Batas laju mencegah penyalahgunaan tetapi dapat mengganggu aplikasi Anda jika dikonfigurasi secara salah. API kami mengizinkan 300 permintaan per menit per kunci dan 8 permintaan konkuren per kunci. Badan permintaan harus tetap di bawah 8 MB untuk menghindari penolakan.

Implementasikan logika percobaan ulang dengan backoff eksponensial saat mencapai batas laju. Pantau jumlah permintaan Anda per menit agar tetap dalam batas. Gunakan kunci terpisah untuk komponen aplikasi yang berbeda untuk mendistribusikan beban. Satu kunci aktif per akun berarti Anda harus mengelola rotasi kunci dengan hati-hati.

• 300 permintaan per menit per kunci API
• 8 permintaan konkuren diizinkan per kunci
• Body permintaan harus di bawah 8 MB
• Satu kunci aktif per akun dengan kemampuan penggantian

Membandingkan biaya model tanpa sensor

Model tanpa sensor sering kali lebih mahal daripada model standar karena persyaratan pelatihan dan inferensi khusus. Model kami mengenakan biaya $0.15 per juta token input dan $0.50 per juta token output. Penetapan harga ini mencerminkan sumber daya komputasi yang diperlukan untuk generasi tanpa sensor.

Model standar mungkin lebih murah tetapi mencakup pembatasan konten yang memengaruhi kualitas respons. Model tanpa sensor memberikan respons tanpa batasan untuk konten dewasa yang sah, fiksi, dan penelitian. Pilih berdasarkan kebutuhan konten Anda daripada harga saja.

• Model tanpa sensor memerlukan pelatihan dan inferensi khusus.
• Harga kami mencerminkan biaya komputasi generasi uncensored
• Pembatasan konten memengaruhi kualitas respons dan biaya
• Pilih berdasarkan kebutuhan konten, bukan hanya harga

Pelacakan penggunaan dan peringatan penagihan

Pelacakan penggunaan token membantu Anda memantau biaya dan mencegah pembengkakan anggaran. API kami mengembalikan jumlah token dalam setiap respons termasuk respons streaming. Lacak jumlah ini di log dan dasbor aplikasi Anda.

Siapkan peringatan ketika penggunaan mencapai ambang batas tertentu. Pantau rasio token input versus output untuk mengoptimalkan prompt Anda. Gunakan hitungan token untuk menghitung biaya aktual dan bandingkan dengan saldo pra-bayar Anda.

• Jumlah token muncul di setiap respons termasuk streaming
• Pantau rasio token input versus output
• Atur peringatan penggunaan untuk mencegah pembengkakan anggaran
• Hitung biaya aktual menggunakan hitungan token