Ціноутворення API OpenAI: Поширені помилки та як їх уникнути

Розуміння вартості токенів: вхідні проти вихідних

Ціноутворення API OpenAI нараховує окремо за вхідні та вихідні токени. Це означає, що ваша загальна вартість залежить від того, скільки ви надсилаєте і скільки генерує модель. Вхідні токени покривають ваш промпт та історію розмови. Вихідні токени покривають текст відповіді моделі.

Наша uncensored модель коштує $0.15 за мільйон вхідних токенів та $0.50 за мільйон вихідних токенів. Вища вартість виходу відображає обчислювальні витрати на генерацію тексту. Коротші відповіді коштують менше, але все одно споживають ваш попередньо оплачений кредит.

• Вхідні токени включають ваш запит та історію розмови
• Токени виводу покривають повну відповідь моделі
• Обидва типи токенів зараховуються до вашого передоплаченого балансу
• Помилки та відмови не споживають нуль токенів

Copycurl https://api.mistralopenaicompatibleapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "list top 5 linux commands for disk cleanup"}]
  }'

Ліміти вікна контексту та несподівані рахунки

Ліміти вікна контексту безпосередньо впливають на ваші витрати на токени, оскільки довші розмови споживають більше токенів введення. Наша uncensored модель підтримує вікно контексту 100 000 токенів для промпту та відповіді разом. Ви можете генерувати до 16 000 токенів за запит. Якщо ви опускаєте max_tokens, ліміт знижується до 2 048 токенів.

Довші вікна контексту означають вищі витрати на вхідні токени, але також дозволяють більш складне мислення. Обрізання історії розмови знижує вхідні витрати, але може погіршити якість відповіді. Знайдіть баланс, який підходить для вашого випадку використання.

• Загальне контекстне вікно 100 000 токенів для вводу плюс вивід
• до 16,000 вихідних токенів на запит
• 2 048 токенів виводу за замовчуванням, якщо max_tokens не вказано
• Контекстне вікно впливає як на витрати, так і на якість відповіді

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.mistralopenaicompatibleapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Розрахунок токенів у потоковому та непотоковому режимах

Потокові відповіді підраховують токени так само, як і непотокові запити. Кожен токен, надісланий клієнту, враховується у вашому передоплаченому балансі незалежно від методу доставки. Потокова передача лише надсилає токени поступово, а не всі одразу.

Використовуйте потокову передачу, коли потрібен зворотний зв'язок у реальному часі, але ретельно відстежуйте використання токенів. Останній блок містить загальну кількість токенів як для вводу, так і для виводу. Слідкуйте за цими показниками, щоб залишатися в межах бюджету.

• Потокова передача та непотокова передача використовують однакове підрахування токенів
• Кожен токен, відправлений клієнту, споживає кредити
• Остатковий фрагмент включає загальну кількість токенів вводу та виводу
• Відстежуйте використання токенів у вашій потоковій реалізації

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Поширені помилки конфігурації SDK

Неправильні налаштування SDK призводять до несподіваних витрат через надлишкову відправку токенів або зайві запити. Розробники часто забувають встановити max_tokens, що призводить до несподівано довгих відповідей. Інші пропускають реалізацію потокової передачі, яка продовжує надсилати токени після завершення відповіді.

Налаштуйте ваш SDK з явними параметрами. Встановіть max_tokens для контролю довжини виводу. Увімкніть потокову передачу лише тоді, коли вам потрібна зворотний зв'язок у реальному часі. Відстежуйте використання токенів у журналах вашої програми.

• Встановіть явні max_tokens для контролю довжини виходу
• Увімкніть потокове передавання лише тоді, коли потрібний зворотний зв'язок у реальному часі
• Моніторте кількість токенів у журналах своєї програми
• Налаштуйте значення таймауту, щоб запобігти зависанню запитів

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.mistralopenaicompatibleapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Чому передоплачені кредити економлять ваші гроші

Передоплачені кредити усувають марнотратство підписки, нараховуючи лише за фактичне використання токенів. Наша система нараховує $0.15 за мільйон входних токенів та $0.50 за мільйон вихідних токенів. Помилки та відмови споживають нуль токенів, тому ви ніколи не платите за невдалі запити.

Оплачуйте від $20 до $500 криптовалютою за USDT на TRC20 або USDC на Base. Отримуйте бонусний кредит при поповненні від $50. Кредити не мають терміну дії, тому ви можете використовувати їх, коли завгодно. Немає щомісячних платежів, тому ви платите лише за те, що фактично споживаєте.

• Передоплачені кредити нараховують лише за фактичне використання токенів
• Помилки та відмови не споживають нуль токенів
• Поповніть $20–$500 криптою
• Кредити ніколи не згорають, і діють бонусні кредити

Уникнення штрафів за перевищення лімітів швидкості

Обмеження швидкості запобігають зловживанням, але можуть перервати роботу вашого додатка, якщо налаштовано неправильно. Наш API дозволяє 300 запитів за хвилину на ключ та 8 паралельних запитів на ключ. Тіла запитів мають бути меншими за 8 МБ, щоб уникнути відхилення.

Реалізуйте логіку повторних спроб з експоненційним уповільненням при досягненні лімітів швидкості. Відстежуйте кількість запитів за хвилину, щоб залишатися в межах лімітів. Використовуйте окремі ключі для різних компонентів програми, щоб розподілити навантаження. Один активний ключ на акаунт означає, що вам потрібно ретельно керувати обміном ключів.

• 300 запитів за хвилину на ключ API
• 8 одночасних запитів дозволено на ключ
• Тіла запитів мають бути менше 8 МБ
• Один активний ключ на акаунт із можливістю заміни

Порівняння вартості моделей без цензури

Нецензуровані моделі часто коштують дорожче за стандартні через спеціалізоване навчання та вимоги до висновків. Наша модель коштує $0.15 за мільйон вхідних токенів та $0.50 за мільйон вихідних токенів. Ці ціноутворення відображають обчислювальні ресурси, необхідні для нецензурованої генерації.

Стандартні моделі можуть коштувати дешевше, але містять обмеження контенту, що впливає на якість відповідей. Uncensored моделі надають необмежені відповіді для законного контенту для дорослих, художньої літератури та досліджень. Обирайте на основі потреб у контенті, а не лише ціни.

• Нецензуровані моделі вимагають спеціалізованого навчання та інференсу
• Наша ціна відображає витрати на обчислення uncensored генерації
• Обмеження контенту впливають на якість відповіді та вартість
• Обирайте на основі потреб у контенті, а не лише ціни

Відстеження використання та сповіщення про платежі

Відстеження використання токенів допомагає контролювати витрати та запобігти перевищенню бюджету. Наш API повертає кількість токенів у кожній відповіді, включаючи потокові. Відстежуйте ці показники у журналах та панелях керування вашої програми.

Налаштуйте сповіщення, коли використання досягає певних порогів. Моніторте співвідношення вхідних та вихідних токенів для оптимізації промптів. Використовуйте підрахунки токенів для розрахунку фактичних витрат і порівняння з вашим попереднім балансом.

• Кількість токенів з'являється в кожній відповіді, включаючи стримінг
• Моніторьте співвідношення токенів вводу та виводу
• Налаштуйте сповіщення про використання, щоб уникнути перевищення бюджету
• Розрахунок фактичних витрат за кількістю токенів