Цены API OpenAI: Распространённые ошибки и как их избежать

Понимание стоимости токенов: входные против выходных

Цены API OpenAI взимают плату отдельно за входные и выходные токены. Это означает, что общая стоимость зависит от того, сколько вы отправляете и сколько генерирует модель. Входные токены покрывают ваш промпт и историю разговора. Выходные токены покрывают текст ответа модели.

Наша uncensored модель стоит $0.15 за миллион входных токенов и $0.50 за миллион выходных токенов. Более высокая стоимость выхода отражает вычислительные затраты на генерацию текста. Короткие ответы обходятся дешевле, но все равно расходуют ваш предоплаченный кредит.

• Входные токены включают ваш запрос и историю разговора
• Выходные токены покрывают полный ответ модели
• Оба типа токенов засчитываются в ваш предоплаченный баланс
• Ошибки и отказы не потребляют токены

Copycurl https://api.mistralopenaicompatibleapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "list top 5 linux commands for disk cleanup"}]
  }'

Лимиты контекстного окна и неожиданные счета

Лимиты контекстного окна напрямую влияют на ваши расходы на токены, так как длинные диалоги потребляют больше входных токенов. Наша uncensored-модель поддерживает контекстное окно объемом 100 000 токенов для промпта и ответа вместе. Вы можете генерировать до 16 000 токенов на запрос. Если вы опустите max_tokens, лимит снизится до 2 048 токенов.

Более длинные контексты означают более высокую стоимость входных токенов, но также позволяют выполнять более сложные рассуждения. Удаление истории разговора снижает стоимость ввода, но может ухудшить качество ответа. Найдите баланс, который подходит для вашего случая использования.

• 100 000 суммарное контекстное окно для ввода и вывода
• Максимум 16,000 выходных токенов на запрос
• 2 048 токенов на вывод по умолчанию, если max_tokens не указан
• Контекстное окно влияет как на стоимость, так и на качество ответа

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.mistralopenaicompatibleapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Расчёт токенов при потоковой и непотоковой передаче

Потоковые ответы рассчитывают количество токенов так же, как и непотоковые запросы. Каждый токен, отправленный клиенту, засчитывается в ваш предоплаченный баланс независимо от метода доставки. Потоковая передача просто доставляет токены постепенно, а не все сразу.

Используйте потоковую передачу, когда нужна обратная связь в реальном времени, но тщательно отслеживайте использование токенов. Последний чанк содержит общее количество токенов как для ввода, так и для вывода. Отслеживайте эти значения, чтобы оставаться в рамках бюджета.

• Потоковая и непотоковая передача используют одинаковый подсчет токенов.
• Каждый токен, отправленный клиенту, потребляет кредиты
• Последний чанк включает общее количество входных и выходных токенов
• Отслеживайте использование токенов в вашей потоковой реализации

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Частые ошибки конфигурации SDK

Неправильная конфигурация SDK приводит к неожиданным расходам из-за отправки слишком большого количества токенов или выполнения избыточных запросов. Разработчики часто забывают установить max_tokens, что приводит к unexpectedly длинным ответам. Другие упускают реализацию потоковой передачи, которая продолжает отправлять токены после завершения ответа.

Настройте SDK с явными параметрами. Установите max_tokens для контроля длины вывода. Включайте потоковую передачу только при необходимости получения обратной связи в реальном времени. Отслеживайте использование токенов в журналах приложения.

• Установите явный max_tokens для контроля длины вывода
• Включайте потоковую передачу только при необходимости обратной связи в реальном времени
• Отслеживайте подсчет токенов в журналах вашего приложения
• Настройте значения таймаута, чтобы предотвратить зависание запросов

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.mistralopenaicompatibleapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Почему предоплаченные кредиты экономят ваши деньги

Предоплаченные кредиты устраняют потери от подписок, списывая только за фактическое использование токенов. Наша система берет $0.15 за миллион входных токенов и $0.50 за миллион выходных токенов. Ошибки и отказы потребляют ноль токенов, так что вы никогда не платите за неудачные запросы.

Оплата от $20 до $500 криптовалютой: USDT на TRC20 или USDC на Base. Получите бонусный кредит при пополнении от $50. Кредиты не истекают, используйте их когда удобно. Отсутствие ежемесячных платежей означает, что вы платите только за фактическое потребление.

• Предоплаченные кредиты списывают только за фактическое использование токенов
• Ошибки и отказы не потребляют токены
• Пополните на сумму от $20 до $500 криптовалютой
• Кредиты никогда не истекают, и применяются бонусные кредиты

Избегание штрафов за превышение лимитов скорости

Лимиты запросов предотвращают злоупотребления, но могут прервать работу вашего приложения при неправильной настройке. Наш API позволяет 300 запросов в минуту на ключ и 8 параллельных запросов на ключ. Тела запросов должны оставаться в пределах 8 МБ, чтобы избежать отклонения.

Реализуйте логику повторных попыток с экспоненциальным замедлением при достижении лимитов скорости. Отслеживайте количество запросов в минуту, чтобы оставаться в пределах лимитов. Используйте отдельные ключи для разных компонентов приложения для распределения нагрузки. Один активный ключ на аккаунт означает, что вам нужно тщательно управлять ротацией ключей.

• 300 запросов в минуту на ключ API
• 8 параллельных запросов разрешено на ключ
• Тела запросов должны быть менее 8 МБ
• Один активный ключ на аккаунт с возможностью замены

Сравнение стоимости uncensored моделей

Незаблокированные модели часто стоят дороже стандартных моделей из-за специализированного обучения и требований к выводу. Наша модель стоит $0.15 за миллион входных токенов и $0.50 за миллион выходных токенов. Эта цена отражает ресурсы вычислений, необходимые для незаблокированной генерации.

Стандартные модели могут стоить дешевле, но включают ограничения контента, влияющие на качество ответов. Uncensored модели предоставляют неограниченные ответы для законного контента для взрослых, художественной литературы и исследований. Выбирайте исходя из потребностей в контенте, а не только из цены.

• Модели без цензуры требуют специализированного обучения и инференса
• Наша цена отражает стоимость вычислений для uncensored генерации
• Ограничения контента влияют на качество ответа и стоимость
• Выбирайте исходя из потребностей в контенте, а не только из цены

Отслеживание использования и оповещения о биллинге

Отслеживание использования токенов помогает контролировать расходы и предотвращать превышение бюджета. Наш API возвращает подсчеты токенов в каждом ответе, включая потоочные ответы. Отслеживайте эти подсчеты в журналах приложений и на панелях мониторинга.

Настройте оповещения, когда использование достигает определенных порогов. Отслеживайте соотношение входных и выходных токенов для оптимизации промптов. Используйте подсчеты токенов для расчета фактической стоимости и сравнения с вашим предоплаченным балансом.

• Количество токенов появляется в каждом ответе, включая стриминг
• Отслеживайте соотношение входных и выходных токенов
• Настройте уведомления об использовании, чтобы предотвратить превышение бюджета
• Рассчитайте фактические затраты, используя подсчет токенов