Giá API OpenAI: Những sai lầm phổ biến và Cách tránh chúng

Hiểu chi phí token: đầu vào so với đầu ra

Giá API OpenAI tính phí riêng cho token đầu vào và token đầu ra. Điều này có nghĩa là tổng chi phí của bạn phụ thuộc vào cả lượng dữ liệu bạn gửi và lượng dữ liệu mô hình tạo ra. Token đầu vào bao gồm lời nhắc của bạn cùng với lịch sử hội thoại. Token đầu ra bao gồm văn bản phản hồi của mô hình.

Mô hình không kiểm duyệt của chúng tôi tính phí $0.15 cho mỗi triệu token đầu vào và $0.50 cho mỗi triệu token đầu ra. Chi phí đầu ra cao hơn phản ánh chi phí tính toán cần thiết để tạo văn bản. Các phản hồi ngắn hơn sẽ tốn ít tiền hơn nhưng vẫn tiêu thụ số dư trả trước của bạn.

• Token đầu vào bao gồm câu lệnh và lịch sử hội thoại của bạn
• Token đầu ra bao gồm toàn bộ phản hồi của mô hình
• Cả hai loại token đều được tính vào số dư trả trước của bạn
• Lỗi và từ chối không tiêu thụ token

Copycurl https://api.mistralopenaicompatibleapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "list top 5 linux commands for disk cleanup"}]
  }'

Giới hạn cửa sổ ngữ cảnh và các khoản phí bất ngờ

Giới hạn cửa sổ ngữ cảnh ảnh hưởng trực tiếp đến chi phí token của bạn vì các cuộc hội thoại dài tiêu tốn nhiều token đầu vào hơn. Mô hình không kiểm duyệt của chúng tôi hỗ trợ cửa sổ ngữ cảnh 100.000 token cho prompt cộng với kết quả cùng nhau. Bạn có thể tạo tối đa 16.000 token mỗi yêu cầu. Nếu bạn bỏ qua max_tokens, giới hạn giảm xuống còn 2.048 token.

Cửa sổ ngữ cảnh dài hơn nghĩa là chi phí token đầu vào cao hơn nhưng cũng cho phép suy luận phức tạp hơn. Cắt giảm lịch sử hội thoại giảm chi phí đầu vào nhưng có thể làm giảm chất lượng phản hồi. Hãy tìm sự cân bằng phù hợp với trường hợp sử dụng của bạn.

• Tổng cộng cửa sổ ngữ cảnh 100.000 token cho đầu vào cộng với đầu ra
• 16,000 token đầu ra tối đa cho mỗi yêu cầu
• 2.048 token đầu ra mặc định nếu bỏ qua max_tokens
• Cửa sổ ngữ cảnh ảnh hưởng đến cả chi phí và chất lượng phản hồi

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.mistralopenaicompatibleapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Tính toán token Streaming so với Không Streaming

Các phản hồi dạng stream tính toán token giống hệt các yêu cầu không stream. Mọi token gửi đến client đều được tính vào số dư trả trước của bạn bất kể phương thức phân phối. Stream chỉ phân phối token từng phần thay vì tất cùng lúc.

Sử dụng streaming khi bạn cần phản hồi theo thời gian thực nhưng theo dõi việc sử dụng token cẩn thận. Chunk cuối cùng chứa tổng số lượng token cho cả đầu vào và đầu ra. Theo dõi các số lượng này để nằm trong ngân sách của bạn.

• Streaming và không streaming sử dụng việc đếm token giống hệt nhau
• Mỗi token được gửi đến khách hàng đều tiêu tốn tín dụng
• Chunk cuối cùng bao gồm tổng số token đầu vào và đầu ra
• Theo dõi mức sử dụng token trong triển khai streaming của bạn

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Lỗi cấu hình SDK phổ biến

Các cấu hình sai SDK gây ra các khoản phí không mong muốn bằng cách gửi quá nhiều token hoặc thực hiện các yêu cầu trùng lặp. Các nhà phát triển thường quên đặt max_tokens dẫn đến phản hồi dài một cách không mong muốn. Những người khác bỏ qua các triển khai streaming tiếp tục gửi token sau khi phản hồi hoàn tất.

Cấu hình SDK của bạn với các tham số rõ ràng. Đặt max_tokens để kiểm soát độ dài đầu ra. Bật luồng chỉ khi bạn cần phản hồi theo thời gian thực. Theo dõi việc sử dụng token trong nhật ký ứng dụng của bạn.

• Đặt max_tokens rõ ràng để kiểm soát độ dài đầu ra
• Chỉ bật streaming khi cần phản hồi theo thời gian thực
• Theo dõi số lượng token trong nhật ký ứng dụng của bạn
• Cấu hình các giá trị thời gian chờ để ngăn các yêu cầu bị treo

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.mistralopenaicompatibleapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Tại sao tín dụng trả trước giúp bạn tiết kiệm chi phí

Tín dụng trả trước loại bỏ lãng phí đăng ký bằng cách chỉ tính phí cho việc sử dụng token thực tế. Hệ thống của chúng tôi tính $0.15 cho mỗi triệu token đầu vào và $0.50 cho mỗi triệu token đầu ra. Lỗi và từ tiêu thụ 0 token nên bạn không bao giờ trả tiền cho các yêu cầu thất bại.

Trả từ $20 đến $500 bằng tiền điện tử cho USDT trên TRC20 hoặc USDC trên Base. Nhận tín dụng bonus khi nạp từ $50 trở lên. Tín dụng không bao giờ hết hạn nên bạn có thể sử dụng bất cứ khi nào cần. Không có phí hàng tháng nghĩa là bạn chỉ trả cho những gì thực sự tiêu thụ.

• Tín dụng trả trước chỉ tính phí cho việc sử dụng token thực tế
• Lỗi và từ chối không tiêu thụ token
• Top up $20 to $500 in crypto
• Tín dụng không bao giờ hết hạn và áp dụng tín dụng bonus

Tránh phạt giới hạn tốc độ

Giới hạn tốc độ ngăn chặn lạm dụng nhưng có thể làm gián đoạn ứng dụng của bạn nếu được cấu hình không đúng. API của chúng tôi cho phép 300 yêu cầu mỗi phút trên mỗi khóa và 8 yêu cầu đồng thời trên mỗi khóa. Thân yêu cầu phải dưới 8 MB để tránh bị từ chối.

Triển khai logic thử lại với backoff theo cấp số nhân khi đạt đến giới hạn tốc độ. Theo dõi số lượng yêu cầu của bạn mỗi phút để nằm trong giới hạn. Sử dụng các khóa riêng biệt cho các thành phần ứng dụng khác nhau để phân phối tải. Một khóa hoạt động mỗi tài khoản có nghĩa là bạn phải quản lý việc xoay khóa cẩn thận.

• 300 yêu cầu mỗi phút trên mỗi khóa API
• Cho phép tối đa 8 yêu cầu đồng thời mỗi khóa
• Thân yêu cầu phải dưới 8 MB
• Một key hoạt động cho mỗi tài khoản với khả năng thay thế

So sánh chi phí mô hình không kiểm duyệt

Các mô hình không kiểm duyệt thường có giá cao hơn các mô hình tiêu chuẩn do yêu cầu huấn luyện và suy luận chuyên biệt. Mô hình của chúng tôi tính $0.15 cho mỗi triệu token đầu vào và $0.50 cho mỗi triệu token đầu ra. Giá này phản ánh tài nguyên tính toán cần thiết cho việc tạo nội dung không kiểm duyệt.

Các mô hình chuẩn có thể rẻ hơn nhưng bao gồm các hạn chế về nội dung ảnh hưởng đến chất lượng phản hồi. Các mô hình không kiểm duyệt cung cấp các phản hồi không giới hạn cho nội dung người lớn hợp pháp, hư cấu và nghiên cứu. Hãy chọn dựa trên nhu cầu nội dung của bạn thay vì chỉ giá cả.

• Các mô hình không kiểm duyệt yêu cầu huấn luyện và suy luận chuyên biệt.
• Giá của chúng tôi phản ánh chi phí tính toán tạo không kiểm duyệt
• Các hạn chế về nội dung ảnh hưởng đến chất lượng phản hồi và chi phí
• Chọn dựa trên nhu cầu nội dung chứ không chỉ giá cả

Theo dõi việc sử dụng và cảnh báo thanh toán

Theo dõi sử dụng token giúp bạn theo dõi chi phí và ngăn ngừa vượt ngân sách. API của chúng tôi trả về số lượng token trong mọi phản hồi bao gồm các phản hồi streaming. Theo dõi các số lượng này trong nhật ký và bảng điều khiển ứng dụng của bạn.

Thiết lập cảnh báo khi việc sử dụng đạt đến các ngưỡng nhất định. Theo dõi tỷ lệ token đầu vào so với đầu ra để tối ưu hóa các prompt của bạn. Sử dụng các số đếm token để tính toán chi phí thực tế và so sánh với số dư trả trước của bạn.

• Số lượng token xuất hiện trong mọi phản hồi bao gồm cả streaming
• Theo dõi tỷ lệ giữa token đầu vào và đầu ra
• Thiết lập cảnh báo sử dụng để tránh vượt quá ngân sách
• Tính chi phí thực tế bằng cách sử dụng số lượng token