VI ▾

Giải pháp thay thế API AI không kiểm duyệt dành cho nhà phát triển

https://api.veniceapialternative.com/v1

veniceapialternative.com

Endpoint API Venice AI: Chuyển sang Base URL khác

Nếu mã của bạn trỏ đến endpoint API Venice AI và bạn muốn thử một nhà cung cấp khác, việc thay đổi rất nhỏ: một base URL, một khóa và một model ID. Trang này liệt kê những gì cần chỉnh sửa, những gì cần kiểm tra và những gì thay đổi sau đó.

Cập nhật

Một đầu cắm cáp chuyển giữa hai khối máy chủ, minh họa việc chuyển đổi base URL

Điểm chính

  • Bốn lần chỉnh sửa bao gồm hầu hết các trường hợp di chuyển: base URL, khóa API, model ID, xử lý số dư.
  • Base URL mới là https://api.veniceapialternative.com/v1 và model ID là uncensored.
  • Ba endpoint được hỗ trợ: chat completions, responses và models.
  • Hãy thử nghiệm với gói dùng thử $0,50 trước khi chuyển lưu lượng thực.

Câu trả lời ngắn gọn: bốn lần chỉnh sửa

Bất kỳ client nào hỗ trợ định dạng chat OpenAI chỉ cần thay đổi cấu hình để kết nối với nhà cung cấp khác. Với endpoint API Venice AI, điều này cũng đúng theo chiều ngược lại: bạn đang thay thế bốn giá trị chứ không phải viết lại toàn bộ tích hợp.

  1. Base URL: đặt nó thành https://api.veniceapialternative.com/v1.
  2. Khóa API: tạo một khóa trên trang Khóa API và gửi nó dưới dạng Authorization: Bearer <key>.
  3. Model ID: sử dụng uncensored. Chỉ có một mô hình nên không cần ánh xạ danh sách mô hình.
  4. Kiểm tra số dư: đọc header X-Balance-USD hoặc gọi GET /v1/balance.

Đây là dịch vụ độc lập, không do Venice hoặc bất kỳ nhà cung cấp nào khác vận hành. Nó lưu trữ một mô hình trọng số mở nên bất kỳ tên mô hình nào mã của bạn dùng trước đây đều phải được thay thế.

Trước khi chỉnh sửa: tìm mọi nơi endpoint tồn tại

Base URL hiếm khi chỉ nằm trong một file. Hãy tìm trong kho lưu trữ của bạn tên máy chủ cũ, chuỗi mô hình cũ và biến môi trường chứa khóa. Những nơi thường ẩn là các hàm tạo SDK, file .env, bí mật Docker hoặc CI, cấu hình front-end và các worker nền được viết riêng biệt với ứng dụng chính.

Một thói quen hữu ích là di chuyển cả ba giá trị vào các biến môi trường trước, sau đó mới di chuyển. Điều này giúp việc chuyển đổi chỉ là thay đổi khi triển khai và cho phép bạn hoàn tác chỉ bằng một dòng lệnh.

export LLM_BASE_URL="https://api.veniceapialternative.com/v1"
export LLM_API_KEY="YOUR_KEY"
export LLM_MODEL="uncensored"

Mã cho Python, Node và curl

Python (SDK openai)

import os
from openai import OpenAI

client = OpenAI(
    base_url=os.environ.get("LLM_BASE_URL", "https://api.veniceapialternative.com/v1"),
    api_key=os.environ["LLM_API_KEY"],
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Say hello in five words."}],
)
print(resp.choices[0].message.content)

Node.js

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.veniceapialternative.com/v1",
  apiKey: process.env.LLM_API_KEY,
});

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Say hello in five words." }],
});
console.log(resp.choices[0].message.content);

curl

curl -i https://api.veniceapialternative.com/v1/chat/completions \
  -H "Authorization: Bearer $LLM_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"uncensored","messages":[{"role":"user","content":"Say hello in five words."}]}'

Cờ -i in ra các header phản hồi, qua đó bạn có thể thấy X-Request-Id và X-Balance-USD trong lần gọi đầu tiên.

Những gì giữ nguyên và những gì thay đổi

Cấu trúc yêu cầu quen thuộc: messages với các vai trò, stream, tools, tool_choice, response_format cho chế độ JSON và các tham số lấy mẫu temperature, top_p, stop, seed cùng các hình phạt. Truyền phát sử dụng SSE với thông tin sử dụng ở cuối, và kết quả gọi hàm được trả lại dưới dạng các message role: "tool".

MụcỞ đây
EndpointPOST /v1/chat/completions, POST /v1/responses, GET /v1/models
ID mô hìnhuncensored (một mô hình)
Cửa sổ ngữ cảnh100.000 token, prompt cộng với hoàn tất
Kích thước tối đa của thân yêu cầu8 MB
Phương thứcChỉ văn bản: không có hình ảnh, âm thanh, video, embedding hay fine-tuning

Hàng cuối cùng là nguyên nhân phá vỡ các bản di chuyển. Nếu ứng dụng của bạn gọi một đường dẫn hình ảnh, giọng nói hoặc embedding từ nhà cung cấp cũ, các cuộc gọi đó không có tương đương ở đây. Hãy giữ phần đó ở nhà cung cấp hiện tại và chỉ chuyển các cuộc gọi văn bản.

Xử lý giới hạn và lỗi khác đi

Một khóa đầy đủ cho phép 8 yêu cầu đồng thời và 300 yêu cầu mỗi phút. Một khóa dùng thử cho phép 2 yêu cầu đồng thời và 60 yêu cầu mỗi phút. Vượt quá giới hạn này, bạn sẽ nhận được HTTP 429, với mã lỗi rate_limited cho yêu cầu mỗi phút hoặc concurrency cho quá nhiều yêu cầu cùng lúc. Một lỗi 429 kèm header Retry-After: 5 nghĩa là quá tải tạm thời: hãy đợi và thử lại.

Lưu ý rằng một yêu cầu truyền phát giữ slot độ đồng thời của nó cho đến khi stream kết thúc. Nếu tích hợp cũ của bạn gửi hàng chục cuộc gọi song song, hãy đặt một semaphore giới hạn ở mức 8 hoặc ít hơn phía trước client.

import time, random
from openai import OpenAI, RateLimitError

client = OpenAI(base_url="https://api.veniceapialternative.com/v1", api_key="YOUR_KEY")

def ask(prompt, tries=4):
    for i in range(tries):
        try:
            r = client.chat.completions.create(
                model="uncensored",
                messages=[{"role": "user", "content": prompt}],
            )
            return r.choices[0].message.content
        except RateLimitError:
            time.sleep(5 + random.random() * i)
    raise RuntimeError("still rate limited")

Các yêu cầu thất bại hoặc bị từ chối không bị tính phí, nên việc thử lại khi gặp lỗi không làm bạn mất tín dụng.

Truyền phát và gọi công cụ sau khi chuyển đổi

Nếu ứng dụng của bạn truyền phát token đến giao diện người dùng, không có gì thay đổi ở client: hãy đặt stream: true và đọc các sự kiện gửi từ máy chủ. Khối usage xuất hiện ở cuối stream, rất hữu ích để ghi lại chi phí cho mỗi câu trả lời.

from openai import OpenAI

client = OpenAI(base_url="https://api.veniceapialternative.com/v1", api_key="YOUR_KEY")

stream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "List three uses of a message queue."}],
    stream=True,
    stream_options={"include_usage": True},
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="")
    if chunk.usage:
        print("\n", chunk.usage)

Gọi hàm tuân theo luồng làm việc quen thuộc. Bạn truyền tools và tùy chọn tool_choice, mô hình trả về tool_calls (được truyền phát từng phần khi bật stream), bạn chạy hàm và gửi kết quả lại dưới dạng message role: "tool". Chế độ JSON hoạt động với response_format: {"type": "json_object"}. Luôn xác thực JSON đã phân tích cú pháp trong mã của bạn vì không có mô hình nào đảm bảo đúng schema.

Các vấn đề thường gặp sau khi chuyển đổi

  • Lỗi xác thực. Hãy kiểm tra xem khóa có được gửi dưới dạng token Bearer và bạn đã sao chép đúng toàn bộ chuỗi không. Một khóa từ nhà cung cấp cũ sẽ không hoạt động ở đây.
  • Lỗi không tìm thấy. Base URL phải kết thúc ở /v1. Nếu bạn dán toàn bộ đường dẫn /chat/completions vào một SDK tự động thêm nó vào, đường dẫn sẽ sai.
  • Mô hình không xác định. Bất kỳ chuỗi mô hình nào khác uncensored đều sai. Hãy tìm các tên được mã hóa cứng trong cấu hình và bài kiểm thử.
  • Các đợt tăng đột biến 429. Giới hạn độ đồng thời ở mức độ đồng thời của loại khóa của bạn và tuân thủ Retry-After.
  • Chi phí không mong đợi. Lịch sử chat dài được tính phí là đầu vào cho mỗi lượt. Hãy cắt ngắn chúng.

Nếu vẫn có gì đó bất thường, hãy gửi giá trị X-Request-Id từ phản hồi đến liên hệ trên trang hỗ trợ. Nó xác định chính xác yêu cầu và tiết kiệm thời gian cho cả hai bên.

Danh sách kiểm tra di chuyển và kiểm thử

Hãy thực hiện theo thứ tự này. Mỗi bước là một thay đổi nhỏ và có thể hoàn tác.

  1. Nhận gói dùng thử $0,50 từ trang Khóa API. Nó không cần thẻ và kéo dài 7 ngày.
  2. Chạy lệnh curl ở trên và xác nhận phản hồi cùng các header.
  3. Chuyển một đường dẫn mã không quan trọng sang base URL và khóa mới.
  4. Phát lại một mẫu các prompt thực và so sánh chất lượng, độ dài và độ trễ của đầu ra bằng mắt.
  5. Kiểm tra usage trong các phản hồi và nhân với khối lượng của bạn ở mức $0.15 cho mỗi 1M input token và $0.50 cho mỗi 1M output token.
  6. Thêm cảnh báo số dư trên X-Balance-USD.
  7. Nạp tiền (từ $20, với bonus từ $50) và chuyển hướng phần còn lại của lưu lượng.

Các prompt phụ thuộc vào đặc điểm của mô hình khác có thể cần chỉnh sửa nhỏ, chẳng hạn như một system prompt khác. Điều này là bình thường khi thay đổi mô hình, nên hãy đánh giá dựa trên bộ kiểm thử của riêng bạn chứ không phải một câu trả lời đơn lẻ. Mô hình này được tinh chỉnh để trả lời mà không từ chối nội dung cho mục đích người lớn hợp pháp và nội dung khiêu dâm liên quan đến người chưa thành niên bị cấm.

docs mô tả từng endpoint và header. Trang về Venice API alternative của chúng tôi trình bày cách sản phẩm so sánh, và trang giá hiển thị số tiền nạp tiền, bonus và phương thức thanh toán. Prompt gửi đến API không được dùng để huấn luyện, và tín dụng trả trước không bao giờ hết hạn, nên một lần nạp tiền nhỏ để thử nghiệm không có hạn chót.

Hỏi đáp

URL cơ bản là gì?

Sử dụng https://api.veniceapialternative.com/v1 với bất kỳ máy khách tương thích OpenAI nào và gửi khóa của bạn dưới dạng token Bearer.

Tôi nên gửi ID mô hình nào?

Gửi uncensored. Chỉ có một mô hình, nên không cần ánh xạ từ tên mô hình cũ của bạn.

Làm thế nào để kiểm tra số dư của tôi?

Đọc tiêu đề phản hồi X-Balance-USD, gọi GET /v1/balance, hoặc dùng GET /v1/dashboard/billing/credit_grants theo phong cách OpenAI.

Tôi có thể gọi các endpoint hình ảnh hay embedding không?

Không. API chỉ hỗ trợ văn bản, không có endpoint hình ảnh, âm thanh, video, embedding hay tinh chỉnh.

Khóa của bạn chỉ cách một bước

Tạo tài khoản, sao chép khóa, thay đổi URL cơ sở. Đó là toàn bộ thiết lập.

Lấy khóa API