VI ▾

Giải pháp thay thế API AI không kiểm duyệt dành cho nhà phát triển

https://api.veniceapialternative.com/v1

veniceapialternative.com

Thay thế API Venice Python: Thiết lập SDK OpenAI

Bạn có thể dùng SDK Python chính thức của OpenAI cho API này bằng cách thay đổi base_url, khóa và tên mô hình. Dưới đây là mã hoạt động cho mỗi tác vụ phổ biến.

Cập nhật

Dải mã nguồn chảy từ terminal đến máy chủ đám mây, minh họa thiết lập API Python

Điểm chính

  • Cài đặt gói openai, đặt base_url thành https://api.veniceapialternative.com/v1 và mô hình thành uncensored.
  • Truyền phát, gọi hàm và chế độ JSON đều hoạt động thông qua các lệnh gọi SDK tiêu chuẩn.
  • Giữ khối lượng công việc đồng thời ở mức hoặc dưới 8 yêu cầu đồng thời trên khóa đầy đủ (2 trên khóa dùng thử).
  • 429 có nghĩa là rate_limited, concurrency hoặc quá tải tạm thời; hãy giảm tần suất và thử lại.

Cài đặt và thực hiện cuộc gọi đầu tiên

Để thiết lập Venice API Alternative Python, bạn không cần thư viện đặc biệt. Dịch vụ sử dụng định dạng chat OpenAI, nên SDK tiêu chuẩn hoạt động. Cài đặt bằng pip install openai, sau đó lấy khóa. Người dùng mới có thể nhận $0.50 tín dụng dùng thử trên trang khóa API sau khi đăng ký bằng Google hoặc email và mật khẩu. Không cần thẻ.

Lưu khóa trong biến môi trường thay vì trong tệp mã nguồn. Sau đó tạo client với base URL và gọi mô hình uncensored:

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.veniceapialternative.com/v1",
    api_key=os.environ["UNCENSORED_API_KEY"],
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": "You are a concise writing assistant."},
        {"role": "user", "content": "Give me three opening lines for a noir story."},
    ],
    temperature=0.8,
)

print(resp.choices[0].message.content)
print(resp.usage)

SDK gửi Authorization: Bearer <key> cho bạn. Đối tượng usage hiển thị token prompt và completion, bạn sẽ dùng để theo dõi chi phí sau. Nếu gọi thất bại do lỗi xác thực, hãy kiểm tra xem khóa không có ký tự xuống dòng ở cuối và base URL kết thúc bằng /v1.

Các tham số temperature, top_p, stop và seed, cùng các hệ số phạt frequency và presence, được chuyển tiếp đến mô hình, giúp bạn tinh chỉnh việc lấy mẫu giống như ở nơi khác. Bỏ max_tokens nếu muốn mô hình sử dụng khoảng trống còn lại trong cửa sổ ngữ cảnh, hoặc đặt nó khi muốn giới hạn cứng độ dài phản hồi và chi phí.

Kiểm tra kết nối với endpoint mô hình

Trước khi xây dựng bất cứ thứ gì, hãy xác nhận endpoint có thể truy cập. Phương thức hỗ trợ thứ hai, GET /v1/models, liệt kê những gì khóa có thể dùng:

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.veniceapialternative.com/v1",
    api_key=os.environ["UNCENSORED_API_KEY"],
)

for m in client.models.list():
    print(m.id, m.id == "uncensored")

Bạn sẽ thấy uncensored. Đó là ID mô hình duy nhất và là giá trị để truyền làm model trong mọi yêu cầu. Nếu bạn đang chuyển đổi ứng dụng đã chọn giữa nhiều tên mô hình, hãy thay thế logic chọn bằng một hằng số. Không có gì khác để chọn.

Tài liệu tham khảo đầy đủ các tham số có trên trang tài liệu. Chỉ hỗ trợ chat văn bản: không có hình ảnh, âm thanh, embedding hoặc fine-tuning, nên hãy xóa các lệnh gọi đó khỏi bất kỳ mã nguồn nào bạn chuyển sang.

Phản hồi streaming

Truyền phát trả về token khi chúng được tạo, giúp giao diện trò chuyện cảm thấy nhanh hơn. Đặt stream=True và lặp qua các chunk. Dữ liệu sử dụng xuất hiện ở cuối luồng, nên hãy bảo vệ các chunk không chứa lựa chọn nào:

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.veniceapialternative.com/v1",
    api_key=os.environ["UNCENSORED_API_KEY"],
)

stream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Describe a rainy harbor town in 120 words."}],
    stream=True,
)

for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)
    if getattr(chunk, "usage", None):
        print("\n", chunk.usage)

Một chi tiết quan trọng cho việc lập kế hoạch dung lượng: một yêu cầu truyền phát giữ slot concurrency của nó cho đến khi luồng kết thúc. Nếu người dùng mở luồng và rời đi mà không đóng, slot đó vẫn bận. Đóng luồng ở phía client khi người dùng rời đi và đặt thời gian chờ yêu cầu.

Gọi công cụ và chế độ JSON

Gọi hàm tuân theo định dạng OpenAI. Bạn mô tả các hàm trong tools, mô hình trả về tool_calls, bạn chạy hàm và gửi kết quả lại với role: "tool":

import json
import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.veniceapialternative.com/v1",
    api_key=os.environ["UNCENSORED_API_KEY"],
)

tools = [{
    "type": "function",
    "function": {
        "name": "roll_dice",
        "description": "Roll a die with the given number of sides",
        "parameters": {
            "type": "object",
            "properties": {"sides": {"type": "integer"}},
            "required": ["sides"],
        },
    },
}]

messages = [{"role": "user", "content": "Roll a twenty-sided die for the next encounter."}]
first = client.chat.completions.create(
    model="uncensored", messages=messages, tools=tools, tool_choice="auto"
)
msg = first.choices[0].message

if msg.tool_calls:
    call = msg.tool_calls[0]
    args = json.loads(call.function.arguments)
    result = {"value": 14, "sides": args["sides"]}
    messages.append(msg)
    messages.append({"role": "tool", "tool_call_id": call.id, "content": json.dumps(result)})
    final = client.chat.completions.create(model="uncensored", messages=messages, tools=tools)
    print(final.choices[0].message.content)

Luôn phân tích function.arguments bằng try/except trong mã dùng trong sản xuất, vì mô hình đôi khi có thể phát ra JSON không hợp lệ. Chế độ JSON hữu ích khi bạn muốn đầu ra có cấu trúc mà không cần công cụ:

import json
import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.veniceapialternative.com/v1",
    api_key=os.environ["UNCENSORED_API_KEY"],
)

r = client.chat.completions.create(
    model="uncensored",
    response_format={"type": "json_object"},
    messages=[
        {"role": "system", "content": "Reply with a JSON object with keys name, mood and hook."},
        {"role": "user", "content": "Invent a tavern keeper for a fantasy campaign."},
    ],
)
print(json.loads(r.choices[0].message.content))

Cho mô hình biết trong prompt các khóa bạn muốn. Chế độ JSON làm cho đầu ra hợp lệ JSON, nhưng nó không thể đoán lược đồ của bạn.

Xử lý lỗi 429 và giới hạn tốc độ

Khóa đầy đủ cho phép 8 yêu cầu đồng thời và 300 yêu cầu mỗi phút. Khóa dùng thử cho phép 2 yêu cầu đồng thời và 60 mỗi phút. Vượt qua giới hạn, bạn nhận HTTP 429, và mã lỗi cho bạn biết giới hạn nào:

  • rate_limited: quá nhiều yêu cầu mỗi phút. Hãy giảm tốc độ.
  • concurrency: quá nhiều yêu cầu đang xử lý. Hãy đợi một số hoàn tất.
  • 429 với tiêu đề Retry-After: 5: quá tải tạm thời. Hãy đợi 5 giây và thử lại.

SDK đã tự động thử lại một vài lần theo mặc định và tôn trọng Retry-After. Đối với tải nặng hơn, hãy thêm bộ bao bọc của riêng bạn và đọc các tiêu đề giới hạn. Bạn có thể truy cập phản hồi thô qua with_raw_response:

import os
import time
import openai
from openai import OpenAI

client = OpenAI(
    base_url="https://api.veniceapialternative.com/v1",
    api_key=os.environ["UNCENSORED_API_KEY"],
    max_retries=0,
)

def ask(prompt, attempts=4):
    for n in range(attempts):
        try:
            raw = client.chat.completions.with_raw_response.create(
                model="uncensored",
                messages=[{"role": "user", "content": prompt}],
            )
            print("balance:", raw.headers.get("X-Balance-USD"),
                  "request id:", raw.headers.get("X-Request-Id"))
            return raw.parse().choices[0].message.content
        except openai.RateLimitError as e:
            wait = int(e.response.headers.get("Retry-After", 2 ** n))
            time.sleep(wait)
    raise RuntimeError("still rate limited after retries")

print(ask("Name three plot twists for a heist story."))

Ghi lại X-Request-Id với mọi lỗi. Nếu bạn liên hệ hỗ trợ, ID đó giúp họ tìm chính xác lệnh gọi. Tiêu đề X-Balance-USD cho bạn biết số dư tín dụng còn lại mà không cần thực hiện thêm yêu cầu. Các yêu cầu thất bại và bị từ chối không bị tính phí.

Chạy yêu cầu đồng thời mà không chạm giới hạn

Đối với tác vụ hàng loạt, hãy dùng client không đồng bộ và một semaphore có kích thước phù hợp với khóa của bạn. Trên khóa đầy đủ, 8 là giới hạn trên. Hãy để lại một chút dung lượng dự phòng nếu bạn cũng phục vụ người dùng trực tiếp từ cùng khóa đó.

import asyncio
import os
from openai import AsyncOpenAI

client = AsyncOpenAI(
    base_url="https://api.veniceapialternative.com/v1",
    api_key=os.environ["UNCENSORED_API_KEY"],
)
gate = asyncio.Semaphore(6)

async def summarize(text):
    async with gate:
        r = await client.chat.completions.create(
            model="uncensored",
            messages=[{"role": "user", "content": "Summarize in one sentence: " + text}],
            max_tokens=80,
        )
        return r.choices[0].message.content

async def main():
    docs = ["First long text ...", "Second long text ...", "Third long text ..."]
    for line in await asyncio.gather(*(summarize(d) for d in docs)):
        print(line)

asyncio.run(main())

Nhịp độ quan trọng đối với giới hạn mỗi phút. Với 6 worker đồng thời và 4 giây mỗi lệnh gọi, bạn gửi khoảng 90 yêu cầu mỗi phút, thấp hơn nhiều so với 300. Nếu các lệnh gọi của bạn nhanh, hãy thêm một khoảng thời gian ngủ nhỏ hoặc một token bucket để không vượt quá giới hạn theo đợt.

Di chuyển dự án Python hiện có sang

Hầu hết các bản di chuyển nhỏ hơn mọi người mong đợi. Nếu mã của bạn đã tạo client OpenAI(...), bạn chỉ cần thay đổi hai đối số khởi tạo và một chuỗi. Nếu bạn đọc cài đặt từ biến môi trường, bạn thường có thể tránh chạm vào mã nguồn: gói openai đọc OPENAI_API_KEY và OPENAI_BASE_URL, nên đặt hai biến đó trong shell hoặc tệp .env của bạn sẽ trỏ toàn bộ chương trình đến endpoint mới.

Sau đó, tìm kiếm trong dự án của bạn các mục sau, vì chúng là nguồn gây lỗi thường gặp:

  • Tên mô hình được mã hóa cứng. Thay thế mọi tên cũ bằng uncensored. Lệnh grep cho model= sẽ tìm thấy hầu hết chúng.
  • Các lệnh gọi đến endpoint khác. Các lệnh gọi hình ảnh, âm thanh, embedding và fine-tuning không có tương đương ở đây. Hãy chuyển chúng đến dịch vụ cung cấp chúng, hoặc xóa chúng.
  • Các tính năng bổ sung do nhà cung cấp xác định. Các trường yêu cầu bổ sung hoặc tiêu đề tùy chỉnh thuộc về nhà cung cấp cũ của bạn có thể gây lỗi. Hãy loại bỏ chúng để chỉ giữ định dạng OpenAI thuần túy.
  • Ngân sách token. Cửa sổ ngữ cảnh là 100,000 token cho prompt cộng với completion. Nếu bạn đã cắt lịch sử để phù hợp với cửa sổ nhỏ hơn, bạn giờ có thể giữ nhiều hơn, nhưng hãy theo dõi chi phí, vì mỗi tin nhắn được giữ lại sẽ được tính phí lại trong mỗi lượt.

Các prompt cần được kiểm tra lại. Một system prompt hoạt động với mô hình này có thể tạo ra tông giọng khác trên mô hình khác, nên hãy chạy mười prompt quan trọng nhất của bạn và so sánh kết quả với những gì bạn mong đợi trước khi xuất bản.

Các vấn đề phổ biến và cách khắc phục

Một danh sách ngắn các lỗi xuất hiện thường xuyên nhất khi mọi người kết nối endpoint tương thích OpenAI mới từ Python:

  • Lỗi 404 trên lệnh gọi đầu tiên. Base URL thiếu /v1, hoặc có thêm một đoạn đường dẫn. Nó phải đọc chính xác https://api.veniceapialternative.com/v1.
  • Lỗi 401 hoặc xác thực. Khóa không đúng, vẫn còn dấu ngoặc kép "" từ dòng .env đã sao chép, hoặc chưa được xuất vào shell chạy Python.
  • Yêu cầu bị treo với đầu vào lớn. Kích thước tối đa của thân yêu cầu là 8 MB. Dán một tệp lớn vào prompt có thể vượt quá giới hạn này trước khi bạn đạt giới hạn token. Hãy chia nhỏ văn bản.
  • Lỗi 429 ngẫu nhiên trong khi kiểm thử. Với khóa dùng thử, bạn chỉ có 2 yêu cầu đồng thời. Một trình kiểm thử gửi năm yêu cầu cùng lúc sẽ vượt quá giới hạn. Hãy chạy các bài kiểm tra tuần tự, hoặc nạp tiền và sử dụng khóa đầy đủ.
  • Câu trả lời bị cắt ngắn. Kiểm tra finish_reason. Giá trị length cho biết đầu ra đã đạt cài đặt max_tokens hoặc đầy cửa sổ ngữ cảnh.
  • Kết quả khác nhau giữa các lần chạy. Truyền seed và giá trị temperature thấp nếu bạn cần đầu ra lặp lại cho các bài kiểm tra.

Nếu vẫn có gì đó sai, hãy gửi giá trị X-Request-Id cho bộ phận hỗ trợ cùng với thời gian gọi.

Ước tính chi phí trong mã nguồn

Giá là $0.15 cho mỗi 1M token đầu vào và $0.50 cho mỗi 1M token đầu ra. Một hàm tiện ích nhỏ biến bất kỳ khối sử dụng nào thành đô la:

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.veniceapialternative.com/v1",
    api_key=os.environ["UNCENSORED_API_KEY"],
)

def cost_usd(usage):
    return (usage.prompt_tokens * 0.15 + usage.completion_tokens * 0.50) / 1_000_000

r = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Write a limerick about a lighthouse."}],
)
print(round(cost_usd(r.usage), 6))

Một yêu cầu với 2.000 token prompt và 500 token hoàn tất trả về 0,00055. Chạy 1.000 yêu cầu như vậy và bạn chi $0,55. Tín dụng dùng thử $0,50 chi trả cho khoảng 909 yêu cầu như vậy. Sau khi hết dùng thử, bạn cần nạp tiền từ $20 trở lên và tín dụng không bao giờ hết hạn; trang giá liệt kê các mức ưu đãi. Nếu ứng dụng của bạn bắt nguồn từ một dự án chatbot với những lỗi thường gặp, bài viết về những lỗi API phổ biến đề cập đến một số lỗi cũng áp dụng ở đây.

Hỏi đáp

Tôi cần gói Python nào?

Gói openai chính thức. Cài đặt nó bằng pip, đặt base_url thành https://api.veniceapialternative.com/v1, và sử dụng mô hình uncensored. Không cần thư viện client nào khác.

Truyền phát (streaming) có hoạt động với SDK không?

Có. Truyền stream=True và lặp qua các chunk. Việc sử dụng được báo cáo ở cuối luồng.

Tại sao tôi nhận được lỗi 429?

Bạn có thể đã vượt giới hạn yêu cầu mỗi phút (rate_limited), có quá nhiều yêu cầu đang mở cùng lúc (concurrency), hoặc dịch vụ bị quá tải tạm thời và gửi Retry-After: 5. Hãy giảm tốc độ và thử lại.

Tôi có thể chạy bao nhiêu yêu cầu đồng thời?

Một khóa đầy đủ cho phép 8 yêu cầu đồng thời và 300 mỗi phút. Một khóa dùng thử cho phép 2 đồng thời và 60 mỗi phút.

Tôi có thể dùng LangChain hoặc các công cụ tương thích OpenAI khác không?

Bất kỳ client nào cho phép bạn đặt base URL và khóa tương thích với OpenAI đều hoạt động. Sử dụng cùng base URL và tên mô hình uncensored.

Khóa của bạn chỉ cách một bước

Tạo tài khoản, sao chép khóa, thay đổi URL cơ sở. Đó là toàn bộ thiết lập.

Lấy khóa API