Alternatywa dla API Venice w Pythonie: Konfiguracja OpenAI SDK
Możesz użyć oficjalnego OpenAI Python SDK dla tego API, zmieniając adres URL bazowy, klucz i nazwę modelu. Poniżej znajduje się działający kod dla każdego powszechnego zadania.

Kluczowe punkty
- Zainstaluj pakiet openai, ustaw base_url na https://api.veniceapialternative.com/v1 i model na uncensored.
- Strumieniowanie, wywoływanie funkcji i tryb JSON działają przez standardowe wywołania SDK.
- Utrzymuj równoległe zapytania na poziomie nie większym niż 8 jednoczesnych zapytań na pełnym kluczu (2 na kluczu próbnym).
- 429 oznacza rate_limited, concurrency lub tymczasowe przeciążenie; zastosuj backoff i spróbuj ponownie.
Zainstaluj i wykonaj pierwsze wywołanie
Dla konfiguracji alternatywy API Venice w Pythonie nie potrzebujesz specjalnej biblioteki. Usługa używa formatu czatu OpenAI, więc standardowe SDK działa. Zainstaluj go przez pip install openai, a następnie uzyskaj klucz. Nowi użytkownicy mogą uzyskać $0.50 kredytu próbnego na stronie klucza API po zarejestrowaniu się przez Google lub e-mail i hasło. Nie jest potrzebna karta.
Przechowuj klucz w zmiennej środowiskowej zamiast w pliku źródłowym. Następnie utwórz klienta z base URL i wywołaj model uncensored:
import os
from openai import OpenAI
client = OpenAI(
base_url="https://api.veniceapialternative.com/v1",
api_key=os.environ["UNCENSORED_API_KEY"],
)
resp = client.chat.completions.create(
model="uncensored",
messages=[
{"role": "system", "content": "You are a concise writing assistant."},
{"role": "user", "content": "Give me three opening lines for a noir story."},
],
temperature=0.8,
)
print(resp.choices[0].message.content)
print(resp.usage)
SDK wysyła Authorization: Bearer <key> za Ciebie. Obiekt usage pokazuje tokeny prompt i completion, których użyjesz do śledzenia kosztów później. Jeśli wywołanie nie powiedzie się z błędem uwierzytelnienia, sprawdź, czy klucz nie ma końcowego znaku nowej linii i czy base URL kończy się na /v1.
Parametry temperature, top_p, stop i seed, a także penalty frequency i presence, są przekazywane do modelu, więc możesz dostosować próbkowanie tak samo jak gdzie indziej. Pozostaw max_tokens bez ustawień, jeśli chcesz, aby model użył dostępnej przestrzeni w oknie kontekstu, lub ustaw je, jeśli chcesz ścisły limit długości odpowiedzi i kosztu.
Sprawdź połączenie za pomocą endpointu modeli
Zanim zbudujesz cokolwiek, upewnij się, że endpoint jest osiągalny. Druga obsługiwana metoda, GET /v1/models, wylicza, czego może użyć klucz:
import os
from openai import OpenAI
client = OpenAI(
base_url="https://api.veniceapialternative.com/v1",
api_key=os.environ["UNCENSORED_API_KEY"],
)
for m in client.models.list():
print(m.id, m.id == "uncensored")
Powinieneś zobaczyć uncensored. To jedyny model ID i jest to wartość do przekazania jako model w każdym zapytaniu. Jeśli przenosisz aplikację, która wybierała spośród kilku nazw modeli, zamień logikę wyboru na stałą. Nie ma nic innego do wyboru.
Pełna referencja parametrów jest na stronie dokumentacji. Obsługiwany jest tylko czat tekstowy: bez obrazów, audio, embeddingów ani fine-tuningu, więc usuń te wywołania z kodu, który przenosisz.
Odpowiedzi strumieniowe
Strumieniowanie zwraca tokeny w miarę ich generowania, co sprawia, że interfejsy czatu działają szybciej. Ustaw stream=True i iteruj po chunkach. Użycie pojawia się na końcu strumienia, więc zabezpiecz chunki, które nie zawierają choices:
import os
from openai import OpenAI
client = OpenAI(
base_url="https://api.veniceapialternative.com/v1",
api_key=os.environ["UNCENSORED_API_KEY"],
)
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Describe a rainy harbor town in 120 words."}],
stream=True,
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
if getattr(chunk, "usage", None):
print("\n", chunk.usage)
Jedna ważna rzecz dla planowania pojemności: strumieniowane zapytanie zajmuje slot concurrency do końca strumienia. Jeśli użytkownik otworzy strumień i odejdzie, nie zamykając go, slot pozostaje zajęty. Zamykaj strumienie po stronie klienta, gdy użytkownik odejdzie, i ustaw timeout zapytania.
Wywoływanie narzędzi i tryb JSON
Wywoływanie funkcji podąża za kształtem OpenAI. Opisujesz funkcje w tools, model zwraca tool_calls, uruchamiasz funkcję i wysyłasz wynik z powrotem z role: "tool":
import json
import os
from openai import OpenAI
client = OpenAI(
base_url="https://api.veniceapialternative.com/v1",
api_key=os.environ["UNCENSORED_API_KEY"],
)
tools = [{
"type": "function",
"function": {
"name": "roll_dice",
"description": "Roll a die with the given number of sides",
"parameters": {
"type": "object",
"properties": {"sides": {"type": "integer"}},
"required": ["sides"],
},
},
}]
messages = [{"role": "user", "content": "Roll a twenty-sided die for the next encounter."}]
first = client.chat.completions.create(
model="uncensored", messages=messages, tools=tools, tool_choice="auto"
)
msg = first.choices[0].message
if msg.tool_calls:
call = msg.tool_calls[0]
args = json.loads(call.function.arguments)
result = {"value": 14, "sides": args["sides"]}
messages.append(msg)
messages.append({"role": "tool", "tool_call_id": call.id, "content": json.dumps(result)})
final = client.chat.completions.create(model="uncensored", messages=messages, tools=tools)
print(final.choices[0].message.content)
Zawsze parsuj function.arguments z try/except w kodzie produkcyjnym, ponieważ model może czasami emitować niepoprawny JSON. Tryb JSON pomaga, gdy chcesz strukturalny wynik bez narzędzi:
import json
import os
from openai import OpenAI
client = OpenAI(
base_url="https://api.veniceapialternative.com/v1",
api_key=os.environ["UNCENSORED_API_KEY"],
)
r = client.chat.completions.create(
model="uncensored",
response_format={"type": "json_object"},
messages=[
{"role": "system", "content": "Reply with a JSON object with keys name, mood and hook."},
{"role": "user", "content": "Invent a tavern keeper for a fantasy campaign."},
],
)
print(json.loads(r.choices[0].message.content))
Poinformuj model w promptie, jakie klucze chcesz. Tryb JSON sprawia, że output jest poprawnym JSON, ale nie może zgadywać Twojego schematu.
Obsługa błędów 429 i limitów
Pełny klucz pozwala na 8 równoczesnych zapytań i 300 zapytań na minutę. Klucz próbny pozwala na 2 równoczesne i 60 na minutę. Po przekroczeniu limitu otrzymasz HTTP 429, a kod błędu powie Ci, który to:
rate_limited: za dużo zapytań na minutę. Zwolnij.concurrency: za dużo zapytań w locie. Poczekaj, aż niektóre się zakończą.- 429 z nagłówkiem
Retry-After: 5: tymczasowe przeciążenie. Poczekaj 5 sekund i spróbuj ponownie.
SDK już domyślnie próbuje ponownie kilka razy i respektuje Retry-After. Dla cięższych przypadków dodaj własny wrapper i odczytaj nagłówki limitów. Możesz uzyskać dostęp do surowej odpowiedzi przez with_raw_response:
import os
import time
import openai
from openai import OpenAI
client = OpenAI(
base_url="https://api.veniceapialternative.com/v1",
api_key=os.environ["UNCENSORED_API_KEY"],
max_retries=0,
)
def ask(prompt, attempts=4):
for n in range(attempts):
try:
raw = client.chat.completions.with_raw_response.create(
model="uncensored",
messages=[{"role": "user", "content": prompt}],
)
print("balance:", raw.headers.get("X-Balance-USD"),
"request id:", raw.headers.get("X-Request-Id"))
return raw.parse().choices[0].message.content
except openai.RateLimitError as e:
wait = int(e.response.headers.get("Retry-After", 2 ** n))
time.sleep(wait)
raise RuntimeError("still rate limited after retries")
print(ask("Name three plot twists for a heist story."))
Loguj X-Request-Id przy każdej awarii. Jeśli skontaktujesz się z wsparciem, ten ID pozwoli im znaleźć dokładne wywołanie. Nagłówek X-Balance-USD daje Ci pozostały kredyt bez dodatkowego zapytania. Nieudane i odrzucone zapytania nie są rozliczane.
Uruchamianie zapytań równoległych bez przekraczania limitu
Dla zadań wsadowych użyj klienta async i semafora dostosowanego do Twojego klucza. Dla pełnego klucza 8 to limit. Zostaw trochę marginesu bezpieczeństwa, jeśli obsługujesz też żywych użytkowników z tego samego klucza.
import asyncio
import os
from openai import AsyncOpenAI
client = AsyncOpenAI(
base_url="https://api.veniceapialternative.com/v1",
api_key=os.environ["UNCENSORED_API_KEY"],
)
gate = asyncio.Semaphore(6)
async def summarize(text):
async with gate:
r = await client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Summarize in one sentence: " + text}],
max_tokens=80,
)
return r.choices[0].message.content
async def main():
docs = ["First long text ...", "Second long text ...", "Third long text ..."]
for line in await asyncio.gather(*(summarize(d) for d in docs)):
print(line)
asyncio.run(main())
Tempo ma znaczenie dla limitu na minutę. Przy 6 równoległych workerach i 4 sekundach na wywołanie wysyłasz około 90 zapytań na minutę, znacznie poniżej 300. Jeśli Twoje wywołania są szybkie, dodaj mały sleep lub token bucket, aby nie przekroczyć limitu w falach.
Przenoszenie istniejącego projektu Python
Większość migracji jest mniejsza, niż ludzie oczekują. Jeśli Twój kod już buduje klienta OpenAI(...), zmieniasz dwa argumenty konstruktora i jeden ciąg znaków. Jeśli odczytujesz ustawienia ze zmiennych środowiskowych, możesz często unikać dotykania kodu w ogóle: pakiet openai odczytuje OPENAI_API_KEY i OPENAI_BASE_URL, więc ustawienie tych dwóch w powłoce lub pliku .env wskazuje cały program na nowy endpoint.
Następnie wyszukaj w projekcie te elementy, ponieważ są to typowe źródła awarii:
- Zahardkodowane nazwy modeli. Zastąp każdą starą nazwę na
uncensored. Grep dlamodel=znajdzie większość z nich. - Wywołania do innych endpointów. Wywołania obrazu, audio, embedding i fine-tuning nie mają tu odpowiednika. Przekieruj je do usługi, która je oferuje, lub usuń je.
- Dodatki specyficzne dla dostawcy. Dodatkowe pola zapytania lub niestandardowe nagłówki należące do starego dostawcy mogą powodować błędy. Odfiltruj je do prostego formatu OpenAI.
- Budżety tokenów. Okno kontekstu ma 100 000 tokenów dla prompt plus completion. Jeśli przyciąłeś historię, aby zmieścić się w mniejszym oknie, teraz możesz zachować więcej, ale zwracaj uwagę na koszt, ponieważ każda zachowana wiadomość jest rozliczana ponownie przy każdej turze.
Prompty zasługują na ponowne przetestowanie. System prompt, który działał dla jednego modelu, może dać inny ton na innym, więc uruchom swoje dziesięć najważniejszych promptów i porównaj output z oczekiwaniami przed wysłaniem.
Typowe problemy i ich rozwiązania
Krótka lista błędów, które pojawiają się najczęściej, gdy ludzie podłączają nowe endpoint kompatybilny z OpenAI z Pythona:
- 404 przy pierwszym wywołaniu. Brakuje
/v1w base URL lub ma dodatkową segment ścieżki. Powinno brzmieć dokładniehttps://api.veniceapialternative.com/v1. - 401 lub błąd uwierzytelnienia. Klucz jest zły, nadal ma cudzysłowy wokół niego z skopiowanej linii
.env, lub nie został wyeksportowany do powłoki, która uruchamia Pythona. - Zawieszenie zapytania przy dużych inputach. Maksymalne ciało to 8 MB. Wklejenie ogromnego pliku do promptu może przekroczyć ten limit znacznie wcześniej niż osiągniesz limit tokenów. Podziel tekst.
- Losowe 429 podczas testowania. Dla klucza próbnego masz tylko 2 równoczesne zapytania. Uruchomienie testów, które strzela pięcioma na raz, przekroczy limit. Uruchamiaj testy sekwencyjnie lub doładuj i użyj pełnego klucza.
- Obcięte odpowiedzi. Sprawdź
finish_reason. Wartośćlengthoznacza, że output osiągnął Twoje ustawieniemax_tokenslub wypełnił okno kontekstu. - Różne wyniki od uruchomienia do uruchomienia. Przekaż
seedi niskietemperature, jeśli potrzebujesz powtarzalnego outputu dla testów.
Jeśli coś nadal wygląda źle, wyślij wartość X-Request-Id do wsparcia wraz z czasem wywołania.
Szacowanie kosztów w kodzie
Cena to $0.15 za 1M tokenów input i $0.50 za 1M tokenów output. Mały helper zamienia dowolny blok usage na dolary:
import os
from openai import OpenAI
client = OpenAI(
base_url="https://api.veniceapialternative.com/v1",
api_key=os.environ["UNCENSORED_API_KEY"],
)
def cost_usd(usage):
return (usage.prompt_tokens * 0.15 + usage.completion_tokens * 0.50) / 1_000_000
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Write a limerick about a lighthouse."}],
)
print(round(cost_usd(r.usage), 6))
Zapytanie z 2 000 tokenami promptu i 500 tokenami uzupełnienia zwraca 0,00055. Wykonaj 1 000 takich zapytań i wydasz $0,55. Kredyt próbny w wysokości $0,50 pokrywa około 909 takich zapytań. Po zakończeniu próby doładowania zaczynają się od $20, a kredyt nigdy nie wygasa; strona cennika wymienia poziomy bonusów. Jeśli Twoja aplikacja pochodzi z projektu czatbota z jego własnymi pułapkami, artykuł o najczęstszych błędach w API omawia kilka, które dotyczą również tego przypadku.
Więcej przewodników
Pytania i odpowiedzi
Jakiego pakietu Pythona potrzebuję?
Oficjalny pakiet openai. Zainstaluj go przez pip, ustaw base_url na https://api.veniceapialternative.com/v1, i użyj modelu uncensored. Nie potrzebujesz innych bibliotek klienckich.
Czy strumieniowanie działa z SDK?
Tak. Przekaż stream=True i iteruj po chunkach. Użycie jest raportowane na końcu strumienia.
Dlaczego pojawia się błąd 429?
Przekroczyłeś limit zapytań na minutę (rate_limited), miałeś za wiele jednoczesnych żądań (concurrency) lub usługa była chwilowo przeciążona i zwróciła Retry-After: 5. Zmniejsz częstotliwość i spróbuj ponownie.
Ile równoległych zapytań mogę wysłać?
Pełny klucz pozwala na 8 równoległych zapytań i 300 na minutę. Klucz próbny pozwala na 2 równoległe i 60 na minutę.
Czy mogę użyć LangChain lub innych narzędzi kompatybilnych z OpenAI?
Klient, który pozwala ustawić base URL i klucz API kompatybilny z OpenAI, powinien działać. Użyj tego samego base URL i nazwy modelu uncensored.