Venice API 대체 Python: OpenAI SDK 설정
base URL, 키 및 모델 이름을 변경하여 이 API에 공식 OpenAI Python SDK를 사용할 수 있습니다. 아래는 각 일반적인 작업에 대한 작동하는 코드입니다.

주요 포인트
- openai 패키지를 설치하고 base_url을 https://api.veniceapialternative.com/v1로 설정한 후 모델을 uncensored로 설정하세요.
- 스트리밍, 도구 호출 및 JSON 모드는 모두 표준 SDK 호출을 통해 작동합니다.
- 전체 키의 경우 병렬 요청 8개 이하, 체험 키의 경우 2개 이하로 병렬 요청을 유지하세요.
- 429는 rate_limited, concurrency 또는 일시적 과부하를 의미하며, 대기 후 다시 시도하세요.
설치 및 첫 번째 호출
venice api alternative python 설정에는 특별한 라이브러리가 필요하지 않습니다. 서비스는 OpenAI 채팅 형식을 지원하므로 표준 SDK가 작동합니다. pip install openai로 설치한 후 키를 발급받으세요. 새 사용자는 Google 또는 이메일과 비밀번호로 가입한 후 API 키 페이지에서 $0.50의 무료 체험 크레딧을 받을 수 있습니다. 카드가 필요하지 않습니다.
키를 소스 파일이 아닌 환경 변수에 저장하세요. 그런 다음 base URL과 함께 클라이언트를 생성하고 uncensored 모델을 호출하세요:
import os
from openai import OpenAI
client = OpenAI(
base_url="https://api.veniceapialternative.com/v1",
api_key=os.environ["UNCENSORED_API_KEY"],
)
resp = client.chat.completions.create(
model="uncensored",
messages=[
{"role": "system", "content": "You are a concise writing assistant."},
{"role": "user", "content": "Give me three opening lines for a noir story."},
],
temperature=0.8,
)
print(resp.choices[0].message.content)
print(resp.usage)
SDK는 자동으로 Authorization: Bearer <key>를 전송합니다. usage 객체는 프롬프트 및 완료 토큰을 보여주며, 이는 나중에 비용 추적에 사용됩니다. 인증 오류가 발생하면 키에 후행 개행이 없고 base URL이 /v1로 끝나는지 확인하세요.
temperature, top_p, stop, seed 파라미터와 frequency 및 presence penalty는 모델에 전달되므로 다른 곳과 동일한 방식으로 샘플링을 조정할 수 있습니다. 창에 남은 공간을 모두 사용하게 하려면 max_tokens을 생략하고, 응답 길이와 비용에 상한을 두고 싶다면 설정하세요.
models 엔드포인트로 연결 확인
무언가를 빌드하기 전에 엔드포인트에 접근할 수 있는지 확인하세요. 두 번째로 지원되는 메서드인 GET /v1/models은 키가 사용할 수 있는 항목을 나열합니다:
import os
from openai import OpenAI
client = OpenAI(
base_url="https://api.veniceapialternative.com/v1",
api_key=os.environ["UNCENSORED_API_KEY"],
)
for m in client.models.list():
print(m.id, m.id == "uncensored")
uncensored를 확인해야 합니다. 이것이 유일한 모델 ID이며 모든 요청에서 model로 전달해야 하는 값입니다. 여러 모델 이름 중 하나를 선택하던 앱을 포팅하는 경우 선택 로직을 상수로 대체하세요. 선택할 다른 항목이 없습니다.
전체 파라미터 참조는 문서 페이지에 있습니다. 텍스트 채팅만 지원되며 이미지, 오디오, 임베딩 또는 파인튜닝은 지원되지 않으므로 가져온 코드에서 해당 호출을 제거하세요.
스트리밍 응답
스트리밍은 생성된 토큰을 즉시 반환하므로 채팅 인터페이스가 더 빠르게 느껴집니다. stream=True를 설정하고 청크를 반복하세요. 사용량은 스트림 끝에 전달되므로, 선택지가 없는 청크에 대비하세요:
import os
from openai import OpenAI
client = OpenAI(
base_url="https://api.veniceapialternative.com/v1",
api_key=os.environ["UNCENSORED_API_KEY"],
)
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Describe a rainy harbor town in 120 words."}],
stream=True,
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
if getattr(chunk, "usage", None):
print("\n", chunk.usage)
용량 계획에 중요한 세부 사항이 있습니다. 스트리밍 요청은 스트림이 끝날 때까지 동시성 슬롯을 점유합니다. 사용자가 스트림을 열고 닫지 않고 떠난다면 해당 슬롯은 점유된 상태로 남습니다. 사용자가 떠날 때 클라이언트 측에서 스트림을 닫고 요청 시간 제한을 설정하세요.
도구 호출 및 JSON 모드
함수 호출은 OpenAI 형식을 따릅니다. tools에 함수를 설명하고 모델은 tool_calls을 반환하며, 함수를 실행한 후 role: "tool"로 결과를 다시 전송합니다:
import json
import os
from openai import OpenAI
client = OpenAI(
base_url="https://api.veniceapialternative.com/v1",
api_key=os.environ["UNCENSORED_API_KEY"],
)
tools = [{
"type": "function",
"function": {
"name": "roll_dice",
"description": "Roll a die with the given number of sides",
"parameters": {
"type": "object",
"properties": {"sides": {"type": "integer"}},
"required": ["sides"],
},
},
}]
messages = [{"role": "user", "content": "Roll a twenty-sided die for the next encounter."}]
first = client.chat.completions.create(
model="uncensored", messages=messages, tools=tools, tool_choice="auto"
)
msg = first.choices[0].message
if msg.tool_calls:
call = msg.tool_calls[0]
args = json.loads(call.function.arguments)
result = {"value": 14, "sides": args["sides"]}
messages.append(msg)
messages.append({"role": "tool", "tool_call_id": call.id, "content": json.dumps(result)})
final = client.chat.completions.create(model="uncensored", messages=messages, tools=tools)
print(final.choices[0].message.content)
모델이 때때로 잘못된 JSON을 생성할 수 있으므로 프로덕션 코드에서는 항상 function.arguments을 try/except로 구문 분석하세요. 도구를 사용하지 않고 구조화된 출력이 필요할 때 JSON 모드가 도움이 됩니다:
import json
import os
from openai import OpenAI
client = OpenAI(
base_url="https://api.veniceapialternative.com/v1",
api_key=os.environ["UNCENSORED_API_KEY"],
)
r = client.chat.completions.create(
model="uncensored",
response_format={"type": "json_object"},
messages=[
{"role": "system", "content": "Reply with a JSON object with keys name, mood and hook."},
{"role": "user", "content": "Invent a tavern keeper for a fantasy campaign."},
],
)
print(json.loads(r.choices[0].message.content))
프롬프트에서 원하는 키를 모델에 알려주세요. JSON 모드는 출력을 유효한 JSON로 만들지만 스키마를 추측할 수는 없습니다.
429 오류 및 속도 제한 처리
전체 키는 동시 요청 8개와 분당 300개의 요청을 허용합니다. 체험 키는 동시 2개와 분당 60개를 허용합니다. 한도를 초과하면 HTTP 429가 발생하며 오류 코드가 어떤 한도인지 알려줍니다:
rate_limited: 분당 요청이 너무 많습니다. 속도를 줄이세요.concurrency: 진행 중인 요청이 너무 많습니다. 일부가 완료될 때까지 기다리세요.Retry-After: 5헤더가 있는 429: 일시적 과부하입니다. 5초 동안 기다린 후 다시 시도하세요.
SDK는 기본적으로 몇 번을 다시 시도하고 Retry-After를 존중합니다. 더 많은 부하를 처리하려면 자체 래퍼를 추가하고 한도 헤더를 읽으세요. with_raw_response을 통해 원본 응답에 접근할 수 있습니다:
import os
import time
import openai
from openai import OpenAI
client = OpenAI(
base_url="https://api.veniceapialternative.com/v1",
api_key=os.environ["UNCENSORED_API_KEY"],
max_retries=0,
)
def ask(prompt, attempts=4):
for n in range(attempts):
try:
raw = client.chat.completions.with_raw_response.create(
model="uncensored",
messages=[{"role": "user", "content": prompt}],
)
print("balance:", raw.headers.get("X-Balance-USD"),
"request id:", raw.headers.get("X-Request-Id"))
return raw.parse().choices[0].message.content
except openai.RateLimitError as e:
wait = int(e.response.headers.get("Retry-After", 2 ** n))
time.sleep(wait)
raise RuntimeError("still rate limited after retries")
print(ask("Name three plot twists for a heist story."))
모든 실패 시 X-Request-Id를 로깅하세요. 지원에 문의할 경우 해당 ID를 통해 정확한 호출을 찾을 수 있습니다. X-Balance-USD 헤더는 추가 요청 없이 남은 크레딧을 알려줍니다. 실패한 요청과 거부된 요청은 요금이 부과되지 않습니다.
한도에 도달하지 않고 요청을 병렬로 실행하기
배치 작업에는 비동기 클라이언트와 키에 맞는 크기의 세마포어를 사용하세요. 전체 키의 경우 최대 8개입니다. 같은 키로 실시간 사용자도 처리한다면 여유 공간을 조금 두세요.
import asyncio
import os
from openai import AsyncOpenAI
client = AsyncOpenAI(
base_url="https://api.veniceapialternative.com/v1",
api_key=os.environ["UNCENSORED_API_KEY"],
)
gate = asyncio.Semaphore(6)
async def summarize(text):
async with gate:
r = await client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Summarize in one sentence: " + text}],
max_tokens=80,
)
return r.choices[0].message.content
async def main():
docs = ["First long text ...", "Second long text ...", "Third long text ..."]
for line in await asyncio.gather(*(summarize(d) for d in docs)):
print(line)
asyncio.run(main())
속도는 분당 제한에도 영향을 미칩니다. 병렬 6개 워커로 호출당 4초가 걸리면 분당 약 90개의 요청을 보내게 되며, 이는 300이라는 제한보다 훨씬 낮은 수치입니다. 호출 속도가 빠른 경우, 버스트 발생 시 제한을 초과하지 않도록 작은 지연 시간이나 토큰 버킷을 추가하세요.
기존 Python 프로젝트 이전하기
대부분의 마이그레이션은 사람들이 예상하는 것보다 작습니다. 이미 OpenAI(...) 클라이언트를 구축한 코드라면 생성자 인수 두 개와 문자열 하나만 변경하면 됩니다. 환경 변수에서 설정을 읽는다면 코드를 건드리지 않고도 전환할 수 있습니다. openai 패키지는 OPENAI_API_KEY와 OPENAI_BASE_URL를 읽으므로, 셸이나 .env 파일에서 이 두 가지를 설정하면 전체 프로그램이 새 엔드포인트를 가리킵니다.
그런 다음 프로젝트에서 이러한 항목들을 검색하세요. 이는 일반적으로 오류 발생의 원인이 됩니다:
- 하드코딩된 모델 이름. 모든 이전 이름을
uncensored로 바꾸세요.model=에 대한 grep은 대부분의 항목을 찾습니다. - 다른 엔드포인트 호출. 이미지, 오디오, 임베딩 및 파인튜닝 호출은 여기에서 대응되는 것이 없습니다. 해당 기능을 제공하는 서비스로 라우팅하거나 제거하세요.
- 벤더별 추가 기능. 이전 제공업체에 속한 추가 요청 필드나 사용자 정의 헤더는 오류를 유발할 수 있습니다. 이를 일반 OpenAI 형식으로 제거하세요.
- 토큰 예산. 컨텍스트 창은 프롬프트와 완성을 합쳐 100,000 토큰입니다. 더 작은 창에 맞게 역사를 다듬었다면 이제 더 많은 내용을 유지할 수 있지만, 유지된 각 메시지는 각 라운드마다 다시 요금이 부과되므로 비용에 주의하세요.
프롬프트는 재테스트할 가치가 있습니다. 한 모델에서 작동하던 시스템 프롬프트는 다른 모델에서는 다른 어조를 가질 수 있으므로 출시 전에 가장 중요한 프롬프트 10개를 실행하고 예상 출력과 비교하세요.
일반적인 문제 및 해결 방법
Python에서 새로운 OpenAI 호환 엔드포인트를 연결할 때 가장 자주 나타나는 오류 목록:
- 첫 호출 시 404. base URL에
/v1이 누락되었거나 불필요한 경로 세그먼트가 있습니다. 정확히https://api.veniceapialternative.com/v1이어야 합니다. - 401 또는 인증 오류. 키가 잘못되었거나, 복사한
.env줄에서 따옴표가 그대로 남아있거나, Python을 실행하는 셸로 내보내지지 않았습니다. - 대규모 입력 시 요청이 멈춤. 최대 본문 크기는 8 MB입니다. 프롬프트에 거대한 파일을 붙여넣으면 토큰 한도에 도달하기 훨씬 전에 이를 초과할 수 있습니다. 텍스트를 분할하세요.
- 테스트 중 무작위 429 오류. 체험 키로는 최대 2개의 동시 요청만 가능합니다. 한 번에 5개를 실행하는 테스트 러너는 제한을 초과합니다. 테스트를 순차적으로 실행하거나 크레딧을 충전하여 전체 키를 사용하세요.
- 잘린 답변.
finish_reason을 확인하세요.length값은 출력이max_tokens설정에 도달했거나 창을 채웠음을 의미합니다. - 실행 간 다른 결과. 테스트에서 반복 가능한 출력이 필요하면
seed과 낮은temperature을 전달하세요.
아직 문제가 있다면 X-Request-Id 값을 호출 시간과 함께 지원에 보내세요.
코드에서 비용 추정하기
가격은 입력 토큰 1M당 $0.15, 출력 토큰 1M당 $0.50입니다. 작은 헬퍼 함수는 사용량 블록을 달러로 변환합니다:
import os
from openai import OpenAI
client = OpenAI(
base_url="https://api.veniceapialternative.com/v1",
api_key=os.environ["UNCENSORED_API_KEY"],
)
def cost_usd(usage):
return (usage.prompt_tokens * 0.15 + usage.completion_tokens * 0.50) / 1_000_000
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Write a limerick about a lighthouse."}],
)
print(round(cost_usd(r.usage), 6))
프롬프트 토큰 2,000개와 완료 토큰 500개로 호출하면 $0.00055가 나옵니다. 이를 1,000번 실행하면 $0.55가 지출됩니다. $0.50의 무료 체험 크레딧은 약 909번의 호출을 커버합니다. 체험 기간 후 충전은 $20부터 시작하며 크레딧은 만료되지 않습니다. 가격 책정 페이지에 보너스 등급이 나열되어 있습니다. 앱이 자체적인 함정이 있는 채팅봇 프로젝트에서 온 경우, 일반적인 API 실수에 대한 기사도 여기에서 적용되는 몇 가지 문제를 다룹니다.
더 많은 가이드
질문과 답변
어떤 Python 패키지가 필요한가요?
공식 openai 패키지입니다. pip로 설치하고 base_url을 https://api.veniceapialternative.com/v1로 설정한 후 uncensored 모델을 사용하세요. 다른 클라이언트 라이브러리는 필요하지 않습니다.
SDK에서 스트리밍이 작동하나요?
네. stream=True를 전달하고 청크를 반복하세요. 사용량은 스트림 종료 시 보고됩니다.
429 오류가 발생하는 이유는 무엇입니까?
분당 요청 수 제한(속도 제한)을 초과했거나, 동시에 열린 요청이 너무 많았거나, 서비스에 일시적인 과부하가 걸려 Retry-After: 5가 전송되었을 수 있습니다. 잠시 대기 후 다시 시도하세요.
동시 요청을 몇 개까지 실행할 수 있나요?
전체 키는 동시 8개 요청 및 분당 300개 요청을 허용합니다. 체험 키는 동시 2개 및 분당 60개 요청을 허용합니다.
LangChain이나 기타 OpenAI 호환 도구를 사용할 수 있나요?
OpenAI 호환 base URL과 API 키를 설정할 수 있는 클라이언트라면 모두 작동합니다. 동일한 base URL과 모델 이름 uncensored를 사용하세요.