ทางเลือก API Venice Python: การตั้งค่า SDK OpenAI
คุณสามารถใช้ Python SDK ของ OpenAI ทางการกับ API นี้ได้โดยการเปลี่ยน base URL คีย์ และชื่อโมเดล ด้านล่างคือโค้ดที่ใช้งานได้สำหรับงานทั่วไปแต่ละอย่าง

ประเด็นสำคัญ
- ติดตั้งแพ็กเกจ openai, ตั้งค่า base_url เป็น https://api.veniceapialternative.com/v1 และโมเดลเป็น uncensored
- สตรีมมิง การเรียกใช้เครื่องมือ และโหมด JSON ทำงานผ่านการเรียก SDK มาตรฐานทั้งหมด
- รักษาจำนวนคำขอพร้อมกันไว้ที่หรือต่ำกว่า 8 คำขอพร้อมกันบนคีย์เต็ม (2 บนคีย์ทดลอง)
- 429 หมายถึง rate_limited, concurrency หรือการโอเวอร์โหลดชั่วคราว; ให้ถอยและลองใหม่
ติดตั้งและเรียกใช้งานครั้งแรก
สำหรับการตั้งค่า Venice API Alternative Python คุณไม่จำเป็นต้องใช้ไลบรารีพิเศษ บริการใช้รูปแบบแชท OpenAI ดังนั้น SDK มาตรฐานจึงใช้งานได้ ติดตั้งด้วย pip install openai จากนั้นรับคีย์ ผู้ใช้ใหม่สามารถขอเครดิตทดลองใช้ $0.50ได้ที่ หน้าคีย์ API หลังจากสมัครสมาชิกด้วย Google หรืออีเมลและรหัสผ่าน ไม่จำเป็นต้องใช้บัตร
เก็บคีย์ในตัวแปรสภาพแวดล้อมแทนที่จะอยู่ในไฟล์ซอร์สโค้ดของคุณ จากนั้นสร้างไคลเอนต์ด้วย base URL และเรียกโมเดล uncensored:
import os
from openai import OpenAI
client = OpenAI(
base_url="https://api.veniceapialternative.com/v1",
api_key=os.environ["UNCENSORED_API_KEY"],
)
resp = client.chat.completions.create(
model="uncensored",
messages=[
{"role": "system", "content": "You are a concise writing assistant."},
{"role": "user", "content": "Give me three opening lines for a noir story."},
],
temperature=0.8,
)
print(resp.choices[0].message.content)
print(resp.usage)
SDK ส่ง Authorization: Bearer <key> ให้คุณโดยอัตโนมัติ วัตถุ usage แสดงโทเคนพรอมต์และคอมพลีชัน ซึ่งคุณจะใช้ในการติดตามต้นทุนในภายหลัง หากการเรียกใช้ล้มเหลวด้วยข้อผิดพลาดการตรวจสอบสิทธิ์ ให้ตรวจสอบว่าคีย์ไม่มี newline ต่อท้าย และ base URL ลงท้ายด้วย /v1
พารามิเตอร์ temperature, top_p, stop และ seed รวมถึง frequency และ presence penalties จะส่งต่อไปยังโมเดล ดังนั้นคุณสามารถปรับการสุ่มตัวอย่างได้เหมือนที่คุณทำที่อื่น ยกเว้น max_tokens หากต้องการให้โมเดลใช้พื้นที่ที่เหลืออยู่ในหน้าต่างบริบท หรือตั้งค่าเมื่อคุณต้องการจำกัดความยาวของการตอบกลับและต้นทุน
ตรวจสอบการเชื่อมต่อกับเอนด์พอยต์โมเดล
ก่อนที่คุณจะสร้างสิ่งใด ให้ยืนยันว่าเอนด์พอยต์สามารถเข้าถึงได้ วิธีที่สองที่รองรับคือ GET /v1/models ซึ่งแสดงสิ่งที่คีย์สามารถใช้ได้:
import os
from openai import OpenAI
client = OpenAI(
base_url="https://api.veniceapialternative.com/v1",
api_key=os.environ["UNCENSORED_API_KEY"],
)
for m in client.models.list():
print(m.id, m.id == "uncensored")
คุณควรเห็น uncensored นั่นคือ ID โมเดลเพียงอย่างเดียว และเป็นค่าที่จะส่งเป็น model ในทุกคำขอ หากคุณกำลังพอร์ตแอปที่เลือกจากชื่อโมเดลหลายชื่อ ให้แทนที่ตรรกะการเลือกด้วยค่าคงที่ ไม่มีอะไรอื่นให้เลือกอีกแล้ว
การอ้างอิงพารามิเตอร์เต็มมีอยู่ที่ หน้าเอกสาร รองรับเฉพาะแชทข้อความ: ไม่มีรูปภาพ เสียง การฝัง หรือการปรับแต่งเฉพาะ ดังนั้นให้ลบการเรียกเหล่านั้นออกจากโค้ดใดๆ ที่คุณย้ายมา
การตอบกลับแบบสตรีมมิง
สตรีมมิงส่งโทเคนเมื่อผลิตเสร็จ ทำให้อินเทอร์เฟซแชทรู้สึกเร็วขึ้น ตั้งค่า stream=True และวนซ้ำผ่านชิ้นข้อมูล ข้อมูลการใช้งานจะมาถึงที่สิ้นสุดสตรีม ดังนั้นป้องกันชิ้นข้อมูลที่ไม่มีการเลือก:
import os
from openai import OpenAI
client = OpenAI(
base_url="https://api.veniceapialternative.com/v1",
api_key=os.environ["UNCENSORED_API_KEY"],
)
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Describe a rainy harbor town in 120 words."}],
stream=True,
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
if getattr(chunk, "usage", None):
print("\n", chunk.usage)
รายละเอียดหนึ่งมีความสำคัญสำหรับการวางแผนความจุ: คำขอแบบสตรีมจะครอบครองช่องความพร้อมใช้งานพร้อมกันจนกว่าสตรีมจะสิ้นสุด หากผู้ใช้เปิดสตรีมแล้วเดินจากไปโดยไม่ปิดมัน ช่องนั้นจะไม่ว่าง ให้ปิดสตรีมที่ฝั่งไคลเอนต์เมื่อผู้ใช้ออก และตั้งค่าเวลาหมดอายุของคำขอ
การเรียกใช้ฟังก์ชันและโหมด JSON
การเรียกใช้ฟังก์ชันปฏิบัติตามรูปแบบ OpenAI คุณอธิบายฟังก์ชันใน tools โมเดลส่งกลับ tool_calls คุณเรียกใช้ฟังก์ชันและส่งผลลัพธ์กลับด้วย role: "tool":
import json
import os
from openai import OpenAI
client = OpenAI(
base_url="https://api.veniceapialternative.com/v1",
api_key=os.environ["UNCENSORED_API_KEY"],
)
tools = [{
"type": "function",
"function": {
"name": "roll_dice",
"description": "Roll a die with the given number of sides",
"parameters": {
"type": "object",
"properties": {"sides": {"type": "integer"}},
"required": ["sides"],
},
},
}]
messages = [{"role": "user", "content": "Roll a twenty-sided die for the next encounter."}]
first = client.chat.completions.create(
model="uncensored", messages=messages, tools=tools, tool_choice="auto"
)
msg = first.choices[0].message
if msg.tool_calls:
call = msg.tool_calls[0]
args = json.loads(call.function.arguments)
result = {"value": 14, "sides": args["sides"]}
messages.append(msg)
messages.append({"role": "tool", "tool_call_id": call.id, "content": json.dumps(result)})
final = client.chat.completions.create(model="uncensored", messages=messages, tools=tools)
print(final.choices[0].message.content)
ควรแยกวิเคราะห์ function.arguments ด้วย try/except ในโค้ดสำหรับใช้งานจริง เนื่องจากโมเดลอาจปล่อย JSON ที่ไม่สมบูรณ์เป็นครั้งคราว โหมด JSON ช่วยเมื่อคุณต้องการผลลัพธ์ที่มีโครงสร้างโดยไม่ต้องใช้เครื่องมือ:
import json
import os
from openai import OpenAI
client = OpenAI(
base_url="https://api.veniceapialternative.com/v1",
api_key=os.environ["UNCENSORED_API_KEY"],
)
r = client.chat.completions.create(
model="uncensored",
response_format={"type": "json_object"},
messages=[
{"role": "system", "content": "Reply with a JSON object with keys name, mood and hook."},
{"role": "user", "content": "Invent a tavern keeper for a fantasy campaign."},
],
)
print(json.loads(r.choices[0].message.content))
บอกโมเดลในพรอมต์ว่าคุณต้องการคีย์ใด โหมด JSON ทำให้ผลลัพธ์เป็น JSON ที่ถูกต้อง แต่ไม่สามารถคาดเดาโครงสร้างข้อมูลของคุณได้
การจัดการข้อผิดพลาด 429 และขีดจำกัดอัตรา
คีย์แบบเต็มอนุญาตให้ทำคำขอพร้อมกันได้ 8 คำขอ และ 300 คำขอต่อนาที คีย์แบบทดลองอนุญาตให้ทำคำขอพร้อมกันได้ 2 คำขอ และ 60 คำขอต่อนาที เมื่อเกินขีดจำกัด คุณจะได้รับ HTTP 429 และรหัสข้อผิดพลาดจะระบุให้ทราบว่าเป็นขีดจำกัดใด:
rate_limited: คำขอต่อนาทีมากเกินไป ช้าลงconcurrency: มีคำขอที่กำลังดำเนินการอยู่จำนวนมากเกินไป รอให้คำขอบางส่วนเสร็จสิ้น- สถานะ 429 พร้อมเฮดเดอร์
Retry-After: 5: โอเวอร์โหลดชั่วคราว รอ 5 วินาทีแล้วลองอีกครั้ง
SDK จะลองส่งคำขอใหม่หลายครั้งตามค่าเริ่มต้นและเคารพค่า Retry-After หากต้องการจัดการงานหนักกว่า ให้เพิ่ม wrapper ของคุณเองและอ่านค่าขีดจำกัดจากเฮดเดอร์ คุณสามารถเข้าถึงการตอบกลับแบบดิบผ่าน with_raw_response:
import os
import time
import openai
from openai import OpenAI
client = OpenAI(
base_url="https://api.veniceapialternative.com/v1",
api_key=os.environ["UNCENSORED_API_KEY"],
max_retries=0,
)
def ask(prompt, attempts=4):
for n in range(attempts):
try:
raw = client.chat.completions.with_raw_response.create(
model="uncensored",
messages=[{"role": "user", "content": prompt}],
)
print("balance:", raw.headers.get("X-Balance-USD"),
"request id:", raw.headers.get("X-Request-Id"))
return raw.parse().choices[0].message.content
except openai.RateLimitError as e:
wait = int(e.response.headers.get("Retry-After", 2 ** n))
time.sleep(wait)
raise RuntimeError("still rate limited after retries")
print(ask("Name three plot twists for a heist story."))
บันทึก X-Request-Id ทุกครั้งที่เกิดข้อผิดพลาด หากติดต่อ ฝ่ายสนับสนุน ID นี้จะช่วยพวกเขาหาคำขอที่ถูกต้องได้ เฮดเดอร์ X-Balance-USD แสดงยอดเครดิตคงเหลือโดยไม่ต้องทำคำขอเพิ่ม คำขอที่ล้มเหลวและถูกปฏิเสธจะไม่ถูกคิดเงิน
การรันคำขอแบบขนานโดยไม่ชนกับขีดจำกัด
สำหรับงานแบบแบทช์ ให้ใช้ไคลเอนต์แบบอะซิงโครนัสและใช้เซมาโฟร์ที่มีขนาดเหมาะสมกับคีย์ของคุณ สำหรับคีย์แบบเต็ม ค่าสูงสุดคือ 8 ควรเหลือพื้นที่ว่างเล็กน้อยหากคุณให้บริการผู้ใช้แบบเรียลไทม์จากคีย์เดียวกัน
import asyncio
import os
from openai import AsyncOpenAI
client = AsyncOpenAI(
base_url="https://api.veniceapialternative.com/v1",
api_key=os.environ["UNCENSORED_API_KEY"],
)
gate = asyncio.Semaphore(6)
async def summarize(text):
async with gate:
r = await client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Summarize in one sentence: " + text}],
max_tokens=80,
)
return r.choices[0].message.content
async def main():
docs = ["First long text ...", "Second long text ...", "Third long text ..."]
for line in await asyncio.gather(*(summarize(d) for d in docs)):
print(line)
asyncio.run(main())
จังหวะการส่งมีความสำคัญต่อขีดจำกัดต่อนาทีเช่นกัน ที่ความเร็ว worker แบบขนาน 6 ตัว และ 4 วินาทีต่อคำขอ คุณจะส่งคำขอประมาณ 90 คำขอต่อนาที ซึ่งต่ำกว่า 300 มาก หากคำขอของคุณทำงานเร็ว ให้เพิ่มการหน่วงเล็กน้อยหรือใช้ token bucket เพื่อไม่ให้เกินขีดจำกัดเมื่อส่งคำขอเป็นชุด
การย้ายโปรเจกต์ Python ที่มีอยู่
การย้ายระบบส่วนใหญ่มีขนาดเล็กกว่าที่คนคิด หากโค้ดของคุณสร้างไคลเอนต์ OpenAI(...) อยู่แล้ว คุณเปลี่ยนอาร์กิวเมนต์คอนสตรัคเตอร์สองตัวและสตริงหนึ่งค่า หากคุณอ่านค่าจากตัวแปรสภาพแวดล้อม คุณอาจไม่ต้องแก้ไขโค้ดเลย: แพ็กเกจ openai จะอ่าน OPENAI_API_KEY และ OPENAI_BASE_URL ดังนั้นการตั้งค่าสองค่านี้ใน shell หรือไฟล์ .env จะชี้โปรแกรมทั้งหมดไปยังเอนด์พอยต์ใหม่
จากนั้นค้นหาโปรเจกต์ของคุณสำหรับรายการเหล่านี้ เนื่องจากเป็นแหล่งที่มาของปัญหาที่พบบ่อย:
- ชื่อโมเดลที่เขียนตายตัว แทนที่ชื่อเก่าทั้งหมดด้วย
uncensoredการค้นหาด้วย grep สำหรับmodel=จะพบส่วนใหญ่ของชื่อเหล่านั้น - การเรียกไปยังเอนด์พอยต์อื่น การเรียก image, audio, embedding และ fine-tuning ไม่มีที่เทียบเท่าที่นี่ ให้เปลี่ยนเส้นทางไปยังบริการที่รองรับหรือลบออก
- ฟีเจอร์เฉพาะของผู้ให้บริการ ฟิลด์คำขอเพิ่มเติมหรือเฮดเดอร์ที่กำหนดเองที่มาจากผู้ให้บริการเก่าของคุณอาจทำให้เกิดข้อผิดพลาด ให้ตัดออกเหลือเฉพาะรูปแบบ OpenAI แบบพื้นฐาน
- งบประมาณโทเคน หน้าต่างบริบทรองรับ 100,000 โทเคนสำหรับพรอมต์และผลลัพธ์ หากคุณเคยตัดประวัติออกเพื่อให้พอดีกับหน้าต่างที่เล็กลง ตอนนี้คุณสามารถเก็บข้อมูลได้มากขึ้น แต่ควรระวังเรื่องค่าใช้จ่าย เพราะข้อความที่เก็บไว้จะถูกคิดเงินอีกครั้งในทุกๆ รอบ
พรอมต์สมควรได้รับการทดสอบใหม่ พรอมต์ระบบที่ทำงานได้ดีกับโมเดลหนึ่งอาจให้โทนเสียงที่แตกต่างกันบนโมเดลอื่น ดังนั้นให้รันพรอมต์สำคัญสิบรายการของคุณและเปรียบเทียบผลลัพธ์กับสิ่งที่คาดหวังก่อนเผยแพร่
ปัญหาทั่วไปและการแก้ไข
รายการสั้นๆ ของข้อผิดพลาดที่ปรากฏบ่อยที่สุดเมื่อผู้คนเชื่อมต่อเอนด์พอยต์ที่เข้ากันได้กับ OpenAI ใหม่จาก Python:
- 404 ในการเรียกครั้งแรก Base URL ขาด
/v1หรือมีเส้นทางเพิ่มเติม ต้องเป็นhttps://api.veniceapialternative.com/v1พอดี - 401 หรือข้อผิดพลาดการตรวจสอบสิทธิ์ คีย์ไม่ถูกต้อง, ยังมีเครื่องหมายคำพูดรอบๆ จากบรรทัด
.envที่คัดลอกมา, หรือไม่ได้ export เข้าไปใน shell ที่รัน Python - คำขอค้างเมื่อรับอินพุตขนาดใหญ่ ขนาดสูงสุดของ body คือ 8 MB การวางไฟล์ขนาดใหญ่ลงในพรอมต์อาจเกินขีดจำกัดนี้ก่อนถึงขีดจำกัดโทเคน ให้แบ่งข้อความออก
- เกิด 429 แบบสุ่มระหว่างการทดสอบ คีย์ทดลองรองรับคำขอพร้อมกันเพียง 2 คำขอ หากตัวรันการทดสอบยิงห้าคำขอพร้อมกัน จะเกินขีดจำกัด ให้รันการทดสอบแบบลำดับ หรือเติมเงินและใช้คีย์เต็ม
- คำตอบที่ตัดทอน ตรวจสอบ
finish_reasonค่าlengthหมายถึงผลลัพธ์ถึงค่าตั้งค่าmax_tokensของคุณหรือเต็มหน้าต่างบริบท - ผลลัพธ์ที่แตกต่างกันในแต่ละรอบ ส่ง
seedและค่าtemperatureต่ำ หากต้องการผลลัพธ์ที่ซ้ำกันได้สำหรับการทดสอบ
หากยังมีสิ่งที่ดูผิดปกติ ให้ส่งค่า X-Request-Id ไปยัง ฝ่ายสนับสนุน พร้อมเวลาที่เกิดขึ้นของการเรียก
การประมาณการต้นทุนในโค้ด
ราคาคือ $0.15 ต่อ 1M input tokens และ $0.50 ต่อ 1M output tokens ตัวช่วยเล็กๆ จะแปลงบล็อกการใช้งานใดๆ เป็นดอลลาร์:
import os
from openai import OpenAI
client = OpenAI(
base_url="https://api.veniceapialternative.com/v1",
api_key=os.environ["UNCENSORED_API_KEY"],
)
def cost_usd(usage):
return (usage.prompt_tokens * 0.15 + usage.completion_tokens * 0.50) / 1_000_000
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Write a limerick about a lighthouse."}],
)
print(round(cost_usd(r.usage), 6))
การเรียกด้วย 2,000 prompt tokens และ 500 completion tokens จะคืนค่า 0.00055 รัน 1,000 ครั้งคุณจะใช้จ่าย $0.55 เครดิตทดลองใช้ $0.50 ครอบคลุมการเรียกประมาณ 909 ครั้งเช่นนี้ หลังจากหมดเครดิตทดลอง การเติมเงินเริ่มต้นที่ $20 และเครดิตไม่หมดอายุ; หน้าราคา แสดงระดับโบนัส หากแอปของคุณมาจากโปรเจกต์แชทบอทที่มีจุดบกพร่องของตัวเอง บทความเกี่ยวกับ ข้อผิดพลาด API ที่พบบ่อย ครอบคลุมหลายข้อที่นำไปใช้ที่นี่ได้เช่นกัน
คู่มือเพิ่มเติม
ถาม-ตอบ
ฉันต้องใช้แพ็กเกจ Python อะไร?
แพ็กเกจ openai อย่างเป็นทางการ ติดตั้งด้วย pip ตั้ง base_url เป็น https://api.veniceapialternative.com/v1, และใช้โมเดล uncensored ไม่ต้องใช้ไลบรารีไคลเอนต์อื่น
สตรีมมิงทำงานกับ SDK ได้หรือไม่
ใช่ ส่ง stream=True และวนซ้ำผ่านชิ้นส่วน การใช้งานจะรายงานที่ท้ายสตรีม
ทำไมถึงได้ error 429?
คุณอาจเกินขีดจำกัดคำขอต่อนาที (rate_limited), มีคำขอเปิดค้างมากเกินไป (concurrency) หรือบริการโหลดหนักชั่วคราวและส่ง Retry-After: 5 ให้ลดความเร็วลงแล้วลองอีกครั้ง
ฉันสามารถส่งคำขอแบบขนานได้กี่คำขอ
คีย์แบบเต็มอนุญาตให้คำขอพร้อมกันได้ 8 รายการและ 300 รายการต่อนาที คีย์ทดลองอนุญาตให้คำขอพร้อมกันได้ 2 รายการและ 60 รายการต่อนาที
ฉันสามารถใช้ LangChain หรือเครื่องมือที่เข้ากันได้กับ OpenAI อื่นๆ ได้หรือไม่
ไคลเอนต์ใดๆ ที่ให้คุณตั้งค่า Base URL และคีย์ API ที่เข้ากันได้กับ OpenAI ควรใช้งานได้ ใช้ Base URL เดียวกันและชื่อโมเดล uncensored