เอนด์พอยต์ API Venice AI: เปลี่ยนไปใช้ Base URL อื่น
หากโค้ดของคุณชี้ไปที่เอนด์พอยต์ API Venice AI และต้องการลองผู้ให้บริการรายอื่น การเปลี่ยนแปลงมีเล็กน้อย: Base URL, คีย์ และ ID โมเดล หน้าเว็บนี้แสดงรายการสิ่งที่ต้องแก้ไข สิ่งที่ควรทดสอบ และสิ่งที่ทำงานแตกต่างออกไปหลังจากนั้น

ประเด็นสำคัญ
- การแก้ไขสี่จุดครอบคลุมการย้ายส่วนใหญ่: Base URL, คีย์ API, ID โมเดล และการจัดการยอดคงเหลือ
- Base URL ใหม่คือ https://api.veniceapialternative.com/v1 และ ID โมเดลคือ uncensored
- รองรับ 3 เอนด์พอยต์: chat completions, responses และ models
- ทดสอบด้วยเครดิตทดลองใช้ $0.50 ก่อนที่จะเปลี่ยนการจราจรจริง
คำตอบสั้นๆ: แก้ไข 4 จุด
ไคลเอนต์ที่รองรับรูปแบบ chat ของ OpenAI เพียงแค่ปรับการตั้งค่าก็เปลี่ยนผู้ให้บริการได้ สำหรับเอนด์พอยต์ API ของ Venice AI ก็เช่นกัน: คุณเพียงแทนค่า 4 ค่า ไม่ต้องเขียนการเชื่อมต่อใหม่
- Base URL: ตั้งค่าเป็น
https://api.veniceapialternative.com/v1 - คีย์ API: สร้างคีย์ที่ หน้าคีย์ API แล้วส่งเป็น
Authorization: Bearer <key> - Model ID: ใช้
uncensoredมีโมเดลเพียงตัวเดียว จึงไม่ต้องแมปลิสต์โมเดล - การตรวจสอบยอดคงเหลือ: อ่านเฮดเดอร์
X-Balance-USDหรือเรียกGET /v1/balance
นี่คือบริการอิสระ ไม่ดำเนินการโดยหรือเกี่ยวข้องกับ Venice หรือผู้ขายรายอื่น มีโมเดลแบบเปิดน้ำหนักเพียงตัวเดียว ดังนั้นชื่อโมเดลที่โค้ดของคุณเคยใช้ก่อนหน้าต้องถูกแทนที่
ก่อนแก้ไข: หาทุกที่ที่เอนด์พอยต์ปรากฏอยู่
Base URL มักจะไม่ได้อยู่ในไฟล์เดียว ให้ค้นหาชื่อโฮสต์เก่า สตริงโมเดลเก่า และตัวแปรสภาพแวดล้อมที่เก็บคีย์ในที่เก็บของคุณ สถานที่ที่มักซ่อนอยู่ได้แก่ คอนสตรัคเตอร์ SDK ไฟล์ .env ความลับของ Docker หรือ CI การกำหนดค่าหน้าเว็บ และแบ็กกราวด์เวิร์กเกอร์ที่เขียนแยกจากแอปหลัก
นิสัยที่มีประโยชน์คือย้ายค่าทั้งสามค่าไปไว้ที่ตัวแปรสภาพแวดล้อมก่อน แล้วจึงย้าย การทำเช่นนี้ทำให้การเปลี่ยนเป็นการเปลี่ยนแปลงในขั้นตอนดีพลอยเมนต์และทำให้คุณสามารถย้อนกลับได้ด้วยบรรทัดเดียว
export LLM_BASE_URL="https://api.veniceapialternative.com/v1"
export LLM_API_KEY="YOUR_KEY"
export LLM_MODEL="uncensored"โค้ดสำหรับ Python, Node และ curl
Python (SDK ของ OpenAI)
import os
from openai import OpenAI
client = OpenAI(
base_url=os.environ.get("LLM_BASE_URL", "https://api.veniceapialternative.com/v1"),
api_key=os.environ["LLM_API_KEY"],
)
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Say hello in five words."}],
)
print(resp.choices[0].message.content)
Node.js
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api.veniceapialternative.com/v1",
apiKey: process.env.LLM_API_KEY,
});
const resp = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Say hello in five words." }],
});
console.log(resp.choices[0].message.content);
curl
curl -i https://api.veniceapialternative.com/v1/chat/completions \
-H "Authorization: Bearer $LLM_API_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"uncensored","messages":[{"role":"user","content":"Say hello in five words."}]}'
แฟลก -i จะพิมพ์เฮดเดอร์การตอบกลับ ซึ่งเป็นวิธีที่คุณเห็น X-Request-Id และ X-Balance-USD ในการเรียกครั้งแรก
สิ่งที่เหมือนเดิม และสิ่งที่เปลี่ยนแปลง
รูปแบบคำขอเป็นที่คุ้นเคย: messages พร้อม role, stream, tools, tool_choice, response_format สำหรับโหมด JSON และพารามิเตอร์การสุ่ม temperature, top_p, stop, seed และค่าปรับ การสตรีมมิงใช้ SSE พร้อมข้อมูลการใช้งานที่ส่วนท้าย และผลลัพธ์ฟังก์ชันจะส่งกลับเป็นข้อความ role: "tool"
| รายการ | ที่นี่ |
|---|---|
| เอนด์พอยต์ | POST /v1/chat/completions, POST /v1/responses, GET /v1/models |
| ID โมเดล | uncensored (โมเดลเดียว) |
| หน้าต่างบริบท | 100,000 โทเคน, พรอมต์รวมกับคอมพลีชัน |
| ขนาดสูงสุดของ body คำขอ | 8 MB |
| มอดาลิตี | เฉพาะข้อความ: ไม่มีรูปภาพ เสียง วิดีโอ การฝังตัว หรือการปรับแต่ง |
แถวสุดท้ายคือแถวที่ทำให้การย้ายข้อมูลมีปัญหา หากแอปของคุณเรียกใช้เส้นทางรูปภาพ เสียง หรือการฝังตัวจากผู้ให้บริการเดิม การเรียกใช้เหล่านั้นไม่มีสิ่งที่เทียบเท่าที่นี่ ให้เก็บส่วนนั้นไว้กับผู้ให้บริการเดิมและย้ายเฉพาะคำขอข้อความ
จัดการขีดจำกัดและข้อผิดพลาดแตกต่างกัน
คีย์เต็มจำนวนอนุญาตให้ทำคำขอพร้อมกันได้ 8 คำขอและ 300 คำขอต่อนาที คีย์ทดลองอนุญาตให้ทำคำขอพร้อมกันได้ 2 คำขอและ 60 คำขอต่อนาที เมื่อเกินขีดจำกัดเหล่านี้ คุณจะได้รับ HTTP 429 พร้อมรหัสข้อผิดพลาด rate_limited สำหรับคำขอต่อนาที หรือ concurrency สำหรับคำขอพร้อมกันมากเกินไป 429 พร้อมเฮดเดอร์ Retry-After: 5 หมายถึงการโอเวอร์โหลดชั่วคราว: รอแล้วลองใหม่
โปรดทราบว่าคำขอแบบสตรีมจะยึดช่องความพร้อมใช้งานไปจนกว่าสตรีมจะเสร็จสิ้น หากการเชื่อมต่อเก่าของคุณส่งคำขอพร้อมกันหลายสิบรายการ ให้ใส่ semaphore ที่มีค่า 8 หรือน้อยกว่าไว้หน้าไคลเอนต์
import time, random
from openai import OpenAI, RateLimitError
client = OpenAI(base_url="https://api.veniceapialternative.com/v1", api_key="YOUR_KEY")
def ask(prompt, tries=4):
for i in range(tries):
try:
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": prompt}],
)
return r.choices[0].message.content
except RateLimitError:
time.sleep(5 + random.random() * i)
raise RuntimeError("still rate limited")
คำขอที่ล้มเหลวหรือถูกปฏิเสธจะไม่ถูกเรียกเก็บเงิน ดังนั้นการเรียกซ้ำเมื่อเกิดข้อผิดพลาดจึงไม่ทำให้เครดิตของคุณลดลง
สตรีมมิงและการเรียกใช้เครื่องมือหลังการเปลี่ยน
หากแอปของคุณสตรีมโทเคนไปยัง UI ก็ไม่มีอะไรเปลี่ยนแปลงในไคลเอนต์: ตั้งค่า stream: true และอ่านเหตุการณ์ที่ส่งจากเซิร์ฟเวอร์ บล็อก usage จะมาถึงที่ส่วนท้ายของการสตรีม ซึ่งสะดวกสำหรับการบันทึกต้นทุนของคำตอบแต่ละครั้ง
from openai import OpenAI
client = OpenAI(base_url="https://api.veniceapialternative.com/v1", api_key="YOUR_KEY")
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "List three uses of a message queue."}],
stream=True,
stream_options={"include_usage": True},
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="")
if chunk.usage:
print("\n", chunk.usage)
การเรียกใช้ฟังก์ชันทำตามขั้นตอนที่คุณคุ้นเคยอยู่แล้ว คุณส่ง tools และตัวเลือก tool_choice โมเดลจะส่งกลับ tool_calls (สตรีมเป็นชิ้นๆ เมื่อเปิดใช้งานสตรีม) คุณเรียกใช้ฟังก์ชัน แล้วส่งผลลัพธ์กลับเป็นข้อความ role: "tool" โหมด JSON ทำงานกับ response_format: {"type": "json_object"} ตรวจสอบ JSON ที่แยกวิเคราะห์แล้วในโค้ดของคุณเสมอ เพราะไม่มีโมเดลใดที่รับประกันสคีมา
ปัญหาที่พบบ่อยหลังการเปลี่ยน
- การตรวจสอบสิทธิ์ล้มเหลว ตรวจสอบว่าส่งคีย์เป็นโทเคน Bearer และคุณคัดลอกสตริงทั้งหมดแล้ว คีย์จากผู้ให้บริการเดิมจะใช้ที่นี่ไม่ได้
- ข้อผิดพลาด Not Found. Base URL ต้องลงท้ายด้วย
/v1หากคุณวางเส้นทาง/chat/completionsเต็มลงใน SDK ที่เพิ่มเส้นทางนี้ซ้ำ เส้นทางจะผิดพลาด - โมเดลไม่รู้จัก สตริงโมเดลใดๆ ที่ไม่ใช่
uncensoredถือว่าผิด ค้นหาชื่อที่เขียนตายตัวใน config และไฟล์ทดสอบ - การเกิด Burst 429. จำกัด parallelism ให้เท่ากับ concurrency ของประเภทคีย์ของคุณ และเคารพ
Retry-After - ค่าใช้จ่ายที่ไม่คาดคิด ประวัติแชทที่ยาวถูกคิดเป็น input ในทุกเทิร์น ให้ตัดทอนออก
หากยังมีบางอย่างดูผิดปกติ ให้ส่งค่า X-Request-Id จากการตอบกลับไปยังที่ติดต่อใน หน้าสนับสนุน ค่านี้จะระบุคำขอที่แน่นอนและประหยัดเวลาทั้งสองฝ่าย
รายการตรวจสอบการย้ายและทดสอบ
ดำเนินการตามลำดับนี้ แต่ละขั้นตอนเป็นการเปลี่ยนแปลงขนาดเล็กที่ย้อนกลับได้
- รับเครดิตทดลองใช้ $0.50 จาก หน้าคีย์ API ไม่ต้องการบัตรและใช้งานได้ 7 วัน
- เรียกใช้ curl ข้างต้นและยืนยันการตอบกลับและเฮดเดอร์
- เปลี่ยนเส้นทางโค้ดที่ไม่สำคัญหนึ่งเส้นทางไปยัง base URL และคีย์ใหม่
- เล่นซ้ำตัวอย่างของพรอมต์จริงและเปรียบเทียบคุณภาพความยาวและความหน่วงของเอาต์พุตด้วยตา
- ตรวจสอบ
usageในการตอบกลับและคูณด้วยปริมาณของคุณที่ $0.15 ต่อ 1M โทเคนอินพุตและ $0.50 ต่อ 1M โทเคนเอาต์พุต - เพิ่มการแจ้งเตือน balance บน
X-Balance-USD - เติมเงิน (เริ่มจาก $20 พร้อมโบนัสจาก $50) และย้าย traffic ส่วนที่เหลือ
Prompts ที่พึ่งพาความแปลกของโมเดลอื่นอาจต้องการการแก้ไขเล็กน้อย เช่น system prompt ที่แตกต่างกัน ซึ่งเป็นเรื่องปกติเมื่อเปลี่ยนโมเดล ดังนั้นให้ตัดสินจากชุดทดสอบของคุณเอง ไม่ใช่จากคำตอบเดียว โมเดลนี้ได้รับการปรับแต่งให้ตอบโดยไม่มีการปฏิเสธเนื้อหาสำหรับการใช้งานผู้ใหญ่ที่ถูกต้องตามกฎหมาย และเนื้อหาทางเพศที่เกี่ยวข้องกับ minors จะไม่อนุญาต
docs อธิบายแต่ละ endpoint และ header หน้าของเราเกี่ยวกับ Venice API alternative ครอบคลุมการเปรียบเทียบผลิตภัณฑ์ และ pricing page แสดงจำนวนการเติมเงิน โบนัสและวิธีการชำระเงิน พรอมต์ที่ส่งไปยัง API ไม่ถูกใช้ในการฝึก และเครดิตไม่หมดอายุ ดังนั้นการเติมเงินทดสอบขนาดเล็กจึงไม่มีกำหนดเวลา
คู่มือเพิ่มเติม
ถาม-ตอบ
URL พื้นฐานคืออะไร?
ใช้ https://api.veniceapialternative.com/v1 กับไคลเอนต์ที่เข้ากันได้กับ OpenAI และส่งคีย์ของคุณเป็น Bearer token
ฉันควรส่ง model ID อะไร?
ส่ง uncensored มีโมเดลเพียงตัวเดียว จึงไม่มีอะไรต้อง map จากชื่อโมเดลเก่าของคุณ
ฉันตรวจสอบยอดคงเหลือได้อย่างไร
อ่านเฮดเดอร์การตอบกลับ X-Balance-USD เรียกใช้ GET /v1/balance หรือใช้ GET /v1/dashboard/billing/credit_grants แบบ OpenAI
ฉันสามารถเรียกใช้ image หรือ embedding endpoints ได้ไหม
ไม่ได้ API เป็นข้อความเท่านั้น ไม่มี image, audio, video, embedding หรือ fine-tuning endpoints