TH ▾

ทางเลือก API AI แบบไม่เซ็นเซอร์สำหรับนักพัฒนา

https://api.veniceapialternative.com/v1

veniceapialternative.com

เอนด์พอยต์ API Venice AI: เปลี่ยนไปใช้ Base URL อื่น

หากโค้ดของคุณชี้ไปที่เอนด์พอยต์ API Venice AI และต้องการลองผู้ให้บริการรายอื่น การเปลี่ยนแปลงมีเล็กน้อย: Base URL, คีย์ และ ID โมเดล หน้าเว็บนี้แสดงรายการสิ่งที่ต้องแก้ไข สิ่งที่ควรทดสอบ และสิ่งที่ทำงานแตกต่างออกไปหลังจากนั้น

อัปเดต

ปลั๊กสายเคเบิลที่เคลื่อนย้ายระหว่างบล็อกเซิร์ฟเวอร์สองบล็อก แสดงถึงการเปลี่ยน Base URL

ประเด็นสำคัญ

  • การแก้ไขสี่จุดครอบคลุมการย้ายส่วนใหญ่: Base URL, คีย์ API, ID โมเดล และการจัดการยอดคงเหลือ
  • Base URL ใหม่คือ https://api.veniceapialternative.com/v1 และ ID โมเดลคือ uncensored
  • รองรับ 3 เอนด์พอยต์: chat completions, responses และ models
  • ทดสอบด้วยเครดิตทดลองใช้ $0.50 ก่อนที่จะเปลี่ยนการจราจรจริง

คำตอบสั้นๆ: แก้ไข 4 จุด

ไคลเอนต์ที่รองรับรูปแบบ chat ของ OpenAI เพียงแค่ปรับการตั้งค่าก็เปลี่ยนผู้ให้บริการได้ สำหรับเอนด์พอยต์ API ของ Venice AI ก็เช่นกัน: คุณเพียงแทนค่า 4 ค่า ไม่ต้องเขียนการเชื่อมต่อใหม่

  1. Base URL: ตั้งค่าเป็น https://api.veniceapialternative.com/v1
  2. คีย์ API: สร้างคีย์ที่ หน้าคีย์ API แล้วส่งเป็น Authorization: Bearer <key>
  3. Model ID: ใช้ uncensored มีโมเดลเพียงตัวเดียว จึงไม่ต้องแมปลิสต์โมเดล
  4. การตรวจสอบยอดคงเหลือ: อ่านเฮดเดอร์ X-Balance-USD หรือเรียก GET /v1/balance

นี่คือบริการอิสระ ไม่ดำเนินการโดยหรือเกี่ยวข้องกับ Venice หรือผู้ขายรายอื่น มีโมเดลแบบเปิดน้ำหนักเพียงตัวเดียว ดังนั้นชื่อโมเดลที่โค้ดของคุณเคยใช้ก่อนหน้าต้องถูกแทนที่

ก่อนแก้ไข: หาทุกที่ที่เอนด์พอยต์ปรากฏอยู่

Base URL มักจะไม่ได้อยู่ในไฟล์เดียว ให้ค้นหาชื่อโฮสต์เก่า สตริงโมเดลเก่า และตัวแปรสภาพแวดล้อมที่เก็บคีย์ในที่เก็บของคุณ สถานที่ที่มักซ่อนอยู่ได้แก่ คอนสตรัคเตอร์ SDK ไฟล์ .env ความลับของ Docker หรือ CI การกำหนดค่าหน้าเว็บ และแบ็กกราวด์เวิร์กเกอร์ที่เขียนแยกจากแอปหลัก

นิสัยที่มีประโยชน์คือย้ายค่าทั้งสามค่าไปไว้ที่ตัวแปรสภาพแวดล้อมก่อน แล้วจึงย้าย การทำเช่นนี้ทำให้การเปลี่ยนเป็นการเปลี่ยนแปลงในขั้นตอนดีพลอยเมนต์และทำให้คุณสามารถย้อนกลับได้ด้วยบรรทัดเดียว

export LLM_BASE_URL="https://api.veniceapialternative.com/v1"
export LLM_API_KEY="YOUR_KEY"
export LLM_MODEL="uncensored"

โค้ดสำหรับ Python, Node และ curl

Python (SDK ของ OpenAI)

import os
from openai import OpenAI

client = OpenAI(
    base_url=os.environ.get("LLM_BASE_URL", "https://api.veniceapialternative.com/v1"),
    api_key=os.environ["LLM_API_KEY"],
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Say hello in five words."}],
)
print(resp.choices[0].message.content)

Node.js

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.veniceapialternative.com/v1",
  apiKey: process.env.LLM_API_KEY,
});

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Say hello in five words." }],
});
console.log(resp.choices[0].message.content);

curl

curl -i https://api.veniceapialternative.com/v1/chat/completions \
  -H "Authorization: Bearer $LLM_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"uncensored","messages":[{"role":"user","content":"Say hello in five words."}]}'

แฟลก -i จะพิมพ์เฮดเดอร์การตอบกลับ ซึ่งเป็นวิธีที่คุณเห็น X-Request-Id และ X-Balance-USD ในการเรียกครั้งแรก

สิ่งที่เหมือนเดิม และสิ่งที่เปลี่ยนแปลง

รูปแบบคำขอเป็นที่คุ้นเคย: messages พร้อม role, stream, tools, tool_choice, response_format สำหรับโหมด JSON และพารามิเตอร์การสุ่ม temperature, top_p, stop, seed และค่าปรับ การสตรีมมิงใช้ SSE พร้อมข้อมูลการใช้งานที่ส่วนท้าย และผลลัพธ์ฟังก์ชันจะส่งกลับเป็นข้อความ role: "tool"

รายการที่นี่
เอนด์พอยต์POST /v1/chat/completions, POST /v1/responses, GET /v1/models
ID โมเดลuncensored (โมเดลเดียว)
หน้าต่างบริบท100,000 โทเคน, พรอมต์รวมกับคอมพลีชัน
ขนาดสูงสุดของ body คำขอ8 MB
มอดาลิตีเฉพาะข้อความ: ไม่มีรูปภาพ เสียง วิดีโอ การฝังตัว หรือการปรับแต่ง

แถวสุดท้ายคือแถวที่ทำให้การย้ายข้อมูลมีปัญหา หากแอปของคุณเรียกใช้เส้นทางรูปภาพ เสียง หรือการฝังตัวจากผู้ให้บริการเดิม การเรียกใช้เหล่านั้นไม่มีสิ่งที่เทียบเท่าที่นี่ ให้เก็บส่วนนั้นไว้กับผู้ให้บริการเดิมและย้ายเฉพาะคำขอข้อความ

จัดการขีดจำกัดและข้อผิดพลาดแตกต่างกัน

คีย์เต็มจำนวนอนุญาตให้ทำคำขอพร้อมกันได้ 8 คำขอและ 300 คำขอต่อนาที คีย์ทดลองอนุญาตให้ทำคำขอพร้อมกันได้ 2 คำขอและ 60 คำขอต่อนาที เมื่อเกินขีดจำกัดเหล่านี้ คุณจะได้รับ HTTP 429 พร้อมรหัสข้อผิดพลาด rate_limited สำหรับคำขอต่อนาที หรือ concurrency สำหรับคำขอพร้อมกันมากเกินไป 429 พร้อมเฮดเดอร์ Retry-After: 5 หมายถึงการโอเวอร์โหลดชั่วคราว: รอแล้วลองใหม่

โปรดทราบว่าคำขอแบบสตรีมจะยึดช่องความพร้อมใช้งานไปจนกว่าสตรีมจะเสร็จสิ้น หากการเชื่อมต่อเก่าของคุณส่งคำขอพร้อมกันหลายสิบรายการ ให้ใส่ semaphore ที่มีค่า 8 หรือน้อยกว่าไว้หน้าไคลเอนต์

import time, random
from openai import OpenAI, RateLimitError

client = OpenAI(base_url="https://api.veniceapialternative.com/v1", api_key="YOUR_KEY")

def ask(prompt, tries=4):
    for i in range(tries):
        try:
            r = client.chat.completions.create(
                model="uncensored",
                messages=[{"role": "user", "content": prompt}],
            )
            return r.choices[0].message.content
        except RateLimitError:
            time.sleep(5 + random.random() * i)
    raise RuntimeError("still rate limited")

คำขอที่ล้มเหลวหรือถูกปฏิเสธจะไม่ถูกเรียกเก็บเงิน ดังนั้นการเรียกซ้ำเมื่อเกิดข้อผิดพลาดจึงไม่ทำให้เครดิตของคุณลดลง

สตรีมมิงและการเรียกใช้เครื่องมือหลังการเปลี่ยน

หากแอปของคุณสตรีมโทเคนไปยัง UI ก็ไม่มีอะไรเปลี่ยนแปลงในไคลเอนต์: ตั้งค่า stream: true และอ่านเหตุการณ์ที่ส่งจากเซิร์ฟเวอร์ บล็อก usage จะมาถึงที่ส่วนท้ายของการสตรีม ซึ่งสะดวกสำหรับการบันทึกต้นทุนของคำตอบแต่ละครั้ง

from openai import OpenAI

client = OpenAI(base_url="https://api.veniceapialternative.com/v1", api_key="YOUR_KEY")

stream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "List three uses of a message queue."}],
    stream=True,
    stream_options={"include_usage": True},
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="")
    if chunk.usage:
        print("\n", chunk.usage)

การเรียกใช้ฟังก์ชันทำตามขั้นตอนที่คุณคุ้นเคยอยู่แล้ว คุณส่ง tools และตัวเลือก tool_choice โมเดลจะส่งกลับ tool_calls (สตรีมเป็นชิ้นๆ เมื่อเปิดใช้งานสตรีม) คุณเรียกใช้ฟังก์ชัน แล้วส่งผลลัพธ์กลับเป็นข้อความ role: "tool" โหมด JSON ทำงานกับ response_format: {"type": "json_object"} ตรวจสอบ JSON ที่แยกวิเคราะห์แล้วในโค้ดของคุณเสมอ เพราะไม่มีโมเดลใดที่รับประกันสคีมา

ปัญหาที่พบบ่อยหลังการเปลี่ยน

  • การตรวจสอบสิทธิ์ล้มเหลว ตรวจสอบว่าส่งคีย์เป็นโทเคน Bearer และคุณคัดลอกสตริงทั้งหมดแล้ว คีย์จากผู้ให้บริการเดิมจะใช้ที่นี่ไม่ได้
  • ข้อผิดพลาด Not Found. Base URL ต้องลงท้ายด้วย /v1 หากคุณวางเส้นทาง /chat/completions เต็มลงใน SDK ที่เพิ่มเส้นทางนี้ซ้ำ เส้นทางจะผิดพลาด
  • โมเดลไม่รู้จัก สตริงโมเดลใดๆ ที่ไม่ใช่ uncensored ถือว่าผิด ค้นหาชื่อที่เขียนตายตัวใน config และไฟล์ทดสอบ
  • การเกิด Burst 429. จำกัด parallelism ให้เท่ากับ concurrency ของประเภทคีย์ของคุณ และเคารพ Retry-After
  • ค่าใช้จ่ายที่ไม่คาดคิด ประวัติแชทที่ยาวถูกคิดเป็น input ในทุกเทิร์น ให้ตัดทอนออก

หากยังมีบางอย่างดูผิดปกติ ให้ส่งค่า X-Request-Id จากการตอบกลับไปยังที่ติดต่อใน หน้าสนับสนุน ค่านี้จะระบุคำขอที่แน่นอนและประหยัดเวลาทั้งสองฝ่าย

รายการตรวจสอบการย้ายและทดสอบ

ดำเนินการตามลำดับนี้ แต่ละขั้นตอนเป็นการเปลี่ยนแปลงขนาดเล็กที่ย้อนกลับได้

  1. รับเครดิตทดลองใช้ $0.50 จาก หน้าคีย์ API ไม่ต้องการบัตรและใช้งานได้ 7 วัน
  2. เรียกใช้ curl ข้างต้นและยืนยันการตอบกลับและเฮดเดอร์
  3. เปลี่ยนเส้นทางโค้ดที่ไม่สำคัญหนึ่งเส้นทางไปยัง base URL และคีย์ใหม่
  4. เล่นซ้ำตัวอย่างของพรอมต์จริงและเปรียบเทียบคุณภาพความยาวและความหน่วงของเอาต์พุตด้วยตา
  5. ตรวจสอบ usage ในการตอบกลับและคูณด้วยปริมาณของคุณที่ $0.15 ต่อ 1M โทเคนอินพุตและ $0.50 ต่อ 1M โทเคนเอาต์พุต
  6. เพิ่มการแจ้งเตือน balance บน X-Balance-USD
  7. เติมเงิน (เริ่มจาก $20 พร้อมโบนัสจาก $50) และย้าย traffic ส่วนที่เหลือ

Prompts ที่พึ่งพาความแปลกของโมเดลอื่นอาจต้องการการแก้ไขเล็กน้อย เช่น system prompt ที่แตกต่างกัน ซึ่งเป็นเรื่องปกติเมื่อเปลี่ยนโมเดล ดังนั้นให้ตัดสินจากชุดทดสอบของคุณเอง ไม่ใช่จากคำตอบเดียว โมเดลนี้ได้รับการปรับแต่งให้ตอบโดยไม่มีการปฏิเสธเนื้อหาสำหรับการใช้งานผู้ใหญ่ที่ถูกต้องตามกฎหมาย และเนื้อหาทางเพศที่เกี่ยวข้องกับ minors จะไม่อนุญาต

docs อธิบายแต่ละ endpoint และ header หน้าของเราเกี่ยวกับ Venice API alternative ครอบคลุมการเปรียบเทียบผลิตภัณฑ์ และ pricing page แสดงจำนวนการเติมเงิน โบนัสและวิธีการชำระเงิน พรอมต์ที่ส่งไปยัง API ไม่ถูกใช้ในการฝึก และเครดิตไม่หมดอายุ ดังนั้นการเติมเงินทดสอบขนาดเล็กจึงไม่มีกำหนดเวลา

ถาม-ตอบ

URL พื้นฐานคืออะไร?

ใช้ https://api.veniceapialternative.com/v1 กับไคลเอนต์ที่เข้ากันได้กับ OpenAI และส่งคีย์ของคุณเป็น Bearer token

ฉันควรส่ง model ID อะไร?

ส่ง uncensored มีโมเดลเพียงตัวเดียว จึงไม่มีอะไรต้อง map จากชื่อโมเดลเก่าของคุณ

ฉันตรวจสอบยอดคงเหลือได้อย่างไร

อ่านเฮดเดอร์การตอบกลับ X-Balance-USD เรียกใช้ GET /v1/balance หรือใช้ GET /v1/dashboard/billing/credit_grants แบบ OpenAI

ฉันสามารถเรียกใช้ image หรือ embedding endpoints ได้ไหม

ไม่ได้ API เป็นข้อความเท่านั้น ไม่มี image, audio, video, embedding หรือ fine-tuning endpoints

เพียงกรอกแบบฟอร์มเดียวก็ได้รับคีย์

สร้างบัญชี คัดลอกคีย์ และเปลี่ยน base URL นั่นคือการตั้งค่าทั้งหมด

รับคีย์ API