TH ▾

ทางเลือก API AI แบบไม่เซ็นเซอร์สำหรับนักพัฒนา

https://api.veniceapialternative.com/v1

veniceapialternative.com

ทางเลือก API Venice Python: การตั้งค่า SDK OpenAI

คุณสามารถใช้ Python SDK ของ OpenAI ทางการกับ API นี้ได้โดยการเปลี่ยน base URL คีย์ และชื่อโมเดล ด้านล่างคือโค้ดที่ใช้งานได้สำหรับงานทั่วไปแต่ละอย่าง

อัปเดต

แถบบล็อกโค้ดไหลจากเทอร์มินัลไปยังเซิร์ฟเวอร์ แสดงการตั้งค่า Python API

ประเด็นสำคัญ

  • ติดตั้งแพ็กเกจ openai, ตั้งค่า base_url เป็น https://api.veniceapialternative.com/v1 และโมเดลเป็น uncensored
  • สตรีมมิง การเรียกใช้เครื่องมือ และโหมด JSON ทำงานผ่านการเรียก SDK มาตรฐานทั้งหมด
  • รักษาจำนวนคำขอพร้อมกันไว้ที่หรือต่ำกว่า 8 คำขอพร้อมกันบนคีย์เต็ม (2 บนคีย์ทดลอง)
  • 429 หมายถึง rate_limited, concurrency หรือการโอเวอร์โหลดชั่วคราว; ให้ถอยและลองใหม่

ติดตั้งและเรียกใช้งานครั้งแรก

สำหรับการตั้งค่า Venice API Alternative Python คุณไม่จำเป็นต้องใช้ไลบรารีพิเศษ บริการใช้รูปแบบแชท OpenAI ดังนั้น SDK มาตรฐานจึงใช้งานได้ ติดตั้งด้วย pip install openai จากนั้นรับคีย์ ผู้ใช้ใหม่สามารถขอเครดิตทดลองใช้ $0.50ได้ที่ หน้าคีย์ API หลังจากสมัครสมาชิกด้วย Google หรืออีเมลและรหัสผ่าน ไม่จำเป็นต้องใช้บัตร

เก็บคีย์ในตัวแปรสภาพแวดล้อมแทนที่จะอยู่ในไฟล์ซอร์สโค้ดของคุณ จากนั้นสร้างไคลเอนต์ด้วย base URL และเรียกโมเดล uncensored:

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.veniceapialternative.com/v1",
    api_key=os.environ["UNCENSORED_API_KEY"],
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": "You are a concise writing assistant."},
        {"role": "user", "content": "Give me three opening lines for a noir story."},
    ],
    temperature=0.8,
)

print(resp.choices[0].message.content)
print(resp.usage)

SDK ส่ง Authorization: Bearer <key> ให้คุณโดยอัตโนมัติ วัตถุ usage แสดงโทเคนพรอมต์และคอมพลีชัน ซึ่งคุณจะใช้ในการติดตามต้นทุนในภายหลัง หากการเรียกใช้ล้มเหลวด้วยข้อผิดพลาดการตรวจสอบสิทธิ์ ให้ตรวจสอบว่าคีย์ไม่มี newline ต่อท้าย และ base URL ลงท้ายด้วย /v1

พารามิเตอร์ temperature, top_p, stop และ seed รวมถึง frequency และ presence penalties จะส่งต่อไปยังโมเดล ดังนั้นคุณสามารถปรับการสุ่มตัวอย่างได้เหมือนที่คุณทำที่อื่น ยกเว้น max_tokens หากต้องการให้โมเดลใช้พื้นที่ที่เหลืออยู่ในหน้าต่างบริบท หรือตั้งค่าเมื่อคุณต้องการจำกัดความยาวของการตอบกลับและต้นทุน

ตรวจสอบการเชื่อมต่อกับเอนด์พอยต์โมเดล

ก่อนที่คุณจะสร้างสิ่งใด ให้ยืนยันว่าเอนด์พอยต์สามารถเข้าถึงได้ วิธีที่สองที่รองรับคือ GET /v1/models ซึ่งแสดงสิ่งที่คีย์สามารถใช้ได้:

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.veniceapialternative.com/v1",
    api_key=os.environ["UNCENSORED_API_KEY"],
)

for m in client.models.list():
    print(m.id, m.id == "uncensored")

คุณควรเห็น uncensored นั่นคือ ID โมเดลเพียงอย่างเดียว และเป็นค่าที่จะส่งเป็น model ในทุกคำขอ หากคุณกำลังพอร์ตแอปที่เลือกจากชื่อโมเดลหลายชื่อ ให้แทนที่ตรรกะการเลือกด้วยค่าคงที่ ไม่มีอะไรอื่นให้เลือกอีกแล้ว

การอ้างอิงพารามิเตอร์เต็มมีอยู่ที่ หน้าเอกสาร รองรับเฉพาะแชทข้อความ: ไม่มีรูปภาพ เสียง การฝัง หรือการปรับแต่งเฉพาะ ดังนั้นให้ลบการเรียกเหล่านั้นออกจากโค้ดใดๆ ที่คุณย้ายมา

การตอบกลับแบบสตรีมมิง

สตรีมมิงส่งโทเคนเมื่อผลิตเสร็จ ทำให้อินเทอร์เฟซแชทรู้สึกเร็วขึ้น ตั้งค่า stream=True และวนซ้ำผ่านชิ้นข้อมูล ข้อมูลการใช้งานจะมาถึงที่สิ้นสุดสตรีม ดังนั้นป้องกันชิ้นข้อมูลที่ไม่มีการเลือก:

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.veniceapialternative.com/v1",
    api_key=os.environ["UNCENSORED_API_KEY"],
)

stream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Describe a rainy harbor town in 120 words."}],
    stream=True,
)

for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)
    if getattr(chunk, "usage", None):
        print("\n", chunk.usage)

รายละเอียดหนึ่งมีความสำคัญสำหรับการวางแผนความจุ: คำขอแบบสตรีมจะครอบครองช่องความพร้อมใช้งานพร้อมกันจนกว่าสตรีมจะสิ้นสุด หากผู้ใช้เปิดสตรีมแล้วเดินจากไปโดยไม่ปิดมัน ช่องนั้นจะไม่ว่าง ให้ปิดสตรีมที่ฝั่งไคลเอนต์เมื่อผู้ใช้ออก และตั้งค่าเวลาหมดอายุของคำขอ

การเรียกใช้ฟังก์ชันและโหมด JSON

การเรียกใช้ฟังก์ชันปฏิบัติตามรูปแบบ OpenAI คุณอธิบายฟังก์ชันใน tools โมเดลส่งกลับ tool_calls คุณเรียกใช้ฟังก์ชันและส่งผลลัพธ์กลับด้วย role: "tool":

import json
import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.veniceapialternative.com/v1",
    api_key=os.environ["UNCENSORED_API_KEY"],
)

tools = [{
    "type": "function",
    "function": {
        "name": "roll_dice",
        "description": "Roll a die with the given number of sides",
        "parameters": {
            "type": "object",
            "properties": {"sides": {"type": "integer"}},
            "required": ["sides"],
        },
    },
}]

messages = [{"role": "user", "content": "Roll a twenty-sided die for the next encounter."}]
first = client.chat.completions.create(
    model="uncensored", messages=messages, tools=tools, tool_choice="auto"
)
msg = first.choices[0].message

if msg.tool_calls:
    call = msg.tool_calls[0]
    args = json.loads(call.function.arguments)
    result = {"value": 14, "sides": args["sides"]}
    messages.append(msg)
    messages.append({"role": "tool", "tool_call_id": call.id, "content": json.dumps(result)})
    final = client.chat.completions.create(model="uncensored", messages=messages, tools=tools)
    print(final.choices[0].message.content)

ควรแยกวิเคราะห์ function.arguments ด้วย try/except ในโค้ดสำหรับใช้งานจริง เนื่องจากโมเดลอาจปล่อย JSON ที่ไม่สมบูรณ์เป็นครั้งคราว โหมด JSON ช่วยเมื่อคุณต้องการผลลัพธ์ที่มีโครงสร้างโดยไม่ต้องใช้เครื่องมือ:

import json
import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.veniceapialternative.com/v1",
    api_key=os.environ["UNCENSORED_API_KEY"],
)

r = client.chat.completions.create(
    model="uncensored",
    response_format={"type": "json_object"},
    messages=[
        {"role": "system", "content": "Reply with a JSON object with keys name, mood and hook."},
        {"role": "user", "content": "Invent a tavern keeper for a fantasy campaign."},
    ],
)
print(json.loads(r.choices[0].message.content))

บอกโมเดลในพรอมต์ว่าคุณต้องการคีย์ใด โหมด JSON ทำให้ผลลัพธ์เป็น JSON ที่ถูกต้อง แต่ไม่สามารถคาดเดาโครงสร้างข้อมูลของคุณได้

การจัดการข้อผิดพลาด 429 และขีดจำกัดอัตรา

คีย์แบบเต็มอนุญาตให้ทำคำขอพร้อมกันได้ 8 คำขอ และ 300 คำขอต่อนาที คีย์แบบทดลองอนุญาตให้ทำคำขอพร้อมกันได้ 2 คำขอ และ 60 คำขอต่อนาที เมื่อเกินขีดจำกัด คุณจะได้รับ HTTP 429 และรหัสข้อผิดพลาดจะระบุให้ทราบว่าเป็นขีดจำกัดใด:

  • rate_limited: คำขอต่อนาทีมากเกินไป ช้าลง
  • concurrency: มีคำขอที่กำลังดำเนินการอยู่จำนวนมากเกินไป รอให้คำขอบางส่วนเสร็จสิ้น
  • สถานะ 429 พร้อมเฮดเดอร์ Retry-After: 5: โอเวอร์โหลดชั่วคราว รอ 5 วินาทีแล้วลองอีกครั้ง

SDK จะลองส่งคำขอใหม่หลายครั้งตามค่าเริ่มต้นและเคารพค่า Retry-After หากต้องการจัดการงานหนักกว่า ให้เพิ่ม wrapper ของคุณเองและอ่านค่าขีดจำกัดจากเฮดเดอร์ คุณสามารถเข้าถึงการตอบกลับแบบดิบผ่าน with_raw_response:

import os
import time
import openai
from openai import OpenAI

client = OpenAI(
    base_url="https://api.veniceapialternative.com/v1",
    api_key=os.environ["UNCENSORED_API_KEY"],
    max_retries=0,
)

def ask(prompt, attempts=4):
    for n in range(attempts):
        try:
            raw = client.chat.completions.with_raw_response.create(
                model="uncensored",
                messages=[{"role": "user", "content": prompt}],
            )
            print("balance:", raw.headers.get("X-Balance-USD"),
                  "request id:", raw.headers.get("X-Request-Id"))
            return raw.parse().choices[0].message.content
        except openai.RateLimitError as e:
            wait = int(e.response.headers.get("Retry-After", 2 ** n))
            time.sleep(wait)
    raise RuntimeError("still rate limited after retries")

print(ask("Name three plot twists for a heist story."))

บันทึก X-Request-Id ทุกครั้งที่เกิดข้อผิดพลาด หากติดต่อ ฝ่ายสนับสนุน ID นี้จะช่วยพวกเขาหาคำขอที่ถูกต้องได้ เฮดเดอร์ X-Balance-USD แสดงยอดเครดิตคงเหลือโดยไม่ต้องทำคำขอเพิ่ม คำขอที่ล้มเหลวและถูกปฏิเสธจะไม่ถูกคิดเงิน

การรันคำขอแบบขนานโดยไม่ชนกับขีดจำกัด

สำหรับงานแบบแบทช์ ให้ใช้ไคลเอนต์แบบอะซิงโครนัสและใช้เซมาโฟร์ที่มีขนาดเหมาะสมกับคีย์ของคุณ สำหรับคีย์แบบเต็ม ค่าสูงสุดคือ 8 ควรเหลือพื้นที่ว่างเล็กน้อยหากคุณให้บริการผู้ใช้แบบเรียลไทม์จากคีย์เดียวกัน

import asyncio
import os
from openai import AsyncOpenAI

client = AsyncOpenAI(
    base_url="https://api.veniceapialternative.com/v1",
    api_key=os.environ["UNCENSORED_API_KEY"],
)
gate = asyncio.Semaphore(6)

async def summarize(text):
    async with gate:
        r = await client.chat.completions.create(
            model="uncensored",
            messages=[{"role": "user", "content": "Summarize in one sentence: " + text}],
            max_tokens=80,
        )
        return r.choices[0].message.content

async def main():
    docs = ["First long text ...", "Second long text ...", "Third long text ..."]
    for line in await asyncio.gather(*(summarize(d) for d in docs)):
        print(line)

asyncio.run(main())

จังหวะการส่งมีความสำคัญต่อขีดจำกัดต่อนาทีเช่นกัน ที่ความเร็ว worker แบบขนาน 6 ตัว และ 4 วินาทีต่อคำขอ คุณจะส่งคำขอประมาณ 90 คำขอต่อนาที ซึ่งต่ำกว่า 300 มาก หากคำขอของคุณทำงานเร็ว ให้เพิ่มการหน่วงเล็กน้อยหรือใช้ token bucket เพื่อไม่ให้เกินขีดจำกัดเมื่อส่งคำขอเป็นชุด

การย้ายโปรเจกต์ Python ที่มีอยู่

การย้ายระบบส่วนใหญ่มีขนาดเล็กกว่าที่คนคิด หากโค้ดของคุณสร้างไคลเอนต์ OpenAI(...) อยู่แล้ว คุณเปลี่ยนอาร์กิวเมนต์คอนสตรัคเตอร์สองตัวและสตริงหนึ่งค่า หากคุณอ่านค่าจากตัวแปรสภาพแวดล้อม คุณอาจไม่ต้องแก้ไขโค้ดเลย: แพ็กเกจ openai จะอ่าน OPENAI_API_KEY และ OPENAI_BASE_URL ดังนั้นการตั้งค่าสองค่านี้ใน shell หรือไฟล์ .env จะชี้โปรแกรมทั้งหมดไปยังเอนด์พอยต์ใหม่

จากนั้นค้นหาโปรเจกต์ของคุณสำหรับรายการเหล่านี้ เนื่องจากเป็นแหล่งที่มาของปัญหาที่พบบ่อย:

  • ชื่อโมเดลที่เขียนตายตัว แทนที่ชื่อเก่าทั้งหมดด้วย uncensored การค้นหาด้วย grep สำหรับ model= จะพบส่วนใหญ่ของชื่อเหล่านั้น
  • การเรียกไปยังเอนด์พอยต์อื่น การเรียก image, audio, embedding และ fine-tuning ไม่มีที่เทียบเท่าที่นี่ ให้เปลี่ยนเส้นทางไปยังบริการที่รองรับหรือลบออก
  • ฟีเจอร์เฉพาะของผู้ให้บริการ ฟิลด์คำขอเพิ่มเติมหรือเฮดเดอร์ที่กำหนดเองที่มาจากผู้ให้บริการเก่าของคุณอาจทำให้เกิดข้อผิดพลาด ให้ตัดออกเหลือเฉพาะรูปแบบ OpenAI แบบพื้นฐาน
  • งบประมาณโทเคน หน้าต่างบริบทรองรับ 100,000 โทเคนสำหรับพรอมต์และผลลัพธ์ หากคุณเคยตัดประวัติออกเพื่อให้พอดีกับหน้าต่างที่เล็กลง ตอนนี้คุณสามารถเก็บข้อมูลได้มากขึ้น แต่ควรระวังเรื่องค่าใช้จ่าย เพราะข้อความที่เก็บไว้จะถูกคิดเงินอีกครั้งในทุกๆ รอบ

พรอมต์สมควรได้รับการทดสอบใหม่ พรอมต์ระบบที่ทำงานได้ดีกับโมเดลหนึ่งอาจให้โทนเสียงที่แตกต่างกันบนโมเดลอื่น ดังนั้นให้รันพรอมต์สำคัญสิบรายการของคุณและเปรียบเทียบผลลัพธ์กับสิ่งที่คาดหวังก่อนเผยแพร่

ปัญหาทั่วไปและการแก้ไข

รายการสั้นๆ ของข้อผิดพลาดที่ปรากฏบ่อยที่สุดเมื่อผู้คนเชื่อมต่อเอนด์พอยต์ที่เข้ากันได้กับ OpenAI ใหม่จาก Python:

  • 404 ในการเรียกครั้งแรก Base URL ขาด /v1 หรือมีเส้นทางเพิ่มเติม ต้องเป็น https://api.veniceapialternative.com/v1 พอดี
  • 401 หรือข้อผิดพลาดการตรวจสอบสิทธิ์ คีย์ไม่ถูกต้อง, ยังมีเครื่องหมายคำพูดรอบๆ จากบรรทัด .env ที่คัดลอกมา, หรือไม่ได้ export เข้าไปใน shell ที่รัน Python
  • คำขอค้างเมื่อรับอินพุตขนาดใหญ่ ขนาดสูงสุดของ body คือ 8 MB การวางไฟล์ขนาดใหญ่ลงในพรอมต์อาจเกินขีดจำกัดนี้ก่อนถึงขีดจำกัดโทเคน ให้แบ่งข้อความออก
  • เกิด 429 แบบสุ่มระหว่างการทดสอบ คีย์ทดลองรองรับคำขอพร้อมกันเพียง 2 คำขอ หากตัวรันการทดสอบยิงห้าคำขอพร้อมกัน จะเกินขีดจำกัด ให้รันการทดสอบแบบลำดับ หรือเติมเงินและใช้คีย์เต็ม
  • คำตอบที่ตัดทอน ตรวจสอบ finish_reason ค่า length หมายถึงผลลัพธ์ถึงค่าตั้งค่า max_tokens ของคุณหรือเต็มหน้าต่างบริบท
  • ผลลัพธ์ที่แตกต่างกันในแต่ละรอบ ส่ง seed และค่า temperature ต่ำ หากต้องการผลลัพธ์ที่ซ้ำกันได้สำหรับการทดสอบ

หากยังมีสิ่งที่ดูผิดปกติ ให้ส่งค่า X-Request-Id ไปยัง ฝ่ายสนับสนุน พร้อมเวลาที่เกิดขึ้นของการเรียก

การประมาณการต้นทุนในโค้ด

ราคาคือ $0.15 ต่อ 1M input tokens และ $0.50 ต่อ 1M output tokens ตัวช่วยเล็กๆ จะแปลงบล็อกการใช้งานใดๆ เป็นดอลลาร์:

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.veniceapialternative.com/v1",
    api_key=os.environ["UNCENSORED_API_KEY"],
)

def cost_usd(usage):
    return (usage.prompt_tokens * 0.15 + usage.completion_tokens * 0.50) / 1_000_000

r = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Write a limerick about a lighthouse."}],
)
print(round(cost_usd(r.usage), 6))

การเรียกด้วย 2,000 prompt tokens และ 500 completion tokens จะคืนค่า 0.00055 รัน 1,000 ครั้งคุณจะใช้จ่าย $0.55 เครดิตทดลองใช้ $0.50 ครอบคลุมการเรียกประมาณ 909 ครั้งเช่นนี้ หลังจากหมดเครดิตทดลอง การเติมเงินเริ่มต้นที่ $20 และเครดิตไม่หมดอายุ; หน้าราคา แสดงระดับโบนัส หากแอปของคุณมาจากโปรเจกต์แชทบอทที่มีจุดบกพร่องของตัวเอง บทความเกี่ยวกับ ข้อผิดพลาด API ที่พบบ่อย ครอบคลุมหลายข้อที่นำไปใช้ที่นี่ได้เช่นกัน

ถาม-ตอบ

ฉันต้องใช้แพ็กเกจ Python อะไร?

แพ็กเกจ openai อย่างเป็นทางการ ติดตั้งด้วย pip ตั้ง base_url เป็น https://api.veniceapialternative.com/v1, และใช้โมเดล uncensored ไม่ต้องใช้ไลบรารีไคลเอนต์อื่น

สตรีมมิงทำงานกับ SDK ได้หรือไม่

ใช่ ส่ง stream=True และวนซ้ำผ่านชิ้นส่วน การใช้งานจะรายงานที่ท้ายสตรีม

ทำไมถึงได้ error 429?

คุณอาจเกินขีดจำกัดคำขอต่อนาที (rate_limited), มีคำขอเปิดค้างมากเกินไป (concurrency) หรือบริการโหลดหนักชั่วคราวและส่ง Retry-After: 5 ให้ลดความเร็วลงแล้วลองอีกครั้ง

ฉันสามารถส่งคำขอแบบขนานได้กี่คำขอ

คีย์แบบเต็มอนุญาตให้คำขอพร้อมกันได้ 8 รายการและ 300 รายการต่อนาที คีย์ทดลองอนุญาตให้คำขอพร้อมกันได้ 2 รายการและ 60 รายการต่อนาที

ฉันสามารถใช้ LangChain หรือเครื่องมือที่เข้ากันได้กับ OpenAI อื่นๆ ได้หรือไม่

ไคลเอนต์ใดๆ ที่ให้คุณตั้งค่า Base URL และคีย์ API ที่เข้ากันได้กับ OpenAI ควรใช้งานได้ ใช้ Base URL เดียวกันและชื่อโมเดล uncensored

คีย์ของคุณอยู่ห่างแค่การกรอกแบบฟอร์ม

สร้างบัญชี คัดลอกคีย์ และเปลี่ยน base URL นั่นคือการตั้งค่าทั้งหมด

รับคีย์ API