ID ▾

Alternatif API AI tanpa sensor untuk pengembang

https://api.veniceapialternative.com/v1

veniceapialternative.com

Alternatif API Venice Python: Pengaturan SDK OpenAI

Anda dapat menggunakan SDK Python resmi OpenAI untuk API ini dengan mengubah base URL, kunci, dan nama model. Di bawah ini adalah kode yang berfungsi untuk setiap tugas umum.

Diperbarui

Pita blok kode mengalir dari terminal ke server cloud, mengilustrasikan pengaturan API Python

Poin utama

  • Instal paket openai, atur base_url ke https://api.veniceapialternative.com/v1 dan model ke uncensored.
  • Streaming, pemanggilan alat, dan mode JSON semuanya berfungsi melalui panggilan SDK standar.
  • Pertahankan pekerjaan paralel pada atau di bawah 8 permintaan konkuren pada kunci penuh (2 pada kunci uji coba).
  • 429 berarti rate_limited, concurrency atau kelebihan beban sementara; mundur dan coba lagi.

Instal dan buat panggilan pertama

Untuk pengaturan alternatif API Venice Python, Anda tidak memerlukan pustaka khusus. Layanan ini menggunakan format chat OpenAI, sehingga SDK standar berfungsi. Instal dengan pip install openai, lalu dapatkan kunci. Pengguna baru dapat mengklaim kredit uji coba senilai $0,50 di halaman kunci API setelah mendaftar dengan Google atau dengan email dan kata sandi. Tidak perlu kartu.

Simpan kunci dalam variabel lingkungan, bukan dalam file sumber Anda. Kemudian buat klien dengan base URL dan panggil model uncensored:

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.veniceapialternative.com/v1",
    api_key=os.environ["UNCENSORED_API_KEY"],
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": "You are a concise writing assistant."},
        {"role": "user", "content": "Give me three opening lines for a noir story."},
    ],
    temperature=0.8,
)

print(resp.choices[0].message.content)
print(resp.usage)

SDK mengirimkan Authorization: Bearer <key> untuk Anda. Objek usage menampilkan token prompt dan completion, yang akan Anda gunakan untuk pelacakan biaya nanti. Jika panggilan gagal dengan kesalahan autentikasi, periksa apakah kunci tidak memiliki baris baru di akhir dan apakah base URL diakhiri dengan /v1.

Parameter temperature, top_p, stop, dan seed, serta frekuensi dan penalti kehadiran, diteruskan ke model, sehingga Anda dapat menyesuaikan sampling dengan cara yang sama seperti di tempat lain. Biarkan max_tokens kosong jika Anda ingin model menggunakan ruang yang tersisa di jendela konteks, atau atur jika Anda ingin batas keras pada panjang balasan dan biaya.

Periksa koneksi dengan endpoint model

Sebelum Anda membangun apa pun, pastikan endpoint dapat dijangkau. Metode pendukung kedua, GET /v1/models, mencantumkan apa yang dapat digunakan kunci Anda:

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.veniceapialternative.com/v1",
    api_key=os.environ["UNCENSORED_API_KEY"],
)

for m in client.models.list():
    print(m.id, m.id == "uncensored")

Anda harus melihat uncensored. Itu adalah satu-satunya ID model, dan itu adalah nilai yang harus dilewatkan sebagai model dalam setiap permintaan. Jika Anda memporting aplikasi yang memilih di antara beberapa nama model, ganti logika pemilihan dengan konstanta. Tidak ada lagi yang perlu dipilih.

Referensi parameter lengkap ada di halaman dokumentasi. Hanya chat teks yang didukung: tidak ada gambar, audio, embedding, atau fine-tuning, jadi hapus panggilan tersebut dari kode apa pun yang Anda bawa.

Respons streaming

Streaming mengembalikan token saat diproduksi, yang membuat antarmuka chat terasa lebih cepat. Atur stream=True dan iterasi melalui potongan. Penggunaan tiba di akhir stream, jadi lindungi potongan yang tidak membawa pilihan:

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.veniceapialternative.com/v1",
    api_key=os.environ["UNCENSORED_API_KEY"],
)

stream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Describe a rainy harbor town in 120 words."}],
    stream=True,
)

for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)
    if getattr(chunk, "usage", None):
        print("\n", chunk.usage)

Satu detail penting untuk perencanaan kapasitas: permintaan stream memegang slot konkurensinya hingga stream berakhir. Jika pengguna membuka stream dan pergi tanpa menutupnya, slot itu tetap sibuk. Tutup stream di sisi klien saat pengguna pergi, dan atur batas waktu permintaan.

Pemanggilan alat dan mode JSON

Pemanggilan alat mengikuti bentuk OpenAI. Anda mendeskripsikan fungsi dalam tools, model mengembalikan tool_calls, Anda menjalankan fungsi dan mengirim hasilnya kembali dengan role: "tool":

import json
import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.veniceapialternative.com/v1",
    api_key=os.environ["UNCENSORED_API_KEY"],
)

tools = [{
    "type": "function",
    "function": {
        "name": "roll_dice",
        "description": "Roll a die with the given number of sides",
        "parameters": {
            "type": "object",
            "properties": {"sides": {"type": "integer"}},
            "required": ["sides"],
        },
    },
}]

messages = [{"role": "user", "content": "Roll a twenty-sided die for the next encounter."}]
first = client.chat.completions.create(
    model="uncensored", messages=messages, tools=tools, tool_choice="auto"
)
msg = first.choices[0].message

if msg.tool_calls:
    call = msg.tool_calls[0]
    args = json.loads(call.function.arguments)
    result = {"value": 14, "sides": args["sides"]}
    messages.append(msg)
    messages.append({"role": "tool", "tool_call_id": call.id, "content": json.dumps(result)})
    final = client.chat.completions.create(model="uncensored", messages=messages, tools=tools)
    print(final.choices[0].message.content)

Selalu terurai function.arguments dengan try/except dalam kode produksi, karena model dapat mengeluarkan JSON yang rusak sesekali. Mode JSON membantu ketika Anda menginginkan output terstruktur tanpa alat:

import json
import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.veniceapialternative.com/v1",
    api_key=os.environ["UNCENSORED_API_KEY"],
)

r = client.chat.completions.create(
    model="uncensored",
    response_format={"type": "json_object"},
    messages=[
        {"role": "system", "content": "Reply with a JSON object with keys name, mood and hook."},
        {"role": "user", "content": "Invent a tavern keeper for a fantasy campaign."},
    ],
)
print(json.loads(r.choices[0].message.content))

Beri tahu model dalam prompt kunci mana yang Anda inginkan. Mode JSON membuat output valid JSON, tetapi tidak dapat menebak skema Anda.

Menangani kesalahan 429 dan batas laju

Kunci penuh memungkinkan 8 permintaan konkuren dan 300 permintaan per menit. Kunci uji coba memungkinkan 2 konkuren dan 60 per menit. Setelah melewati batas, Anda mendapatkan HTTP 429, dan kode kesalahan memberi tahu Anda mana yang:

  • rate_limited: terlalu banyak permintaan per menit. Perlahan.
  • concurrency: terlalu banyak permintaan dalam proses. Tunggu beberapa selesai.
  • Error 429 dengan header Retry-After: 5: kelebihan beban sementara. Tunggu 5 detik dan coba lagi.

SDK sudah mencoba lagi beberapa kali secara default dan menghormati Retry-After. Untuk apa pun yang lebih berat, tambahkan pembungkus Anda sendiri dan baca header batas. Anda dapat mencapai respons mentah melalui with_raw_response:

import os
import time
import openai
from openai import OpenAI

client = OpenAI(
    base_url="https://api.veniceapialternative.com/v1",
    api_key=os.environ["UNCENSORED_API_KEY"],
    max_retries=0,
)

def ask(prompt, attempts=4):
    for n in range(attempts):
        try:
            raw = client.chat.completions.with_raw_response.create(
                model="uncensored",
                messages=[{"role": "user", "content": prompt}],
            )
            print("balance:", raw.headers.get("X-Balance-USD"),
                  "request id:", raw.headers.get("X-Request-Id"))
            return raw.parse().choices[0].message.content
        except openai.RateLimitError as e:
            wait = int(e.response.headers.get("Retry-After", 2 ** n))
            time.sleep(wait)
    raise RuntimeError("still rate limited after retries")

print(ask("Name three plot twists for a heist story."))

Log X-Request-Id dengan setiap kegagalan. Jika Anda menghubungi dukungan, ID itu memungkinkan mereka menemukan panggilan yang tepat. Header X-Balance-USD memberi Anda sisa kredit tanpa permintaan tambahan. Permintaan yang gagal dan ditolak tidak dikenakan biaya.

Menjalankan permintaan secara paralel tanpa mencapai batas

Untuk pekerjaan batch, gunakan klien asinkron dan semaphore yang ukurannya disesuaikan dengan kunci Anda. Pada kunci penuh, 8 adalah batas atas. Sisakan sedikit ruang jika Anda juga melayani pengguna langsung dari kunci yang sama.

import asyncio
import os
from openai import AsyncOpenAI

client = AsyncOpenAI(
    base_url="https://api.veniceapialternative.com/v1",
    api_key=os.environ["UNCENSORED_API_KEY"],
)
gate = asyncio.Semaphore(6)

async def summarize(text):
    async with gate:
        r = await client.chat.completions.create(
            model="uncensored",
            messages=[{"role": "user", "content": "Summarize in one sentence: " + text}],
            max_tokens=80,
        )
        return r.choices[0].message.content

async def main():
    docs = ["First long text ...", "Second long text ...", "Third long text ..."]
    for line in await asyncio.gather(*(summarize(d) for d in docs)):
        print(line)

asyncio.run(main())

Kecepatan penting untuk batas per menit juga. Pada 6 pekerja paralel dan 4 detik per panggilan, Anda mengirim sekitar 90 permintaan per menit, jauh di bawah 300. Jika panggilan Anda cepat, tambahkan tidur kecil atau ember token agar Anda tidak melebihi batas dalam lonjakan.

Memindahkan proyek Python yang ada

Sebagian besar migrasi lebih kecil dari yang diharapkan orang. Jika kode Anda sudah membuat klien OpenAI(...), Anda mengubah dua argumen konstruktor dan satu string. Jika Anda membaca pengaturan dari variabel lingkungan, Anda sering kali dapat menghindari menyentuh kode sama sekali: paket openai membaca OPENAI_API_KEY dan OPENAI_BASE_URL, sehingga mengatur keduanya di shell Anda atau file .env mengarahkan seluruh program ke endpoint baru.

Kemudian cari proyek Anda untuk item-item ini, karena mereka adalah sumber kerusakan biasa:

  • Nama model yang dikodekan secara keras. Ganti setiap nama lama dengan uncensored. Grep untuk model= menemukan sebagian besar dari mereka.
  • Panggilan ke endpoint lain. Panggilan gambar, audio, embedding, dan fine-tuning tidak memiliki padanan di sini. Rutekan ke layanan yang menawarkannya, atau hapus.
  • Ekstra khusus vendor. Bidang permintaan tambahan atau header kustom yang milik penyedia lama Anda dapat menyebabkan kesalahan. Lepaskan ke format OpenAI biasa.
  • Anggaran token. Jendela konteks adalah 100.000 token untuk prompt plus completion. Jika Anda memangkas riwayat agar muat dalam jendela yang lebih kecil, Anda sekarang dapat menyimpan lebih banyak, tetapi perhatikan biaya, karena setiap pesan yang disimpan dibayar lagi pada setiap giliran.

Prompt layak diuji ulang. Prompt sistem yang berfungsi untuk satu model mungkin memberikan nada yang berbeda pada model lain, jadi jalankan sepuluh prompt terpenting Anda dan bandingkan output dengan yang Anda harapkan sebelum Anda kirim.

Masalah umum dan perbaikannya

Daftar singkat kesalahan yang muncul paling sering ketika orang menghubungkan endpoint OpenAI-compatible baru dari Python:

  • 404 pada panggilan pertama. base URL tidak memiliki /v1, atau memiliki segmen jalur tambahan. Itu harus dibaca persis https://api.veniceapialternative.com/v1.
  • 401 atau kesalahan autentikasi. Kuncinya salah, masih memiliki tanda kutip di sekitarnya dari baris .env yang disalin, atau tidak pernah diekspor ke shell yang menjalankan Python.
  • Permintaan menggantung pada input besar. Tubuh maksimum adalah 8 MB. Menempelkan file besar ke prompt dapat melebihi itu jauh sebelum Anda mencapai batas token. Pisahkan teks.
  • Error 429 acak selama pengujian. Pada kunci uji coba, Anda hanya memiliki 2 permintaan paralel. Program pengujian yang mengirim lima sekaligus akan membatasi batas. Jalankan pengujian secara serial, atau isi saldo dan gunakan kunci penuh.
  • Jawaban terpotong. Periksa finish_reason. Nilai length berarti output mencapai pengaturan max_tokens Anda atau mengisi jendela konteks.
  • Hasil berbeda antar eksekusi. Lulus seed dan temperature rendah jika Anda memerlukan output yang dapat diulang untuk pengujian.

Jika sesuatu masih terlihat salah, kirimkan nilai X-Request-Id ke dukungan bersama dengan waktu panggilan.

Menghitung biaya dalam kode

Harganya adalah $0,15 per 1M token input dan $0,50 per 1M token output. Pembantu kecil mengubah blok penggunaan apa pun menjadi dolar:

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.veniceapialternative.com/v1",
    api_key=os.environ["UNCENSORED_API_KEY"],
)

def cost_usd(usage):
    return (usage.prompt_tokens * 0.15 + usage.completion_tokens * 0.50) / 1_000_000

r = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Write a limerick about a lighthouse."}],
)
print(round(cost_usd(r.usage), 6))

Panggilan dengan 2.000 token prompt dan 500 token penyelesaian mengembalikan 0,00055. Jalankan 1.000 dari mereka dan Anda menghabiskan $0,55. Kredit uji coba sebesar $0,50 mencakup sekitar 909 panggilan seperti itu. Setelah uji coba, isi saldo dimulai dari $20 dan kredit tidak pernah kedaluwarsa; halaman harga mencantumkan tingkat bonus. Jika aplikasi Anda berasal dari proyek chatbot dengan perangkapnya sendiri, artikel tentang kesalahan API umum mencakup beberapa yang juga berlaku di sini.

Tanya jawab

Paket Python mana yang saya butuhkan?

Paket resmi openai. Instal menggunakan pip, atur base_url ke https://api.veniceapialternative.com/v1, dan gunakan model uncensored. Tidak diperlukan pustaka klien lain.

Apakah streaming berfungsi dengan SDK?

Ya. Teruskan stream=True dan iterasi melalui potongan data. Penggunaan dilaporkan di akhir stream.

Mengapa saya mendapatkan error 429?

Baik Anda melewati batas permintaan per menit (rate_limited), memiliki terlalu banyak permintaan terbuka sekaligus (concurrency), atau layanan kelebihan beban secara singkat dan mengirimkan header Retry-After: 5. Kurangi laju permintaan dan coba lagi.

Berapa banyak permintaan paralel yang dapat saya jalankan?

Kunci penuh mengizinkan 8 permintaan paralel dan 300 per menit. Kunci uji coba mengizinkan 2 paralel dan 60 per menit.

Dapatkah saya menggunakan LangChain atau alat kompatibel OpenAI lainnya?

Klien apa pun yang memungkinkan Anda mengatur Base URL dan kunci API yang kompatibel dengan OpenAI seharusnya berfungsi. Gunakan Base URL yang sama dan nama model uncensored.

Kunci Anda hanya selangkah lagi dari satu formulir

Buat akun, salin kunci, ubah URL dasar. Itu saja seluruh proses pengaturannya.

Dapatkan kunci API