JA ▾

開発者向け無検閲AI APIの代替

https://api.veniceapialternative.com/v1

veniceapialternative.com

Venice API代替Python:OpenAI SDKセットアップ

base URL、キー、モデル名を変更することで、このAPIに対して公式のOpenAI Python SDKを使用できます。以下に、一般的なタスクごとの動作するコードを示します。

更新日:

ターミナルからクラウドサーバーへ流れるコードブロックのリボン、Python APIセットアップを示す

主要ポイント

  • openaiパッケージをインストールし、base_urlをhttps://api.veniceapialternative.com/v1に設定し、モデルをuncensoredに設定します。
  • ストリーミング、ツール呼び出し、JSONモードはすべて標準のSDK呼び出しで動作します。
  • フルキーでは並列リクエストを8以下に、トライアルキーでは2以下にしてください。
  • 429はレート制限、同時実行数制限、または一時的な過負荷を意味します。バックオフして再試行してください。

インストールと最初の呼び出し

Venice API Alternative Pythonのセットアップには、特別なライブラリは不要です。サービスはOpenAIのチャット形式に対応しているため、標準SDKが使用できます。pip install openaiでインストールし、キーを取得してください。Googleまたはメールアドレスとパスワードで登録すると、APIキーページで$0.50のトライアルクレジットを獲得できます。カードは不要です。

キーをソースファイルではなく環境変数に保存してください。次に、base URLを使用してクライアントを作成し、モデルuncensoredを呼び出します。

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.veniceapialternative.com/v1",
    api_key=os.environ["UNCENSORED_API_KEY"],
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": "You are a concise writing assistant."},
        {"role": "user", "content": "Give me three opening lines for a noir story."},
    ],
    temperature=0.8,
)

print(resp.choices[0].message.content)
print(resp.usage)

SDKはAuthorization: Bearer <key>を自動的に送信します。usageオブジェクトにはプロンプトトークンとcompletionトークンが含まれており、後ほどコスト追跡に使用します。認証エラーが発生した場合は、キーに末尾の改行が含まれていないこと、Base URLが/v1で終わっていることを確認してください。

temperature、top_p、stop、seedパラメータ、およびfrequency penaltyとpresence penaltyはモデルに渡されるため、他の場合と同様にサンプリングを調整できます。ウィンドウに残っている領域をすべて使用させる場合はmax_tokensを省略し、応答の長さとコストに上限を設定したい場合は指定してください。

モデルエンドポイントで接続を確認する

何かを構築する前に、エンドポイントに到達可能であることを確認してください。2番目のサポートされているメソッドGET /v1/modelsは、キーで利用可能なモデルを一覧表示します。

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.veniceapialternative.com/v1",
    api_key=os.environ["UNCENSORED_API_KEY"],
)

for m in client.models.list():
    print(m.id, m.id == "uncensored")

uncensoredが表示されるはずです。これが唯一のモデルIDであり、すべてのリクエストでmodelとして渡す値です。複数のモデル名から選択するアプリを移行している場合は、選択ロジックを定数に置き換えてください。他に選択すべきものはありません。

完全なパラメータリファレンスはドキュメントページにあります。テキストチャットのみがサポートされており、画像、音声、埋め込み、ファインチューニングはサポートされないため、移行するコードからそれらの呼び出しを削除してください。

ストリーミングレスポンス

ストリーミングはトークンを生成されるたびに返すため、チャットインターフェースが高速に感じられます。stream=Trueを設定し、チャンクをイテレートしてください。使用量はストリームの最後に届くため、choicesを含まないチャンクをガードしてください:

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.veniceapialternative.com/v1",
    api_key=os.environ["UNCENSORED_API_KEY"],
)

stream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Describe a rainy harbor town in 120 words."}],
    stream=True,
)

for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)
    if getattr(chunk, "usage", None):
        print("\n", chunk.usage)

キャパシティプランニングには1つの重要な点があります。ストリーミングリクエストはストリームが終了するまで同時実行数のスロットを占有します。ユーザーがストリームを開いて閉じずに離れると、そのスロットは使用中のままになります。ユーザーが離れる際にクライアント側でストリームを閉じ、リクエストタイムアウトを設定してください。

ツール呼び出しとJSONモード

ツール呼び出しはOpenAIの形式に従います。toolsで関数を記述し、モデルはtool_callsを返します。関数を実行し、role: "tool"で結果を戻してください。

import json
import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.veniceapialternative.com/v1",
    api_key=os.environ["UNCENSORED_API_KEY"],
)

tools = [{
    "type": "function",
    "function": {
        "name": "roll_dice",
        "description": "Roll a die with the given number of sides",
        "parameters": {
            "type": "object",
            "properties": {"sides": {"type": "integer"}},
            "required": ["sides"],
        },
    },
}]

messages = [{"role": "user", "content": "Roll a twenty-sided die for the next encounter."}]
first = client.chat.completions.create(
    model="uncensored", messages=messages, tools=tools, tool_choice="auto"
)
msg = first.choices[0].message

if msg.tool_calls:
    call = msg.tool_calls[0]
    args = json.loads(call.function.arguments)
    result = {"value": 14, "sides": args["sides"]}
    messages.append(msg)
    messages.append({"role": "tool", "tool_call_id": call.id, "content": json.dumps(result)})
    final = client.chat.completions.create(model="uncensored", messages=messages, tools=tools)
    print(final.choices[0].message.content)

本番コードでは、モデルが時々不正なJSONを出力する可能性があるため、常にfunction.argumentsをtry/exceptでパースしてください。ツールなしで構造化された出力が必要な場合は、JSONモードが役立ちます。

import json
import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.veniceapialternative.com/v1",
    api_key=os.environ["UNCENSORED_API_KEY"],
)

r = client.chat.completions.create(
    model="uncensored",
    response_format={"type": "json_object"},
    messages=[
        {"role": "system", "content": "Reply with a JSON object with keys name, mood and hook."},
        {"role": "user", "content": "Invent a tavern keeper for a fantasy campaign."},
    ],
)
print(json.loads(r.choices[0].message.content))

プロンプトで必要なキーをモデルに伝えてください。JSONモードは出力を有効なJSONにしますが、スキーマを推測することはできません。

429エラーとレート制限の処理

フルキーは8つの同時リクエストと1分あたり300リクエストを許可します。トライアルキーは2つの同時リクエストと1分あたり60リクエストを許可します。制限を超えるとHTTP 429が発生し、エラーコードがどちらの制限に達したかを示します。

  • rate_limited:1分あたりのリクエストが多すぎます。速度を落としてください。
  • concurrency:進行中のリクエストが多すぎます。完了するまで待ってください。
  • Retry-After: 5ヘッダー付きの429:一時的な過負荷です。5秒待ってから再試行してください。

SDKはデフォルトで数回再試行し、Retry-Afterを尊重します。より重い処理には独自のラッパーを追加し、制限ヘッダーを確認してください。生レスポンスはwith_raw_response経由で取得できます。

import os
import time
import openai
from openai import OpenAI

client = OpenAI(
    base_url="https://api.veniceapialternative.com/v1",
    api_key=os.environ["UNCENSORED_API_KEY"],
    max_retries=0,
)

def ask(prompt, attempts=4):
    for n in range(attempts):
        try:
            raw = client.chat.completions.with_raw_response.create(
                model="uncensored",
                messages=[{"role": "user", "content": prompt}],
            )
            print("balance:", raw.headers.get("X-Balance-USD"),
                  "request id:", raw.headers.get("X-Request-Id"))
            return raw.parse().choices[0].message.content
        except openai.RateLimitError as e:
            wait = int(e.response.headers.get("Retry-After", 2 ** n))
            time.sleep(wait)
    raise RuntimeError("still rate limited after retries")

print(ask("Name three plot twists for a heist story."))

すべての失敗に対してX-Request-Idをログに記録してください。サポートに連絡する際、このIDにより正確な呼び出しを特定できます。X-Balance-USDヘッダーは、追加のリクエストなしで残高クレジットを示します。失敗したリクエストと拒否されたリクエストは課金されません。

制限に達せずに並列でリクエストを実行する

バッチジョブには非同期クライアントと、キーに合わせてサイズを設定したセマフォを使用してください。フルキーでは8が上限です。同じキーからライブユーザーにもサービスを提供する場合は、少し余裕を持たせてください。

import asyncio
import os
from openai import AsyncOpenAI

client = AsyncOpenAI(
    base_url="https://api.veniceapialternative.com/v1",
    api_key=os.environ["UNCENSORED_API_KEY"],
)
gate = asyncio.Semaphore(6)

async def summarize(text):
    async with gate:
        r = await client.chat.completions.create(
            model="uncensored",
            messages=[{"role": "user", "content": "Summarize in one sentence: " + text}],
            max_tokens=80,
        )
        return r.choices[0].message.content

async def main():
    docs = ["First long text ...", "Second long text ...", "Third long text ..."]
    for line in await asyncio.gather(*(summarize(d) for d in docs)):
        print(line)

asyncio.run(main())

1分あたりの制限に対するペース配分も重要です。並列ワーカー6つで呼び出しあたり4秒の場合、1分あたり約90リクエストを送信し、300の制限を大幅に下回ります。呼び出しが高速な場合は、バーストで制限を超えないよう、小さなsleepまたはトークンバケットを追加してください。

既存のPythonプロジェクトを移行する

移行は通常予想より小さく済みます。コードがすでにOpenAI(...)クライアントを構築している場合、コンストラクタ引数2つと文字列1つを変更するだけです。環境変数から設定を読み取る場合、コードをほとんど変更せずに済むことがあります。openaiパッケージはOPENAI_API_KEYとOPENAI_BASE_URLを読み取るため、シェルまたは.envファイルでこれらを設定するだけで、プログラム全体を新しいエンドポイントに接続できます。

その後、プロジェクト内で以下の項目を検索してください。これらは通常、破損の原因となります。

  • ハードコードされたモデル名。 古い名前のすべてをuncensoredに置き換えてください。model=のgrepで大半が見つかります。
  • 他のエンドポイントへの呼び出し。 画像、音声、埋め込み、ファインチューニングの呼び出しにはここで同等のものがありません。それらを提供するサービスにルーティングするか、削除してください。
  • ベンダー固有の拡張機能 旧プロバイダーに固有のリクエストフィールドやカスタムヘッダーはエラーの原因となることがあります。それらを取り除き、プレーンなOpenAI形式にしてください。
  • トークン予算。 ウィンドウはプロンプトと完了を合わせて100,000トークンです。より小さいウィンドウに合わせて履歴をトリムしていた場合、より多くの履歴を保持できるようになりますが、各ターンで保持されたメッセージが再度課金されるため、コストには注意してください。

プロンプトは再テストに値します。あるモデルで機能していたシステムプロンプトは、別のモデルでは異なるトーンになる可能性があるため、出荷前に最も重要な10のプロンプトを実行し、出力が期待どおりか比較してください。

よくある問題とその解決策

Pythonから新しいOpenAI互換エンドポイントを接続する際によく表示されるエラーの短いリスト:

  • 初回呼び出しで404。 base URLに/v1が含まれていないか、余分なパスセグメントがあります。正確にhttps://api.veniceapialternative.com/v1である必要があります。
  • 401または認証エラー。 キーが間違っている、コピーした.env行のままだとキーの周りに引用符が含まれている、Pythonを実行するシェルにエクスポートされていない、のいずれかです。
  • 大きな入力時にリクエストがハングする。 最大ボディサイズは8 MBです。プロンプトに巨大なファイルを貼り付けると、トークン制限に達する前にこれを超過する可能性があります。テキストを分割してください。
  • テスト中のランダムな429エラー。 トライアルキーでは同時リクエストが2つまでです。一度に5つを実行するテストランナーは制限に達します。テストを直列で実行するか、残高を追加してフルキーを使用してください。
  • 切り捨てられた回答。 finish_reasonを確認してください。値がlengthの場合、出力がmax_tokens設定に達したか、ウィンドウが埋まったことを意味します。
  • 実行ごとに結果が異なる。 テストで再現性のある出力が必要な場合は、seedと低いtemperatureを渡してください。

まだ問題がある場合は、呼び出しの時刻とともにX-Request-Idの値をサポートに送信してください。

コードでのコスト見積もり

価格は入力トークン100万あたり$0.15、出力トークン100万あたり$0.50です。小さなヘルパー関数で、任意の使用量ブロックをドルに変換できます。

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.veniceapialternative.com/v1",
    api_key=os.environ["UNCENSORED_API_KEY"],
)

def cost_usd(usage):
    return (usage.prompt_tokens * 0.15 + usage.completion_tokens * 0.50) / 1_000_000

r = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Write a limerick about a lighthouse."}],
)
print(round(cost_usd(r.usage), 6))

2,000プロンプトトークンと500 completionトークンの呼び出しでは0.00055が返ります。1,000回実行すると$0.55消費します。$0.50のトライアルクレジットは約909回の呼び出しをカバーできます。トライアル後、チャージは$20から始まり、クレジットは期限切れにならず、価格ページにボーナスティアが記載されています。チャットボットプロジェクト由来のアプリで独自の課題がある場合、よくあるAPIの間違いの記事で、ここでも適用されるいくつかの課題を扱っています。

質問と回答

必要なPythonパッケージはどれですか?

公式のopenaiパッケージです。pipでインストールし、base_urlをhttps://api.veniceapialternative.com/v1に設定してモデルをuncensoredに使用します。他のクライアントライブラリは不要です。

SDKでストリーミングは利用できますか?

はい。stream=Trueを渡し、チャンクをイテレートしてください。使用量はストリームの末尾で報告されます。

429エラーが発生するのはなぜですか?

リクエスト/分の制限(rate_limited)を超えた、同時に開いているリクエストが多すぎた(concurrency)、またはサービスが一時的に過負荷になり Retry-After: 5 を返した、いずれかです。バックオフして再試行してください。

並列リクエストは同時にいくつ実行できますか?

フルキーでは8つの同時リクエストと1分あたり300リクエストが可能です。トライアルキーでは2つの同時リクエストと1分あたり60リクエストが可能です。

LangChainやその他のOpenAI互換ツールが使えますか?

OpenAI互換のベースURLとキーを設定できるクライアントはすべて動作します。同じベースURLとモデル名 uncensored を使用してください。

キーはフォーム 1 つで手に入ります

アカウントを作成し、キーをコピーし、ベースURLを変更します。これでセットアップは完了です。

API キーを取得