# TabbyAPI

Exllamav2バックエンドを使用してLLMでテキストを生成できるFastAPIベースのアプリケーションで、Exl2、GPTQ、およびFP16モデルをサポートします。

公式TabbyAPI GitHubのinstallation instructionsに従ってください。
config.ymlを作成して、モデルパス、デフォルトモデル、シーケンス長などを設定します。ほとんど(すべてではないにしても)のこれらの設定を無視できます。
TabbyAPIを起動します。成功すると、次のようなものが表示されるはずです:
SillyTavernのText Completion APIで、TabbyAPIを選択します。
TabbyAPIターミナルからTabby API keyにAPIキーをコピーし、API URLが正しいことを確認します(デフォルトではhttp://127.0.0.1:5000である必要があります)。

すべてを正しく行った場合、SillyTavernで次のようなものが表示されるはずです:

これでTabbyAPIを使用してチャットできます！

TabbyAPIの開発者は、SillyTavernから直接モデルをロード/アンロードするための公式エクステンションを作成しました。インストールは簡単です:

SillyTavernで、Extensionsタブをクリックし、Download Extensions & Assetsに移動します。
Assets URLにhttps://raw.githubusercontent.com/theroyallab/ST-repo/main/index.jsonをコピーし、右側のプラグボタンをクリックします。
次のようなものが表示されるはずです。Tabby Loaderの横のダウンロードボタンをクリックします。
インストールが成功した場合、画面の上部に緑色のポップアップメッセージが表示されるはずです。extensionsタブで、TabbyAPI Loaderに移動し、TabbyAPIターミナルからAdmin KeyにAdmin Keyをコピーします。
Model Selectの横の更新ボタンをクリックします。すぐ下のテキストボックスをクリックすると、モデルディレクトリ内のすべてのモデルが表示されるはずです。

これでSillyTavernから直接モデルをロードおよびアンロードできます！

まだヘルプが必要ですか？開発者の公式DiscordサーバーへのリンクについてはTabbyAPI GitHubにアクセスし、wikiを読んでください。