OpenAI 相容
標準 chat completions 端點(/v1),支援 SSE 串流回應 — 為 OpenAI API 寫的工具幾乎都能直接用。
01 — How It Works
啟動模型後,對話模組同時是一個本機推論服務 — 任何支援自訂端點的工具都能直接連上。
標準 chat completions 端點(/v1),支援 SSE 串流回應 — 為 OpenAI API 寫的工具幾乎都能直接用。
另提供 Anthropic 相容端點(/anthropic/v1),為 Claude API 設計的工具也接得上。
服務跑在你電腦的 2918 埠;預設只綁本機(127.0.0.1),資料不出你的電腦。
02 — Setup
打開 AI 對話,選擇並啟動一個已下載的模型 — 它就是 API 背後的推論引擎。
側邊欄「API 配置」頁會列出 Base URL 與可用的模型名稱,複製即可。
在第三方工具的自訂供應商設定填入 Base URL 與模型名稱 — 完成,開始用自己的 GPU 推論。
03 — Example
opencode 是開源的終端 AI coding agent。把它指向本機端點,你的編碼助手就完全跑在自己的 GPU 上 — 讀 code、改 code、跑指令,全程離線。
在 opencode 的自訂供應商(custom provider)設定中,只需要三個資訊:
設定格式以 opencode 官方文件的 custom provider 章節為準;端點與模型名稱以 App 內「API 配置」頁顯示為準。任何支援自訂 OpenAI 相容供應商的工具(編輯器外掛、聊天客戶端、腳本)都是同樣三個資訊。
03+ — More Ways To Connect
手機、平板掃一下就能接上;AI 代理也能直接使用這台電腦的文字辨識與語音轉寫。
04 — Capabilities
預設 API 只綁本機。要讓同一網路的其他電腦使用,可在設定開啟區域網路存取;其他裝置必須帶上你在「API 配置」頁建立的 API 金鑰才能呼叫。連線本身是未加密的 HTTP,請只在信任的網路開啟,並勿暴露於公開網際網路。
除了對話端點,另有給 AI 代理用的連線:讓你信任的工具呼叫文字辨識與語音轉寫。預設關閉,在「設定 → AI 代理連線」開啟並為每個工具建立連線。
回應速度與可用的上下文長度,由你的 GPU 與所選模型決定。
經 API 使用同樣受使用者授權合約與可接受使用條款(AUP)約束。
Next