OpenAI 兼容
标准 chat completions 端点(/v1),支持 SSE 流式响应 — 为 OpenAI API 写的工具几乎都能直接用。
01 — How It Works
启动模型后,对话模块同时是一个本机推理服务 — 任何支持自定义端点的工具都能直接连上。
标准 chat completions 端点(/v1),支持 SSE 流式响应 — 为 OpenAI API 写的工具几乎都能直接用。
另提供 Anthropic 兼容端点(/anthropic/v1),为 Claude API 设计的工具也接得上。
服务跑在你电脑的 2918 端口;默认只绑本机(127.0.0.1),数据不出你的电脑。
02 — Setup
打开 AI 对话,选择并启动一个已下载的模型 — 它就是 API 背后的推理引擎。
侧边栏“API 配置”页会列出 Base URL 与可用的模型名称,复制即可。
在第三方工具的自定义供应商设置填入 Base URL 与模型名称 — 完成,开始用自己的 GPU 推理。
03 — Example
opencode 是开源的终端 AI coding agent。把它指向本机端点,你的编码助手就完全跑在自己的 GPU 上 — 读代码、改代码、跑指令,全程离线。
在 opencode 的自定义供应商(custom provider)设置中,只需要三个信息:
设置格式以 opencode 官方文档的 custom provider 章节为准;端点与模型名称以 App 内“API 配置”页显示为准。任何支持自定义 OpenAI 兼容供应商的工具(编辑器插件、聊天客户端、脚本)都是同样三个信息。
03+ — More Ways To Connect
手机、平板扫一下就能接入;AI 代理也能直接使用这台电脑的文字识别与语音转写。
04 — Capabilities
默认 API 只绑本机。要让同一网络的其他电脑使用,可在设置开启局域网访问;其他设备必须带上你在“API 配置”页创建的 API 密钥才能调用。连接本身是未加密的 HTTP,请只在信任的网络开启,并勿暴露于公开互联网。
除了对话端点,另有给 AI 代理用的连接:让你信任的工具调用文字识别与语音转写。默认关闭,在“设置 → AI 代理连接”开启并为每个工具创建连接。
响应速度与可用的上下文长度,由你的 GPU 与所选模型决定。
经 API 使用同样受用户许可协议与可接受使用条款(AUP)约束。
Next