Module 01 / 06
AI 对话
模型就在这台机器上跑。可以问它问题、丢图片给它看、把文档交给它读 — 对话内容不离开你的电脑。
模块规格
执行位置100% 本机推理
模型多款开源模型可切换与下载
上下文依所选模型而定,最高 128K tokens
Feature 01 / 04
与模型对话
选一个已下载的模型启动,像用任何 AI 助手一样开始对话 — 只是这一次,推理发生在你自己的显卡上。
- 逐字流式输出 — 响应边生成边显示,不是等整段跑完才一次跳出来。
- 思考模式 — 需要深度推理时开启(默认关闭);完成后思考过程收在可展开的区块里。
- 长上下文 — 上下文长度依所选模型而定,最高 128K;真的超出时会裁剪并明白告诉你。
帮我把这段会议结论写成三点,语气正式一点。
一、下一版以离线体验为优先,云端功能延后评估。 二、由工程侧在本周内提出可行性评估与排期。 三、营销素材等评估结果出来后再启动。
思考 2 秒
Feature 02 / 04
图像理解
把图片拖进对话,或用附加按钮从电脑选文件,由本机视觉模型读懂画面里有什么。
- 拖进去就好 — 整个对话画面都是拖放区,不必先找上传框。
- 需要视觉模型 — 首次设置的三个对话基座都具备视觉能力;若当下用的是纯文本模型,会先问你要不要切换。
- 一次多张 — 单张 20 MB 以内,每条消息最多 5 张。
已附加 1 张图片
这张照片里在做什么?
画面是一段海岸线,一个孩子正沿着浅滩往镜头方向跑,脚边踢起水花;逆光拍摄,背景是低云与远处的浪。
Feature 03 / 04
文档回应
附加 PDF、Word、纯文本或表格,直接对着文档提问;回复会附上引用的参考段落,点开就能看原文。
- 放得下就整份读 — 文档放得进上下文就整份交给模型,状态显示“正在阅读文档”。
- 放不下就检索 — 太长的文档改成逐轮检索相关段落再作答,状态显示“正在检索相关段落”— 不会因为太长就拒绝回答。
- 诚实拒绝 — 扫描件这类没有文字层的 PDF 会明白告诉你,并建议先到文档识别工作站处理。
年度技术白皮书.pdf自动检索
这份文档对延迟的说法是什么?
文档的说法是:延迟取决于本机硬件,而不是机房负载 — 因为推理不经过网络往返,也不会在高峰时段排队。
参考段落
Feature 04 / 04
API 应用
应用程序运行的时候,对话模块同时是一个本机推理服务;任何支持自定义端点的工具都能直接接上。
- 双兼容端点 — 同时提供 OpenAI 兼容与 Anthropic 兼容端点,为两边 API 写的工具多半可直接用。
- 只绑本机 — 服务默认只监听 127.0.0.1;要让同网段的其他电脑使用,需自行在设置开启。
- 没有额度 — 没有 token 计费、没有速率方案 — 上限就是你的硬件。
API 连接地址
- Base URLhttp://127.0.0.1:2918/v1
- Model以 App 内“API 配置”页显示的为准
- API Key任意字符串(本机端点不验密钥)
同时提供 Anthropic 兼容端点;默认只绑本机。