Module 01 / 06
AI 对话
模型就在这台机器上跑。可以问它问题、丢图片给它看、把文档交给它读 — 对话内容不离开你的电脑。
FEATURE 01
与模型对话
选一个已下载的模型启动,像用任何 AI 助手一样开始对话 — 只是这一次,推理发生在你自己的显卡上。
- 逐字流式输出响应边生成边显示,不是等整段跑完才一次跳出来。
- 思考模式需要深度推理时开启(默认关闭);完成后思考过程收在可展开的区块里。
- 长上下文上下文长度依所选模型而定,最高 128K;对话太长时会标出哪些消息没有纳入,并根据你这一问找回较早的相关内容。
- 对话留得住删掉的对话 30 天内可以恢复;对话可导出成 Markdown 或纯文本,搜索也找得到消息内容。
FEATURE 02
图像理解
把图片拖进对话,或用附加按钮从电脑选文件,由本机视觉模型读懂画面里有什么。
- 拖进去就好整个对话画面都是拖放区,不必先找上传框。
- 需要视觉模型首次设置的三个对话基座都具备视觉能力;若当下用的是纯文本模型,会先问你要不要切换。
- 一次多张单张 20 MB 以内,每条消息最多 5 张;图片保存在这台电脑上,重新打开对话时还看得到。
FEATURE 03
文档回应
附加 PDF、Word、PowerPoint、Excel、纯文本或表格,直接对着文档提问;回复会附上引用的参考段落,点开就能看原文。
- 放得下就整份读文档放得进上下文就整份交给模型,状态显示“正在阅读文档”。
- 放不下就检索太长的文档改成逐轮检索相关段落再作答,状态显示“正在检索相关段落”— 不会因为太长就拒绝回答。
- 诚实拒绝扫描件这类没有文字层的 PDF 会明白告诉你,并建议先到文档识别工作站处理。
段落预览 · 第 12 页
在本机完成推理的情况下,端到端延迟由设备本身的运算能力决定。没有网络往返,也不存在高峰时段的排队。
此为提取的文字内容,非原始文件版面。FEATURE 04
API 应用
应用程序运行的时候,对话模块同时是一个本机推理服务;任何支持自定义端点的工具都能直接接上。
- 双兼容端点同时提供 OpenAI 兼容与 Anthropic 兼容端点,为两边 API 写的工具多半可直接用。
- 只绑本机服务默认只监听 127.0.0.1;要让同网段的其他电脑使用,需自行在设置开启,对方还要带上你创建的 API 密钥。
- 没有额度没有 token 计费、没有速率方案 — 上限就是你的硬件。