Module 01 / 06
AI 對話
模型就在這台機器上跑。可以問它問題、丟圖片給它看、把文件交給它讀 — 對話內容不離開你的電腦。
FEATURE 01
與模型對話
選一個已下載的模型啟動,像用任何 AI 助理一樣開始對話 — 只是這一次,推論發生在你自己的顯示卡上。
- 逐字串流回應邊生成邊顯示,不是等整段跑完才一次跳出來。
- 思考模式需要深度推理時開啟(預設關閉);完成後思考過程收在可展開的區塊裡。
- 長上下文上下文長度依所選模型而定,最高 128K;對話太長時會標出哪些訊息沒有納入,並依你這一題找回較早的相關內容。
- 對話留得住刪掉的對話 30 天內可以還原;對話可匯出成 Markdown 或純文字,搜尋也找得到訊息內容。
FEATURE 02
圖像理解
把圖片拖進對話,或用附加鈕從電腦選檔,由本機視覺模型讀懂畫面裡有什麼。
- 拖進去就好整個對話畫面都是拖放區,不必先找上傳框。
- 需要視覺模型首次設定的三個對話基座都具備視覺能力;若當下用的是純文字模型,會先問你要不要切換。
- 一次多張單張 20 MB 以內,每則訊息最多 5 張;圖片存在這台電腦上,重新開啟對話時還看得到。
FEATURE 03
文件回應
附加 PDF、Word、PowerPoint、Excel、純文字或表格,直接對著文件提問;回覆會附上引用的參考段落,點開就能看原文。
- 放得下就整份讀文件放得進上下文就整份交給模型,狀態顯示「正在閱讀文件」。
- 放不下就檢索太長的文件改成逐輪檢索相關段落再作答,狀態顯示「正在檢索相關段落」— 不會因為太長就拒絕回答。
- 誠實拒絕掃描檔這類沒有文字層的 PDF 會明白告訴你,並建議先到文件辨識工作站處理。
段落預覽 · 第 12 頁
在本機完成推論的情況下,端到端延遲由裝置本身的運算能力決定。沒有網路往返,也不存在尖峰時段的排隊。
此為擷取的文字內容,非原始檔版面。FEATURE 04
API 應用
應用程式跑著的時候,對話模組同時是一個本機推論服務;任何支援自訂端點的工具都能直接接上。
- 雙相容端點同時提供 OpenAI 相容與 Anthropic 相容端點,為兩邊 API 寫的工具多半可直接用。
- 只綁本機服務預設只聽 127.0.0.1;要讓同網段的其他電腦使用,需自行在設定開啟,對方還要帶上你建立的 API 金鑰。
- 沒有額度沒有 token 計費、沒有速率方案 — 上限就是你的硬體。