Module 01 / 06
AI 對話
模型就在這台機器上跑。可以問它問題、丟圖片給它看、把文件交給它讀 — 對話內容不離開你的電腦。
模組規格
執行位置100% 本機推論
模型多款開源模型可切換與下載
上下文依所選模型而定,最高 128K tokens
Feature 01 / 04
與模型對話
選一個已下載的模型啟動,像用任何 AI 助理一樣開始對話 — 只是這一次,推論發生在你自己的顯示卡上。
- 逐字串流 — 回應邊生成邊顯示,不是等整段跑完才一次跳出來。
- 思考模式 — 需要深度推理時開啟(預設關閉);完成後思考過程收在可展開的區塊裡。
- 長上下文 — 上下文長度依所選模型而定,最高 128K;真的超出時會裁剪並明白告訴你。
幫我把這段會議結論寫成三點,語氣正式一點。
一、下一版以離線體驗為優先,雲端功能延後評估。 二、由工程端在本週內提出可行性評估與時程。 三、行銷素材等評估結果出來後再啟動。
思考 2 秒
Feature 02 / 04
圖像理解
把圖片拖進對話,或用附加鈕從電腦選檔,由本機視覺模型讀懂畫面裡有什麼。
- 拖進去就好 — 整個對話畫面都是拖放區,不必先找上傳框。
- 需要視覺模型 — 首次設定的三個對話基座都具備視覺能力;若當下用的是純文字模型,會先問你要不要切換。
- 一次多張 — 單張 20 MB 以內,每則訊息最多 5 張。
已附加 1 張圖片
這張照片裡在做什麼?
畫面是一段海岸線,一個孩子正沿著淺灘往鏡頭方向跑,腳邊踢起水花;逆光拍攝,背景是低雲與遠處的浪。
Feature 03 / 04
文件回應
附加 PDF、Word、純文字或表格,直接對著文件提問;回覆會附上引用的參考段落,點開就能看原文。
- 放得下就整份讀 — 文件放得進上下文就整份交給模型,狀態顯示「正在閱讀文件」。
- 放不下就檢索 — 太長的文件改成逐輪檢索相關段落再作答,狀態顯示「正在檢索相關段落」— 不會因為太長就拒絕回答。
- 誠實拒絕 — 掃描檔這類沒有文字層的 PDF 會明白告訴你,並建議先到文件辨識工作站處理。
年度技術白皮書.pdf自動檢索
這份文件對延遲的說法是什麼?
文件的說法是:延遲取決於本機硬體,而不是機房負載 — 因為推論不經過網路往返,也不會在尖峰時段排隊。
參考段落
Feature 04 / 04
API 應用
應用程式跑著的時候,對話模組同時是一個本機推論服務;任何支援自訂端點的工具都能直接接上。
- 雙相容端點 — 同時提供 OpenAI 相容與 Anthropic 相容端點,為兩邊 API 寫的工具多半可直接用。
- 只綁本機 — 服務預設只聽 127.0.0.1;要讓同網段的其他電腦使用,需自行在設定開啟。
- 沒有額度 — 沒有 token 計費、沒有速率方案 — 上限就是你的硬體。
API 連線位址
- Base URLhttp://127.0.0.1:2918/v1
- Model以 App 內「API 配置」頁顯示的為準
- API Key任意字串(本機端點不驗金鑰)
同時提供 Anthropic 相容端點;預設只綁本機。