AI チャット
モデルはこのマシンの上で動きます。質問したり、画像を見せたり、文書を読ませたり — 会話の内容があなたのPCから出ることはありません。
モデルと会話する
ダウンロード済みのモデルを 1 つ選んで起動すれば、ほかの AI アシスタントと同じように会話を始められます — ただし今回は、推論があなた自身のグラフィックスカードで起こります。
- 逐次ストリーミング — 応答は生成しながら表示されます。全部が終わってから一度に出てくるわけではありません。
- 思考モード — 深い推論が必要なときにオンにします(既定はオフ)。完了後、思考過程は展開できるブロックに収まります。
- 長いコンテキスト — コンテキスト長は選択したモデルに依存し、最大 128K。本当に超えた場合は切り詰めたうえで、その旨をはっきりお知らせします。
この会議の結論を 3 点にまとめて、少しフォーマルな文体でお願いします。
1. 次のバージョンはオフライン体験を最優先とし、クラウド機能の検討は先送りする。 2. エンジニアリング側が今週中に実現可能性の評価とスケジュールを提示する。 3. マーケティング素材は、評価結果が出てから着手する。
画像理解
画像をチャットにドラッグするか、添付ボタンからPC内のファイルを選ぶと、端末内のビジョンモデルが画面の中身を読み取ります。
- ドラッグするだけ — チャット画面全体がドロップ領域です。先にアップロード用の枠を探す必要はありません。
- ビジョンモデルが必要 — 初回設定で選べる 3 つのチャット基盤モデルは、いずれも画像に対応しています。テキスト専用モデルを使っている場合は、切り替えるかどうかを先に確認します。
- 一度に複数枚 — 1 枚あたり 20 MB 以内、1 メッセージにつき最大 5 枚までです。
この写真では何をしているところですか?
写っているのは海岸線です。子どもが浅瀬をカメラのほうへ走ってきていて、足元では水しぶきが上がっています。逆光で撮影されており、背景には低い雲と遠くの波が見えます。
文書への回答
PDF、Word、プレーンテキスト、表形式のファイルを添付して、その文書について直接質問できます。回答には引用した根拠段落が付き、開けば原文を確認できます。
- 収まるなら全文を読む — 文書がコンテキストに収まる場合は全文をモデルに渡し、ステータスは「文書を読んでいます」と表示されます。
- 収まらなければ検索 — 長すぎる文書は、質問ごとに関連する段落を検索してから回答します。ステータスは「関連する段落を検索しています」— 長いという理由で回答を断ることはありません。
- 正直に断る — スキャン画像のようにテキスト層のない PDF は、その旨をはっきりお伝えし、先に文書認識ワークステーションで処理することをご提案します。
この文書は遅延について何と言っていますか?
文書によれば、遅延はデータセンターの負荷ではなくローカルのハードウェアで決まる、とされています — 推論はネットワークの往復を経ず、ピーク時間帯に順番待ちをすることもないためです。
API 活用
アプリが動いている間、チャットモジュールは同時にローカルの推論サービスでもあります。カスタムエンドポイントに対応するツールなら、そのまま接続できます。
- 2 種類の互換エンドポイント — OpenAI 互換と Anthropic 互換のエンドポイントを同時に提供します。どちらの API 向けに書かれたツールも、多くはそのまま使えます。
- ローカルのみにバインド — サービスは既定で 127.0.0.1 だけを待ち受けます。同じネットワークの他のPCから使うには、設定でご自身で有効にする必要があります。
- 上限枠なし — トークン課金もレートプランもありません — 上限はあなたのハードウェアです。
- Base URLhttp://127.0.0.1:2918/v1
- Modelアプリ内「API 設定」ページの表示が基準です
- API Key任意の文字列(ローカルエンドポイントはキーを検証しません)
Anthropic 互換エンドポイントも同時に提供します。既定ではローカルのみにバインドされます。