v1.0.11.0 正式版:6 つのツールを 1 つのワークスペースに。新機能を見る →

Module 01 / 06

AI チャット

モデルはこのマシンの上で動きます。質問したり、画像を見せたり、文書を読ませたり — 会話の内容があなたのPCから出ることはありません。

AI チャットのワークステーション:左に会話リスト、中央にストリーミング中の応答、右にモデルとパラメーター

FEATURE 01

モデルと会話する

ダウンロード済みのモデルを 1 つ選んで起動すれば、ほかの AI アシスタントと同じように会話を始められます — ただし今回は、推論があなた自身のグラフィックスカードで起こります。

  • 逐次ストリーミング応答は生成しながら表示されます。全部が終わってから一度に出てくるわけではありません。
  • 思考モード深い推論が必要なときにオンにします(既定はオフ)。完了後、思考過程は展開できるブロックに収まります。
  • 長いコンテキストコンテキスト長は選択したモデルに依存し、最大 128K。チャットが長すぎるときは、含まれなかったメッセージを示したうえで、今回の質問に関係する以前の内容を呼び戻します。
  • チャットが残る削除したチャットは 30 日以内なら元に戻せます。チャットは Markdown またはプレーンテキストとしてエクスポートでき、検索ではメッセージの本文も見つかります。
AI チャット — モデルと会話するイメージ表示

この会議の結論を 3 点にまとめて、少しフォーマルな文体でお願いします。

思考 2 秒

一、次のリリースではオフライン体験を優先し、クラウド機能の検討は後回しにします。 二、エンジニアリング側が今週中に実現可能性の評価とスケジュールを提示します。 三、マーケティング素材は評価結果が出てから着手します。

FEATURE 02

画像理解

画像をチャットにドラッグするか、添付ボタンからPC内のファイルを選ぶと、端末内のビジョンモデルが画面の中身を読み取ります。

  • ドラッグするだけチャット画面全体がドロップ領域です。先にアップロード用の枠を探す必要はありません。
  • ビジョンモデルが必要初回設定で選べる 3 つのチャット基盤モデルは、いずれも画像に対応しています。テキスト専用モデルを使っている場合は、切り替えるかどうかを先に確認します。
  • 一度に複数枚1 枚あたり 20 MB 以内、1 メッセージにつき最大 5 枚までです。画像はこのPCに保存され、チャットを開き直しても表示されます。
AI チャット — 画像理解イメージ表示
デモ用の写真 — 海辺を走る子ども
画像 1 枚を添付しました

この写真では何をしているところですか?

画像を解析中

写っているのは海岸線です。子どもが浅瀬をカメラのほうへ走ってきていて、足元では水しぶきが上がっています。逆光で撮影されており、背景には低い雲と遠くの波が見えます。

FEATURE 03

文書への回答

PDF、Word、PowerPoint、Excel、プレーンテキスト、表形式のファイルを添付して、その文書について直接質問できます。回答には引用した根拠段落が付き、開けば原文を確認できます。

  • 収まるなら全文を読む文書がコンテキストに収まる場合は全文をモデルに渡し、ステータスは「文書を読んでいます」と表示されます。
  • 収まらなければ検索長すぎる文書は、質問ごとに関連する段落を検索してから回答します。ステータスは「関連する段落を検索しています」— 長いという理由で回答を断ることはありません。
  • 正直に断るスキャン画像のようにテキスト層のない PDF は、その旨をはっきりお伝えし、先に文書認識ワークステーションで処理することをご提案します。
AI チャット — 文書への回答イメージ表示
年次技術ホワイトペーパー.pdf48 ページ · 62,400 字自動検索

この文書は遅延について何と言っていますか?

関連する段落を検索しています

文書によれば、遅延はデータセンターの負荷ではなくローカルのハードウェアで決まる、とされています — 推論はネットワークの往復を経ず、ピーク時間帯に順番待ちをすることもないためです。

根拠段落
段落プレビュー · 12 ページ

推論をローカルで完結させる場合、エンドツーエンドの遅延は端末そのものの計算能力によって決まります。ネットワークの往復はなく、ピーク時間帯の順番待ちも存在しません。

これは抽出されたテキストであり、元ファイルのレイアウトではありません。

FEATURE 04

API 活用

アプリが動いている間、チャットモジュールは同時にローカルの推論サービスでもあります。カスタムエンドポイントに対応するツールなら、そのまま接続できます。

  • 2 種類の互換エンドポイントOpenAI 互換と Anthropic 互換のエンドポイントを同時に提供します。どちらの API 向けに書かれたツールも、多くはそのまま使えます。
  • ローカルのみにバインドサービスは既定で 127.0.0.1 だけを待ち受けます。同じネットワークの他のPCから使うには、設定でご自身で有効にする必要があり、相手側にはあなたが作成した API キーも必要です。
  • 上限枠なしトークン課金もレートプランもありません — 上限はあなたのハードウェアです。
API ページを見る →
API 接続情報イメージ表示
Base URL
http://127.0.0.1:2918/v1
Model
アプリ内「API 設定」ページの表示が基準です
API Key
同じPC:任意の文字列。ローカルネットワーク上の端末:あなたが作成したキー

Anthropic 互換エンドポイントも同時に提供します。既定ではローカルのみにバインドされ、ローカルネットワークアクセスには API キーが必要です。

Next

マシンが届いたら 4 ステップで開始

ダウンロードとインストール、同意、シリアル認証、モデルダウンロード — 時間のほとんどはダウンロード待ちです。