ローカル推論サーバー。 4段
Pythonやコンテナ環境を組み立てずにローカルGGUF推論を実行します。無料のポータブル版から始め、本番環境では計算前にリクエストを検証し、実行コンテキストを管理し、定義済みイベントを身元に裏付けられた来歴とともに記録できます。
スクロールして下に
GPU ではなく、ストレージまたは RAM が制限要因である場合
これは、GPU メモリではなくストレージまたはシステム RAM が host あたりの実行量を制限する場合に適用されます。同じハードウェアは、より高額な tenant にサービスを提供する場合でも、より多くの内部ワークロードや部門にサービスを提供する場合でも、約 2 倍の使用可能容量を提供します。
弟
Parta Assistフルスタックで動作します:アプリ、バックエンド、Parta Runtime、アイデンティティに配線された推論エンジン、監査記録、規制業界向けのポリシー管理などです。Runtime Liteは同じ推論エンジンで、他のすべてを削ぎ落としています。
アイデンティティレイヤーなし/監査チェーンなし/ポリシーエンジンなし
設計上互換性があります
OpenAI互換・Anthropic互換のチャット完了エンドポイントが使われているので、すでにそれらのAPIに対して構築されたものは、自分のローカルサーバーに対しても動作します。画像入力を受け入れるモデルには視覚サポートが組み込まれています。
OpenAI互換/Anthropic互換/ビジョン搭載
どこでもコピーしていい
静的リンク実行ファイル1つと設定ファイル1つ。管理者権限もなく、インストーラーもなく、バックグラウンドサービスも管理できません。設定はすでにマシンにあるGGUFモデルファイルに向けてください。
自分のモデルを持ち込む/アカウントなし/追跡なし
ロードマップ
CUDA ビルドは、Windows と Linux の両方で使用できます。 Vulkan は、NVIDIA 以外のハードウェアのロードマップにあります。
Windows CUDA / Linux CUDA / Vulkan (近々)
個人用から商用までの 2 つの層
本番チームにはローカルエンドポイント以上のものが必要な場合があります。Runtimeは、保護された推論リソースの割り当て前に、発信元、セッション、実行権限を検証する設計です。統制された導入では、Partaプラットフォーム全体から、解決済みモデルコンテキスト、認可済み知識、実行範囲のアダプター、管理されたシードを受け取れます。
Runtimeは、後のレビューに向けて定義済み実行イベント、出力、来歴を記録します。Runtime Proはさらに、ノードとサービス全体で身元に裏付けられた検証を行います。これらの制御はガバナンスと再構成を支えますが、リスク評価、専門家レビュー、コンプライアンス義務に代わるものではありません。
推論前検証 / 管理されたアダプターとコンテキスト / 実行記録 / 特許出願中のアーキテクチャ
無料。今すぐ利用可能
コマーシャル。お問い合わせ
2 つの層、監査から ID に裏付けされたものまで
AI システムが規制されたデータを処理する場合、コンプライアンスを達成するには信頼だけでは十分ではありません。 Runtime は、インフラストラクチャを構築することなく、いつ何が実行されたかを記録します。
これはガバナンス プロセスの下にある証拠層であり、それに代わるものではありません。あなたはリスク評価とレビューポリシーの所有権を保持します。 Runtime は、依存するレコードが後から静かに編集できないようにします。
署名付きエンドポイント / 改ざん防止ログ / 特許出願中のアーキテクチャ
コマーシャル。お問い合わせ
コマーシャル。お問い合わせ
CUDA · v0.1.0 · 個人、教育、評価での使用
CUDA 13 互換ドライバーを備えた NVIDIA GPU が必要です。他のハードウェア向けの Vulkan ビルドが進行中です。
アーカイブをダウンロードし、実行する前にその SHA256 チェックサムを以下の値と比較して確認します。
質問
自分のマシン上でローカルなAI推論サーバーを実行する単一のポータブル実行ファイルです。これは、Parta Assistの推論エンジンであるParta Runtimeの簡略版であり、アイデンティティ層、監査チェーン、ポリシーエンジンが取り除かれています。
OpenAI互換・Anthropic互換のチャット完了フォーマットなので、これらのAPIに合わせて既に構築されたツールは、変更なしでローカルサーバーに対して動作します。画像入力を受け入れるモデルには視覚サポートが組み込まれています。
いいえ。Runtime Liteは意図的にプロダクションParta Runtimeを構成するすべてを削ぎ落としています。これは単なる推論サーバーです。
CUDA ビルドは Windows および Linux で利用できますが、動作するドライバーを備えた NVIDIA GPU が必要です。 Vulkan は他のハードウェアのロードマップにあります。
zipファイルをダウンロードし、ディスク上のどこにでも解凍し、付属の設定ファイルをすでに持っているGGUFモデルファイルに向け、実行ファイルを実行します。インストーラーも管理者権限もバックグラウンドサービスもありません。
いいえ。完全に自分のデバイス上で動作し、プロンプトや応答、使用データをPartaや他の誰かに送信しません。
Runtime Lite Free は、個人、教育、評価用に無料でダウンロードできます。 Runtime Lite は、本番使用のための商用ライセンスに基づく同じ推論エンジンとエンドポイントです。 Runtime は、Parta プロトコル監査チェーンを追加します。 Runtime Pro は、アイデンティティに裏付けられた出所を追加します。商用層については、お問い合わせフォームからお問い合わせください。
概要
30秒で自己紹介していただければ、資料へのアクセスをご案内します。営業電話やその後の勧誘はありません。
バグとフィードバック
私たちはすべてのメッセージを読みます。
商用評価については、想定する処理、ハードウェア、連携形式、アダプターと知識の要件、推論前後に検証すべき事項をお知らせください。同じフォームから、導入上の問題、モデル互換性、バグ、性能に関する技術サポートにも連絡できます。