Parta Runtime

本地推理伺服器。四層

無需组装 Python 或容器技術栈即可運行本機 GGUF 推理。先使用免费的便携版本,再轉入生產环境,在計算前驗證请求、控制执行背景,並以身份支持的出處資訊記錄指定事件。

往下滑

如果儲存或 RAM 是您的限制因素,而不是 GPU

同樣的rack。
更多容量。

73 MB
與典型 Python/CUDA inference stack 的 8-20 GB 相比
~15 GB
每個 instance 釋放,通常有空間用於整個額外的工作負載
200 → 400
可在同一 200 個節點 rack 中部署 instances,無需新硬體

當儲存或系統 RAM(而不是 GPU 記憶體)限制每個 host 可以運行的數量時,就會發生這種情況。相同的硬體提供約兩倍的可用容量,無論是服務更多付費 tenant 或更多內部工作負載和部門。

弟弟

Parta Runtime,
沒有平台。

Parta Assist運行於全端架構:應用程式、後端、Parta Runtime、推論引擎、與身份連結、審計追蹤,以及受規範產業的政策控制。Runtime Lite 就是那個推理引擎,只是剝除了其他所有東西。

沒有身份層/沒有稽核鏈/沒有政策引擎

設計上相容

會說各種格式
你已經在用了。

OpenAI 相容、Anthropic 相容的聊天完成端點,所以任何已經針對這些API建置的服務都能在你自己的本地伺服器上運作。對於接受影像輸入的模型,也包含視覺支援。

OpenAI相容 / Anthropic相容 / 包含視覺

隨處可複製

下載並解壓檔案,
執行程式。

一個靜態連結的執行檔和一個設定檔。沒有管理員權限,沒有安裝程式,也沒有背景服務需要管理。把設定檔指向你機器上已經存在的GGUF模型檔案。

帶自己的型號/無帳號/無追蹤

路線圖

Windows 和 Linux。
接下來是Vulkan。

CUDA 版本適用於 Windows 和 Linux。 Vulkan 已列入 NVIDIA 以外的硬體路線圖。

Windows CUDA / Linux CUDA / Vulkan(即將)

個人到商業兩層

Lite Free.
Lite.

生產團隊可能不僅需要本機端點。Runtime 可在分配受保護的推理資源前驗證來源、會話和执行權限。受治理部署可從更廣泛的 Parta 平台接收已解析模型背景、獲授權知識、执行范圍適配器和受控种子。

Runtime 記錄指定执行事件、成果及出處資訊,以便后續審閱;Runtime Pro 則把身份支持的驗證擴展到各节點和服務。這些控制支持治理与重建,但不能取代风险評估、專業審閱或合規義務。

推理前驗證  /  受控適配器与背景  /  执行記錄  /  專利申请中的架構

免費。現已上市

Lite Free

許可證個人及評價
標準推理✓
審核鏈✗
身分來源✗

商業。聯絡我們

Lite

許可證商業,詢價
標準推理✓
審核鏈✗
身分來源✗

兩層,經過身分支持審核

Runtime.
Runtime Pro.

當人工智慧系統處理受監管的資料時,僅靠信任不足以實現合規性。 Runtime 記錄運行的內容和時間,無需您建置該基礎架構。

它是治理流程之下的證據層,而不是替代品。您保留風險評估和審查政策的所有權; Runtime 確保它們所依賴的記錄事後不能被悄悄編輯。

簽章端點/防篡改日誌/正在申請專利的架構

商業。聯絡我們

Runtime

許可證商業,詢價
標準推理✓
審核鏈✓
身分來源✗

商業。聯絡我們

Runtime Pro

許可證商業,詢價
標準推理✓
審核鏈✓
身分來源✓

下載 Runtime Lite Free 並驗證。

CUDA · v0.1.0 · 個人、教育和評估用途

需要具有 CUDA 13 相容驅動程式的 NVIDIA GPU。其他硬體的 Vulkan 建置正在進行中。

下載存檔並在運行之前根據以下值驗證其 SHA256 校驗和。

Windows

Linux

問題

在你問之前

什麼是Parta Runtime Lite?

一個可攜式的執行檔,能在你自己的電腦上運行本地的 AI 推論伺服器。它是Parta Runtime的簡化版, 是背後Parta Assist的推論引擎,移除了身份層、稽核鏈和政策引擎。

它支援哪些API格式?

具備 OpenAI 相容與 Anthropic 相容的聊天完成格式,因此針對這些API打造的工具可在本地伺服器上使用,無需修改。對於接受影像輸入的模型,也包含視覺支援。

它包含身份、審計或政策功能嗎?

不。Runtime Lite 刻意剝除了所有構成製作Parta Runtime的元素。它只是一個純粹的推理伺服器。

需要什麼硬體?

CUDA 版本可用於 Windows 和 Linux,需要具有可用驅動程式的 NVIDIA GPU。 Vulkan 已在其他硬體的路線圖上。

我該如何執行這個程式?

下載壓縮檔,解壓到磁碟上的任何位置,將附帶的設定檔指向你已有的GGUF模型檔,然後執行執行檔。沒有安裝程式,沒有管理員權限,也沒有背景服務。

軟體會傳送任何資料嗎?

不。它完全在你自己的裝置上運行,不會向 Parta 或其他任何人傳送提示、回應或使用資料。

Runtime Lite Free、Lite、Runtime 和 Runtime Pro 之間有什麼區別?

Runtime Lite Free 是供個人、教育和評估用途的免費下載。 Runtime Lite 是相同的推理引擎和端點,具有用於生產用途的商業許可。 Runtime 新增了 Parta 協定審計鏈。 Runtime Pro 增加了身分支援的來源。可透過聯絡表單查詢商業層級。

概覽

瞭解您的推論伺服器實際花費了多少。

只需用三十秒介紹一下自己,我們便會讓您存取該文件。不會有銷售電話,也不會後續聯絡。

錯誤與回饋

歡迎與我們聯繫

我們閱讀每一則訊息。

如需商業評估,请说明预期工作负載、硬件、集成格式、適配器和知識需求,以及推理前后必須驗證的事項。同一表格也可聯繫技術支持,處理安装問題、模型兼容性、缺陷和性能疑問。