Parta Runtime

本地推理服务器。四层

无需组装 Python 或容器技术栈即可运行本地 GGUF 推理。先使用免费的便携版本,再转入生产环境,在计算前验证请求、控制执行背景,并以身份支持的出处信息记录指定事件。

向下滚动

如果存储或 RAM 是您的限制因素,而不是 GPU

同样的rack。
更多容量。

73 MB
与典型 Python/CUDA inference stack 的 8-20 GB 相比
~15 GB
每个 instance 释放,通常有空间用于整个额外的工作负载
200 → 400
可在同一 200 个节点 rack 中部署 instances,无需新硬件

当存储或系统 RAM(而不是 GPU 内存)限制每个 host 可以运行的数量时,就会出现这种情况。相同的硬件提供大约两倍的可用容量,无论是服务于更多付费 tenant 还是更多内部工作负载和部门。

弟弟

Parta Runtime,
没有平台。

Parta Assist运行在全栈上:应用、后端和Parta Runtime,推理引擎,连接身份、审计轨迹以及受监管行业的政策控制。Runtime Lite 就是那个推理引擎,去掉了其他所有东西。

没有身份层/没有审计链/没有策略引擎

设计上兼容

讲述各种格式
你已经在用了。

聊天完成端点兼容OpenAI和Anthropic兼容,所以任何已经基于这些API构建的服务都可以对你自己的本地服务器使用。对于接受图像输入的模型,还支持视觉。

包含OpenAI兼容 / Anthropic兼容 / 包含视觉

随处可复制

下载并提取档案,
运行程序。

一个静态链接的可执行文件和一个配置文件。没有管理员权限,没有安装程序,也没有后台服务需要管理。把配置指向你机器上已有的GGUF模型文件。

带自己的型号 / 无账户 / 无追踪

路线图

Windows 和 Linux。
接下来是Vulkan。

CUDA 版本适用于 Windows 和 Linux。 Vulkan 已列入 NVIDIA 以外的硬件路线图。

Windows CUDA / Linux CUDA / Vulkan(即将)

个人到商业两层

Lite Free.
Lite.

生产团队可能不仅需要本地端点。Runtime 可在分配受保护的推理资源前验证来源、会话和执行权限。受治理部署可从更广泛的 Parta 平台接收已解析模型背景、获授权知识、执行范围适配器和受控种子。

Runtime 记录指定执行事件、成果及出处信息,以便后续审阅;Runtime Pro 则把身份支持的验证扩展到各节点和服务。这些控制支持治理与重建,但不能取代风险评估、专业审阅或合规义务。

推理前验证  /  受控适配器与背景  /  执行记录  /  专利申请中的架构

免费。现已上市

Lite Free

许可证个人及评价
标准推理✓
审核链✗
身份来源✗

商业。联系我们

Lite

许可证商业,询价
标准推理✓
审核链✗
身份来源✗

两层,经过身份支持审核

Runtime.
Runtime Pro.

当人工智能系统处理受监管的数据时,仅靠信任不足以实现合规性。 Runtime 记录运行的内容和时间,无需您构建该基础设施。

它是治理流程之下的证据层,而不是替代品。您保留风险评估和审查政策的所有权; Runtime 确保它们所依赖的记录事后不能被悄悄编辑。

签名端点/防篡改日志/正在申请专利的架构

商业。联系我们

Runtime

许可证商业,询价
标准推理✓
审核链✓
身份来源✗

商业。联系我们

Runtime Pro

许可证商业,询价
标准推理✓
审核链✓
身份来源✓

下载 Runtime Lite Free 并验证。

CUDA · v0.1.0 · 个人、教育和评估用途

需要带有 CUDA 13 兼容驱动程序的 NVIDIA GPU。其他硬件的 Vulkan 构建正在进行中。

下载存档并在运行之前根据以下值验证其 SHA256 校验和。

Windows

Linux

问题

在你问之前

什么是Parta Runtime Lite?

一个单一的可移植执行文件,运行你自己机器上的本地AI推理服务器。它是Parta Runtime的简化版,是Parta Assist背后的推理引擎,去除了身份层、审计链和策略引擎。

它支持哪些API格式?

既支持OpenAI,也兼容Anthropic的聊天完成格式,因此基于这些API构建的工具无需修改即可对本地服务器运行。对于接受图像输入的模型,还支持视觉。

它是否包含身份、审计或政策特征?

不。Runtime Lite 有意剥离了所有构成制作Parta Runtime的内容。它只是一个纯推理服务器。

需要什么硬件?

CUDA 版本可用于 Windows 和 Linux,需要具有可用驱动程序的 NVIDIA GPU。 Vulkan 已在其他硬件的路线图上。

我该如何执行程序?

下载压缩包,解压到磁盘上的任意位置,把附带的配置文件指向你已有的GGUF型号文件,然后运行可执行文件。没有安装程序,没有管理员权限,也没有后台服务。

软件会传输任何数据吗?

不。它完全运行在你自己的设备上,不会向 Parta 或其他任何人发送提示、响应或使用数据。

Runtime Lite Free、Lite、Runtime 和 Runtime Pro 之间有什么区别?

Runtime Lite Free 是供个人、教育和评估用途的免费下载。 Runtime Lite 是相同的推理引擎和端点,具有用于生产用途的商业许可。 Runtime 添加了 Parta 协议审计链。 Runtime Pro 添加了身份支持的来源。可通过联系表查询商业级别。

概览

了解您的推理服务器实际花费了多少。

只需用三十秒介绍一下自己,我们就会向您开放该文档。不会有销售电话,也不会后续联系。

漏洞与反馈

欢迎联系

我们阅读每一条消息。

如需商业评估,请说明预期工作负载、硬件、集成格式、适配器和知识需求,以及推理前后必须验证的事项。同一表格也可联系技术支持,处理安装问题、模型兼容性、缺陷和性能疑问。