Parta Runtime Lite / 指南 /在Linux上安装并运行
在Linux上安装并运行
Parta Runtime Lite 是单一可移植可运行档。没有安装进程,没有后台服务,也没有帐户。此页面涵盖了从下载到您在 Linux 上首次要求的所有内容。
Linux 版本是在 Ubuntu 26.04 下编译的。它是本机 Linux 二进制文档,在裸机 Linux 上以相同的方式运行,但如果您遇到任何发行版特定的问题,请通过 错误与反馈表单 告诉我们,它可以帮助我们针对真实环境进行测试。
1. 下载
从以下平台获取当前版本。 下载与验证部分 主页的。下载文件是一个包含可执行文件、示例配置文件和第三方许可通知的压缩包。
2. 验证校验码
在运行任何内容之前,请根据下载旁边发布的值检查文档的 SHA256 校验和:
sha256sum parta-runtime-lite-linux-cuda.zip
将输出与发布的哈希值进行比较。如果不匹配,就不要运行文件,重新下载。
3. 解压档案
将文件解压缩到磁盘、本机文件夹、外部磁盘机或网络共用上的任意位置。不需要 root 访问权限,并且在解压缩到的文件夹之外不会写入任何内容。
unzip parta-runtime-lite-linux-cuda.zip -d parta-runtime-lite
4. 配置
打开文件 lite.toml 在提取的文件夹和集合中 model.path 到你已经拥有的GGUF模型文件:
[model] path = "/home/you/models/your-model.gguf" gpu_layers = 99 context_size = 8192
设置数值 gpu_layers = 0 只能在CPU上运行。离开 server.host 作为 127.0.0.1 让服务器只能从你自己的机器访问,或者设置为 0.0.0.0 接受来自网络中其他设备的连接。
5. 运行程序
标记二进位可运行文档,然后运行它:
chmod +x parta-runtime-lite ./parta-runtime-lite
启动时,它会打印加载的模型及其正在侦听的地址。让终端机保持打开状态,或者如果您希望终端在断开连接后继续运行,请在 tmux/screen/nohup 下运行它。只要进程在运行,服务器就会运行。
6. 发送请求
服务器支持OpenAI兼容和Anthropic兼容的聊天完成格式。任何已经基于这些API的设置,都可以在这里用,方法是指向你本地地址:
curl http://127.0.0.1:8080/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{"model":"local","messages":[{"role":"user","content":"Hello"}]}'
有什么地方不起作用?
检查主页上的 错误与反馈表单,或用它来告诉我们您的发行版、内核版本、GPU 驱动程序以及您正在使用的型号,这是帮助我们追踪 Linux 特定的任何内容的最快方法。