Parta Runtime Lite / 指南 /在Linux上安裝並運行
在Linux上安裝並運行
Parta Runtime Lite 是單一可移植可執行檔。沒有安裝程序,沒有後台服務,也沒有帳戶。此頁面涵蓋了從下載到您在 Linux 上首次要求的所有內容。
Linux 版本是在 Ubuntu 26.04 下編譯的。它是本机 Linux 二进制文件,在裸机 Linux 上以相同的方式运行,但如果您遇到任何发行版特定的问题,请通过 錯誤與回饋表單 告诉我们,它可以帮助我们针对真实环境进行测试。
1. 下載
從 下載與驗證部分 首頁的。下載檔為包含執行檔、範例設定檔及第三方授權通知的壓縮檔。
2. 驗證校驗碼
在運行任何內容之前,請根據下載旁邊發布的值檢查文件的 SHA256 校驗和:
sha256sum parta-runtime-lite-linux-cuda.zip
將輸出與已公布的雜湊值做比較。如果不匹配,就不要執行該檔案,重新下載。
3. 解壓檔案
將檔案解壓縮到磁碟、本機資料夾、外部磁碟機或網路共用上的任意位置。不需要 root 存取權限,並且在解壓縮到的資料夾之外不會寫入任何內容。
unzip parta-runtime-lite-linux-cuda.zip -d parta-runtime-lite
4. 配置
打開檔案 lite.toml 在解壓的資料夾和集合中 model.path 到你已經有的GGUF模型檔案:
[model] path = "/home/you/models/your-model.gguf" gpu_layers = 99 context_size = 8192
設定數值 gpu_layers = 0 只用CPU來運行。離開 server.host 作為 127.0.0.1 讓伺服器只能從你自己的機器存取,或設定為 0.0.0.0 用來接受來自網路上其他裝置的連線。
5. 執行程式
標記二進位可執行文件,然後運行它:
chmod +x parta-runtime-lite ./parta-runtime-lite
啟動時,它會列印載入的模型及其正在偵聽的位址。讓終端機保持開啟狀態,或者如果您希望終端在斷開連接後繼續運行,請在 tmux/screen/nohup 下運行它。只要進程在運行,伺服器就會運行。
6. 發送請求
伺服器支援 OpenAI 相容的聊天完成格式,支援 Anthropic 的對話完成格式。任何已經針對這些API建立的設定,只要指向你當地地址,就可以使用:
curl http://127.0.0.1:8080/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{"model":"local","messages":[{"role":"user","content":"Hello"}]}'
有什麼地方不行嗎?
檢查主頁上的 錯誤與回饋表單,或用它來告訴我們您的發行版、核心版本、GPU 驅動程式以及您正在使用的型號,這是幫助我們追蹤 Linux 特定的任何內容的最快方法。