Parta Runtime Lite / 導覽 / 安裝並執行
安裝並執行
Parta Runtime Lite 是一個可攜式執行檔。沒有安裝程式、沒有背景服務,也沒有帳號。本頁涵蓋從下載到首次請求的所有內容。
1. 下載
從 下載與驗證部分 首頁的。下載檔為包含執行檔、範例設定檔及第三方授權通知的壓縮檔。
2. 驗證校驗碼
執行任何操作前,先檢查檔案的SHA256校驗碼與下載旁邊公布的值。關於Windows:
Get-FileHash .\parta-runtime-lite-cuda-v0.1.0.zip -Algorithm SHA256
將輸出與已公布的雜湊值做比較。如果不匹配,就不要執行該檔案,重新下載。
3. 解壓檔案
將壓縮檔解壓縮到磁碟、本地資料夾、外接硬碟或網路共享中的任何位置。不需要管理員權限,也不會寫出你解壓縮到的資料夾以外的內容。
4. 配置
打開檔案 lite.toml 在解壓的資料夾和集合中 model.path 到你已經有的GGUF模型檔案:
[model] path = "D:/models/your-model.gguf" gpu_layers = 99 context_size = 8192
設定數值 gpu_layers = 0 只用CPU來運行。離開 server.host 作為 127.0.0.1 讓伺服器只能從你自己的機器存取,或設定為 0.0.0.0 用來接受來自網路上其他裝置的連線。
5. 執行程式
執行程式 parta-runtime-lite.exe.啟動時會列印已載入的模型和正在監聽的位址。視窗保持開啟,伺服器會持續運作,直到程序還在執行為止。
6. 發送請求
伺服器支援 OpenAI 相容的聊天完成格式,支援 Anthropic 的對話完成格式。任何已經針對這些API建立的設定,只要指向你當地地址,就可以使用:
curl http://127.0.0.1:8080/v1/chat/completions ^
-H "Content-Type: application/json" ^
-d "{\"model\":\"local\",\"messages\":[{\"role\":\"user\",\"content\":\"Hello\"}]}"
有什麼地方不行嗎?
檢查一下 錯誤與回饋表單 在首頁,或直接寄信給support(at)parta.app你的建置版本、GPU/作業系統和你使用的型號。