Parta Runtime Lite / Průvodce / Instalace a spuštění
Instalace a spuštění
Parta Runtime Lite je jeden přenosný spustitelný soubor. Není tam žádný instalátor, žádná služba na pozadí a žádný účet. Tato stránka pokrývá vše od stažení až po vaši první žádost.
1. Stáhněte
Získejte aktuální verzi z Sekce ke stažení a ověření domovské stránky. Stahování je zip soubor obsahující spustitelný soubor, ukázkový konfigurační soubor a oznámení o licenci třetích stran.
2. Ověřit kontrolní součet
Před spuštěním čehokoliv zkontrolujte SHA256 kontrolní součet souboru s hodnotou zveřejněnou vedle stažení. O Windows:
Get-FileHash .\parta-runtime-lite-cuda-v0.1.0.zip -Algorithm SHA256
Porovnejte výstup s publikovaným hashem. Pokud se neshodují, soubor nespouštějte, stáhněte si ho znovu.
3. Extrahovat archiv
Rozbalte archiv kdekoli na disku, v lokální složce, externím disku nebo na síťovém sdílení. Nejsou potřeba žádná administrátorská práva a nic se nezapisuje mimo složku, do které rozbalujete.
4. Konfigurovat
Otevřete soubor lite.toml v rozbalené složce a nastavte model.path K GGUF modelovému souboru, který už máte:
[model] path = "D:/models/your-model.gguf" gpu_layers = 99 context_size = 8192
Nastavte hodnotu gpu_layers = 0 Běžet pouze na CPU. Odejděte server.host jako 127.0.0.1 Nechte server dostupný pouze z vašeho vlastního počítače, nebo nastavte na 0.0.0.0 přijímat připojení z jiných zařízení ve vaší síti.
5. Spusť program
Spusť program parta-runtime-lite.exe. Při spuštění vytiskne načtený model a adresu, na které poslouchá. Nechte okno otevřené, server běží tak dlouho, dokud proces běží.
6. Pošlete žádost
Server mluví OpenAI kompatibilní a Anthropic kompatibilní formáty pro dokončení chatu. Cokoli, co už je postaveno proti těmto API, funguje tady tak, že to nasměrujete na vaši lokální adresu:
curl http://127.0.0.1:8080/v1/chat/completions ^
-H "Content-Type: application/json" ^
-d "{\"model\":\"local\",\"messages\":[{\"role\":\"user\",\"content\":\"Hello\"}]}"
Něco nefunguje?
Zkontrolujte Formulář pro chybu a zpětnou vazbu Na domovské stránce nebo support(at)parta.app přímo e-mailem s verzí buildu, GPU/OS a modelem, který používáte.