Parta Runtime Lite / Sprievodca / Inštalácia a spustenie
Inštalácia a spustenie
Parta Runtime Lite je jeden prenosný spustiteľný súbor. Neexistuje žiadny inštalátor, žiadna služba na pozadí a žiadny účet. Táto stránka pokrýva všetko od stiahnutia až po vašu prvú požiadavku.
1. Stiahnuť
Získajte aktuálnu verziu z Sekcia stiahnuť a overiť domovskej stránky. Sťahovanie je zip súbor obsahujúci spustiteľný súbor, ukážkový konfiguračný súbor a oznámenia o licenciách tretích strán.
2. Overiť kontrolný súčet
Pred spustením čohokoľvek porovnajte SHA256 kontrolný súčet súboru s hodnotou zverejnenou vedľa stiahnutia. O Windows:
Get-FileHash .\parta-runtime-lite-cuda-v0.1.0.zip -Algorithm SHA256
Porovnajte výstup s publikovaným hashom. Ak sa nezhodujú, nespúšťajte súbor, stiahnite si ho znova.
3. Extrahujte archív
Rozbaľte archív kdekoľvek na disku, v lokálnom priečinku, externom disku alebo v sieťovom zdieľaní. Nie sú potrebné žiadne administrátorské práva a nič sa nepíše mimo priečinka, do ktorého rozbalujete.
4. Konfigurácia
Otvorte súbor lite.toml v rozbalenom priečinku a nastavte model.path na GGUF modelový súbor, ktorý už máte:
[model] path = "D:/models/your-model.gguf" gpu_layers = 99 context_size = 8192
Nastavte hodnotu gpu_layers = 0 aby som bežal len na CPU. Odíď server.host ako 127.0.0.1 aby bol server dostupný len z vášho vlastného počítača, alebo ho nastavte na 0.0.0.0 Prijímať pripojenia z iných zariadení vo vašej sieti.
5. Spustiť program
Spustiť program parta-runtime-lite.exe. Pri štarte vytlačí načítaný model a adresu, na ktorej počúva. Nechajte okno otvorené, server beží tak dlho, ako proces beží.
6. Pošlite žiadosť
Server používa formáty OpenAI kompatibilné a Anthropic kompatibilné s dokončením chatu. Čokoľvek, čo je už postavené proti týmto API, tu funguje tak, že to nasmerujete na vašu lokálnu adresu:
curl http://127.0.0.1:8080/v1/chat/completions ^
-H "Content-Type: application/json" ^
-d "{\"model\":\"local\",\"messages\":[{\"role\":\"user\",\"content\":\"Hello\"}]}"
Niečo nefunguje?
Skontrolujte Formulár na chybu a spätnú väzbu Na domovskej stránke alebo e-mailom support(at)parta.app priamo s verziou zostavenia, GPU/OS a modelom, ktorý používate.