Parta Runtime Lite / Guide / Installer og kjør
Installer og kjør
Parta Runtime Lite er en enkelt bærbar kjørbar fil. Det finnes ingen installasjonsprogram, ingen bakgrunnstjeneste og ingen konto. Denne siden dekker alt fra nedlasting til din første forespørsel.
1. Last ned
Hent den nåværende versjonen fra Last ned og verifiser seksjonen av hjemmesiden. Nedlastingen er en zip-fil som inneholder den kjørbare filen, en eksempelkonfigurasjonsfil og tredjepartslisensvarsler.
2. Verifiser sjekksummen
Før du kjører noe, sjekk filens SHA256 sjekksum mot verdien som er publisert ved siden av nedlastingen. På Windows:
Get-FileHash .\parta-runtime-lite-cuda-v0.1.0.zip -Algorithm SHA256
Sammenlign utdataene med den publiserte hashen. Hvis de ikke stemmer, ikke kjør filen, last den ned igjen.
3. Pakk ut arkivet
Pakk ut arkivet hvor som helst på disk, i en lokal mappe, på en ekstern disk eller på en nettverksdeling. Ingen administratorrettigheter kreves, og ingenting skrives utenfor mappen du pakker ut til.
4. Konfigurer
Åpne filen lite.toml i den utpakkede mappen og settet model.path til en GGUF modellfil du allerede har:
[model] path = "D:/models/your-model.gguf" gpu_layers = 99 context_size = 8192
Sett verdien gpu_layers = 0 Kun på CPU. Gå server.host som 127.0.0.1 for å holde serveren tilgjengelig kun fra din egen maskin, eller sett den til 0.0.0.0 For å akseptere tilkoblinger fra andre enheter på nettverket ditt.
5. Kjør programmet
Kjør programmet parta-runtime-lite.exe. Ved oppstart skriver den ut modellen som er lastet inn og adressen den lytter på. La vinduet stå åpent, serveren kjører så lenge prosessen kjører.
6. Send en forespørsel
Serveren har OpenAI-kompatible og Anthropic-kompatible chatfullføringsformater. Alt som allerede er bygget mot disse API fungerer her ved å peke det mot din lokale adresse i stedet:
curl http://127.0.0.1:8080/v1/chat/completions ^
-H "Content-Type: application/json" ^
-d "{\"model\":\"local\",\"messages\":[{\"role\":\"user\",\"content\":\"Hello\"}]}"
Noe som ikke fungerer?
Sjekk Feil og tilbakemeldingsskjema på hjemmesiden, eller send support(at)parta.app direkte e-post med din byggeversjon, GPU/OS, og modellen du bruker.