Parta Runtime Lite / Veiledning / Installer og kjør på Linux
Installer og kjør på Linux
Parta Runtime Lite er en enkelt bærbar kjørbar. Det er ingen installasjonsprogram, ingen bakgrunnstjeneste og ingen konto. Denne siden dekker alt fra nedlasting til din første forespørsel på Linux.
Linux-bygget er kompilert under Ubuntu 26.04. Det er en innfødt Linux-binær og kjører på samme måte på bare-metal Linux, men hvis du treffer noe distrospesifikt, gi oss beskjed gjennom Feil og tilbakemeldingsskjema, det hjelper oss å teste mot virkelige miljøer.
1. Last ned
Hent den nåværende versjonen fra Last ned og verifiser seksjonen av hjemmesiden. Nedlastingen er en zip-fil som inneholder den kjørbare filen, en eksempelkonfigurasjonsfil og tredjepartslisensvarsler.
2. Verifiser sjekksummen
Før du kjører noe, sjekk filens SHA256-sjekksum mot verdien publisert ved siden av nedlastingen:
sha256sum parta-runtime-lite-linux-cuda.zip
Sammenlign utdataene med den publiserte hashen. Hvis de ikke stemmer, ikke kjør filen, last den ned igjen.
3. Pakk ut arkivet
Pakk ut arkivet hvor som helst på disken, en lokal mappe, en ekstern stasjon eller en nettverksdeling. Ingen root-tilgang er nødvendig og ingenting skrives utenfor mappen du trekker ut til.
unzip parta-runtime-lite-linux-cuda.zip -d parta-runtime-lite
4. Konfigurer
Åpne filen lite.toml i den utpakkede mappen og settet model.path til en GGUF modellfil du allerede har:
[model] path = "/home/you/models/your-model.gguf" gpu_layers = 99 context_size = 8192
Sett verdien gpu_layers = 0 Kun på CPU. Gå server.host som 127.0.0.1 for å holde serveren tilgjengelig kun fra din egen maskin, eller sett den til 0.0.0.0 For å akseptere tilkoblinger fra andre enheter på nettverket ditt.
5. Kjør programmet
Merk den binære kjørbare filen, og kjør den:
chmod +x parta-runtime-lite ./parta-runtime-lite
Ved oppstart skriver den ut modellen som er lastet og adressen den lytter på. La terminalen være åpen, eller kjør den under tmux/screen/nohup hvis du vil at den skal fortsette å kjøre etter at du har koblet fra. Serveren kjører så lenge prosessen kjører.
6. Send en forespørsel
Serveren har OpenAI-kompatible og Anthropic-kompatible chatfullføringsformater. Alt som allerede er bygget mot disse API fungerer her ved å peke det mot din lokale adresse i stedet:
curl http://127.0.0.1:8080/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{"model":"local","messages":[{"role":"user","content":"Hello"}]}'
Noe som ikke fungerer?
Sjekk Feil og tilbakemeldingsskjema på hjemmesiden, eller bruk den til å fortelle oss din distro, kjerneversjon, GPU-driver og modellen du bruker, det er den raskeste måten å hjelpe oss med å spore opp noe Linux-spesifikt.