Parta Runtime Lite / Guide / Installera och kör på Linux
Installera och kör på Linux
Parta Runtime Lite är en enda bärbar körbar fil. Det finns inget installationsprogram, ingen bakgrundstjänst och inget konto. Den här sidan täcker allt från nedladdning till din första förfrågan på Linux.
Linux-bygget kompileras under Ubuntu 26.04. Det är en inbyggd Linux-binär och körs på samma sätt på bare-metal Linux, men om du träffar något distrospecifikt, låt oss veta genom Bugg- och återkopplingsformulär, det hjälper oss att testa mot verkliga miljöer.
1. Ladda ner
Hämta den nuvarande versionen från Nedladdnings- och verifieringssektionen på hemsidan. Nedladdningen är en zip-fil som innehåller den körbara filen, en exempelkonfigurationsfil och tredjepartslicensmeddelanden.
2. Verifiera kontrollsumman
Innan du kör något, kontrollera filens SHA256-kontrollsumma mot värdet som publiceras bredvid nedladdningen:
sha256sum parta-runtime-lite-linux-cuda.zip
Jämför utdata med den publicerade hashen. Om de inte matchar, kör inte filen, ladda ner den igen.
3. Extrahera arkivet
Packa upp arkivet var som helst på disken, en lokal mapp, en extern enhet eller en nätverksresurs. Ingen root-åtkomst krävs och ingenting skrivs utanför mappen du extraherar till.
unzip parta-runtime-lite-linux-cuda.zip -d parta-runtime-lite
4. Konfigurera
Öppna filen lite.toml i den extraherade mappen och uppsättningen model.path till en GGUF modellfil du redan har:
[model] path = "/home/you/models/your-model.gguf" gpu_layers = 99 context_size = 8192
Sätt värdet gpu_layers = 0 Att drivas på CPU enast. Gå server.host som 127.0.0.1 för att hålla servern tillgänglig endast från din egen maskin, eller ställ in den till 0.0.0.0 Att acceptera anslutningar från andra enheter i ditt nätverk.
5. Kör programmet
Markera den binära körbara filen och kör den sedan:
chmod +x parta-runtime-lite ./parta-runtime-lite
Vid start skriver den ut den laddade modellen och adressen den lyssnar på. Lämna terminalen öppen eller kör den under tmux/screen/nohup om du vill att den ska fortsätta köra efter att du kopplat bort. Servern körs så länge som processen körs.
6. Skicka en förfrågan
Servern talar OpenAI-kompatibla och Anthropic-kompatibla chattfullföljdsformat. Allt som redan är byggt mot dessa API fungerar här genom att peka på din lokala adress istället:
curl http://127.0.0.1:8080/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{"model":"local","messages":[{"role":"user","content":"Hello"}]}'
Något fungerar inte?
Kontrollera Bugg- och återkopplingsformulär på hemsidan, eller använd den för att berätta för oss din distro, kärnversion, GPU-drivrutin och modellen du använder, det är det snabbaste sättet att hjälpa oss att spåra allt som är Linux-specifikt.