Parta Runtime Lite / Opas / Asenna ja suorita Linuxissa
Asenna ja suorita Linuxissa
Parta Runtime Lite on yksi kannettava suoritettava tiedosto. Ei ole asennusohjelmaa, taustapalvelua eikä tiliä. Tämä sivu kattaa kaiken lataamisesta ensimmäiseen Linux-pyyntöösi.
Linux-koontiversio on käännetty Ubuntu 26.04:n alle. Se on natiivi Linux-binaari ja toimii samalla tavalla paljaalla metallilla Linux, mutta jos osut johonkin distrokohtaiseen, ilmoita siitä meille Bugi- ja palautemuoto, se auttaa meitä testaamaan todellisia ympäristöjä.
1. Lataa
Hanki nykyinen rakennelma Lataa ja vahvista -osio etusivulta. Lataus on zip-tiedosto, joka sisältää suoritettavan tiedoston, esimerkkikonfiguraatiotiedoston ja kolmannen osapuolen lisenssitiedot.
2. Tarkista tarkistussumma
Ennen kuin suoritat mitään, tarkista tiedoston SHA256-tarkistussumma latauksen vieressä julkaistusta arvosta:
sha256sum parta-runtime-lite-linux-cuda.zip
Vertaa tulosta julkaistuun tiivisteeseen. Jos ne eivät täsmää, älä käynnistä tiedostoa, lataa se uudelleen.
3. Pura arkisto
Pura arkisto missä tahansa levyllä, paikallisessa kansiossa, ulkoisessa asemassa tai verkkojaossa. root-käyttöoikeutta ei vaadita, eikä mitään kirjoiteta sen kansion ulkopuolelle, johon purat.
unzip parta-runtime-lite-linux-cuda.zip -d parta-runtime-lite
4. Määritä
Avaa tiedosto lite.toml puretusta kansiosta ja setistä model.path GGUF mallitiedostoon, joka sinulla jo on:
[model] path = "/home/you/models/your-model.gguf" gpu_layers = 99 context_size = 8192
Aseta arvo gpu_layers = 0 Toimia vain CPU. Lähde server.host kuten 127.0.0.1 pitääksesi palvelimen tavoitettavissa vain omalta koneeltasi tai asettaaksesi sen 0.0.0.0 Hyväksyä yhteyksiä muilta laitteilta verkossasi.
5. Suorita ohjelma
Merkitse binäärinen suoritettava tiedosto ja suorita se:
chmod +x parta-runtime-lite ./parta-runtime-lite
Käynnistettäessä se tulostaa ladatun mallin ja osoitteen, jota se kuuntelee. Jätä pääte auki tai suorita se kohdassa tmux/screen/nohup, jos haluat sen jatkuvan toiminnassa yhteyden katkaisun jälkeen. Palvelin toimii niin kauan kuin prosessi on käynnissä.
6. Lähetä pyyntö
Palvelin käyttää OpenAI-yhteensopivia ja Anthropic-yhteensopivia chatin loppuun saattamista. Mikä tahansa, mikä on jo rakennettu näitä API vastaan, toimii täällä osoittamalla sen paikalliseen osoitteeseesi:
curl http://127.0.0.1:8080/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{"model":"local","messages":[{"role":"user","content":"Hello"}]}'
Jokin ei toimi?
Tarkista etusivun Bugi- ja palautemuoto tai kerro meille distro, ytimen versio, GPU-ohjain ja käyttämäsi malli. Se on nopein tapa auttaa meitä jäljittämään kaikkea Linux-spesifistä.