Parta Runtime Lite / Sprievodca / Inštalácia a spustenie v Linuxe
Inštalácia a spustenie v Linuxe
Parta Runtime Lite je jediný prenosný spustiteľný súbor. Neexistuje žiadny inštalačný program, žiadna služba na pozadí a žiadny účet. Táto stránka obsahuje všetko od stiahnutia až po vašu prvú požiadavku na Linux.
Zostava Linux je zostavená pod Ubuntu 26.04. Je to natívny binárny súbor Linux a beží rovnakým spôsobom na bare-metal Linux, ale ak narazíte na niečo špecifické pre distribúciu, dajte nám vedieť prostredníctvom formulára Formulár na chybu a spätnú väzbu, pomáha nám to testovať v skutočných prostrediach.
1. Stiahnuť
Získajte aktuálnu verziu z Sekcia stiahnuť a overiť domovskej stránky. Sťahovanie je zip súbor obsahujúci spustiteľný súbor, ukážkový konfiguračný súbor a oznámenia o licenciách tretích strán.
2. Overiť kontrolný súčet
Pred spustením čohokoľvek skontrolujte kontrolný súčet SHA256 súboru oproti hodnote zverejnenej vedľa sťahovania:
sha256sum parta-runtime-lite-linux-cuda.zip
Porovnajte výstup s publikovaným hashom. Ak sa nezhodujú, nespúšťajte súbor, stiahnite si ho znova.
3. Extrahujte archív
Rozbaľte archív kdekoľvek na disku, v miestnom priečinku, na externom disku alebo v sieťovom zdieľanom priečinku. Nevyžaduje sa žiadny prístup root a nič sa nezapisuje mimo priečinka, do ktorého ste extrahovali.
unzip parta-runtime-lite-linux-cuda.zip -d parta-runtime-lite
4. Konfigurácia
Otvorte súbor lite.toml v rozbalenom priečinku a nastavte model.path na GGUF modelový súbor, ktorý už máte:
[model] path = "/home/you/models/your-model.gguf" gpu_layers = 99 context_size = 8192
Nastavte hodnotu gpu_layers = 0 aby som bežal len na CPU. Odíď server.host ako 127.0.0.1 aby bol server dostupný len z vášho vlastného počítača, alebo ho nastavte na 0.0.0.0 Prijímať pripojenia z iných zariadení vo vašej sieti.
5. Spustiť program
Označte binárny spustiteľný súbor a spustite ho:
chmod +x parta-runtime-lite ./parta-runtime-lite
Pri spustení vytlačí načítaný model a adresu, na ktorej počúva. Nechajte terminál otvorený alebo ho spustite pod tmux/screen/nohup, ak chcete, aby bežal aj po odpojení. Server beží tak dlho, ako je spustený proces.
6. Pošlite žiadosť
Server používa formáty OpenAI kompatibilné a Anthropic kompatibilné s dokončením chatu. Čokoľvek, čo je už postavené proti týmto API, tu funguje tak, že to nasmerujete na vašu lokálnu adresu:
curl http://127.0.0.1:8080/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{"model":"local","messages":[{"role":"user","content":"Hello"}]}'
Niečo nefunguje?
Skontrolujte Formulár na chybu a spätnú väzbu na domovskej stránke alebo nám pomocou neho povedzte svoju distribúciu, verziu jadra, ovládač GPU a model, ktorý používate, je to najrýchlejší spôsob, ako nám pomôcť vystopovať čokoľvek špecifické pre Linux.