Parta Runtime Lite / Průvodce / Instalace a spuštění v Linuxu
Instalace a spuštění v Linuxu
Parta Runtime Lite je jediný přenosný spustitelný soubor. Neexistuje žádný instalační program, žádná služba na pozadí a žádný účet. Tato stránka pokrývá vše od stažení po váš první požadavek na Linux.
Sestavení Linux je zkompilováno pod Ubuntu 26.04. Je to nativní binární Linux a běží stejným způsobem na bare-metal Linux, ale pokud narazíte na něco specifického pro distribuci, dejte nám vědět prostřednictvím formuláře Formulář pro chybu a zpětnou vazbu, pomůže nám to testovat v reálných prostředích.
1. Stáhněte
Získejte aktuální verzi z Sekce ke stažení a ověření domovské stránky. Stahování je zip soubor obsahující spustitelný soubor, ukázkový konfigurační soubor a oznámení o licenci třetích stran.
2. Ověřit kontrolní součet
Než cokoli spustíte, zkontrolujte kontrolní součet SHA256 souboru oproti hodnotě zveřejněné vedle stahování:
sha256sum parta-runtime-lite-linux-cuda.zip
Porovnejte výstup s publikovaným hashem. Pokud se neshodují, soubor nespouštějte, stáhněte si ho znovu.
3. Extrahovat archiv
Rozbalte archiv kdekoli na disku, v místní složce, na externím disku nebo ve sdílené síťové složce. Není vyžadován žádný přístup root a nic se nezapisuje mimo složku, do které jste extrahovali.
unzip parta-runtime-lite-linux-cuda.zip -d parta-runtime-lite
4. Konfigurovat
Otevřete soubor lite.toml v rozbalené složce a nastavte model.path K GGUF modelovému souboru, který už máte:
[model] path = "/home/you/models/your-model.gguf" gpu_layers = 99 context_size = 8192
Nastavte hodnotu gpu_layers = 0 Běžet pouze na CPU. Odejděte server.host jako 127.0.0.1 Nechte server dostupný pouze z vašeho vlastního počítače, nebo nastavte na 0.0.0.0 přijímat připojení z jiných zařízení ve vaší síti.
5. Spusť program
Označte binární spustitelný soubor a poté jej spusťte:
chmod +x parta-runtime-lite ./parta-runtime-lite
Při spuštění vytiskne načtený model a adresu, na které poslouchá. Nechte terminál otevřený nebo jej spusťte pod tmux/screen/nohup, pokud chcete, aby běžel i po odpojení. Server běží tak dlouho, dokud běží proces.
6. Pošlete žádost
Server mluví OpenAI kompatibilní a Anthropic kompatibilní formáty pro dokončení chatu. Cokoli, co už je postaveno proti těmto API, funguje tady tak, že to nasměrujete na vaši lokální adresu:
curl http://127.0.0.1:8080/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{"model":"local","messages":[{"role":"user","content":"Hello"}]}'
Něco nefunguje?
Podívejte se na Formulář pro chybu a zpětnou vazbu na domovské stránce nebo nám pomocí něj sdělte své distro, verzi jádra, ovladač GPU a model, který používáte, je to nejrychlejší způsob, jak nám pomoci vystopovat cokoli specifického pro Linux.