Parta Runtime Lite / Przewodnik / Instalacja i uruchamianie w systemie Linux
Instalacja i uruchamianie w systemie Linux
Parta Runtime Lite to pojedynczy przenośny plik wykonywalny. Nie ma instalatora, usługi działającej w tle ani konta. Na tej stronie opisano wszystko, od pobrania po pierwsze żądanie na Linux.
Kompilacja Linux jest skompilowana pod Ubuntu 26.04. Jest to natywny plik binarny Linux i działa w ten sam sposób na platformie Linux z systemem bare-metal, ale jeśli trafisz na coś specyficznego dla dystrybucji, daj nam znać za pośrednictwem Formularz błędów i opinii, pomoże nam to przetestować w rzeczywistych środowiskach.
1. Pobierz
Pobierz aktualną wersję z Sekcja pobierania i weryfikacji strony głównej. Pobrany plik to plik zip zawierający plik wykonywalny, przykładowy plik konfiguracyjny oraz powiadomienia licencyjne od stron trzecich.
2. Weryfikacja sumy kontrolnej
Przed uruchomieniem czegokolwiek sprawdź sumę kontrolną SHA256 pliku z wartością opublikowaną obok pobierania:
sha256sum parta-runtime-lite-linux-cuda.zip
Porównaj wynik z opublikowanym skrótem. Jeśli się nie zgadzają, nie uruchamiaj pliku, pobierz go ponownie.
3. Rozpakuj archiwum
Rozpakuj archiwum w dowolnym miejscu na dysku, w folderze lokalnym, na dysku zewnętrznym lub w udziale sieciowym. Nie jest wymagany dostęp do root i nic nie jest zapisywane poza folderem, do którego wyodrębniasz.
unzip parta-runtime-lite-linux-cuda.zip -d parta-runtime-lite
4. Konfiguruj
Otwórz plik lite.toml w folderze wyodrębnionym i zestawu model.path do pliku GGUF modelu, który już posiadasz:
[model] path = "/home/you/models/your-model.gguf" gpu_layers = 99 context_size = 8192
Ustaw wartość gpu_layers = 0 Do uruchomienia tylko na CPU. Odejdź server.host jako 127.0.0.1 aby serwer był dostępny tylko z własnego komputera lub ustaw go na 0.0.0.0 Akceptować połączenia z innymi urządzeniami w Twojej sieci.
5. Uruchom program
Zaznacz binarny plik wykonywalny, a następnie uruchom go:
chmod +x parta-runtime-lite ./parta-runtime-lite
Podczas uruchamiania wypisuje załadowany model i adres, na którym nasłuchuje. Pozostaw terminal otwarty lub uruchom go pod tmux/screen/nohup, jeśli chcesz, aby działał po rozłączeniu. Serwer działa tak długo, jak długo trwa proces.
6. Wyślij prośbę
Serwer mówi OpenAI kompatybilnych i Anthropic formatach dokończenia czatu. Wszystko, co już jest zbudowane przeciwko tym API, działa tutaj, kierując je na twój lokalny adres:
curl http://127.0.0.1:8080/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{"model":"local","messages":[{"role":"user","content":"Hello"}]}'
Coś nie działa?
Sprawdź formularz Formularz błędów i opinii na stronie głównej lub użyj go, aby poinformować nas o swojej dystrybucji, wersji jądra, sterowniku GPU i modelu, którego używasz. To najszybszy sposób, aby pomóc nam wyśledzić wszystko, co jest specyficzne dla Linux.