Parta Runtime Lite / Leitfaden / Auf Linux installieren und ausführen
Auf Linux installieren und ausführen
Parta Runtime Lite ist eine einzelne portable ausführbare Datei. Es gibt kein Installationsprogramm, keinen Hintergrunddienst und kein Konto. Diese Seite deckt alles ab, vom Download bis zu Ihrer ersten Anfrage auf Linux.
Der Linux-Build wird unter Ubuntu 26.04 kompiliert. Es ist eine native Linux-Binärdatei und läuft genauso auf dem Bare-Metal-System Linux. Wenn Sie jedoch auf etwas Distributionsspezifisches stoßen, teilen Sie uns dies über das Bug- und Rückmeldungsformular mit. Dies hilft uns beim Testen in realen Umgebungen.
1. Herunterladen
Hol dir den aktuellen Build von der Abschnitt Herunterladen und Überprüfen auf der Homepage. Der Download ist eine Zip-Datei, die die ausführbare Datei, eine Beispielkonfigurationsdatei und Lizenzhinweise von Drittanbietern enthält.
2. Überprüfung der Prüfsumme
Bevor Sie etwas ausführen, vergleichen Sie die SHA256-Prüfsumme der Datei mit dem neben dem Download veröffentlichten Wert:
sha256sum parta-runtime-lite-linux-cuda.zip
Vergleichen Sie die Ausgabe mit dem veröffentlichten Hash. Wenn sie nicht übereinstimmen, starte die Datei nicht und lade sie erneut herunter.
3. Archiv extrahieren
Entpacken Sie das Archiv an einer beliebigen Stelle auf der Festplatte, einem lokalen Ordner, einem externen Laufwerk oder einer Netzwerkfreigabe. Es ist kein root-Zugriff erforderlich und es wird nichts außerhalb des Ordners geschrieben, in den Sie extrahieren.
unzip parta-runtime-lite-linux-cuda.zip -d parta-runtime-lite
4. Konfigurieren
Öffnen Sie die Datei lite.toml im entpackten Ordner und setzen Sie model.path auf eine bereits vorhandene GGUF-Modelldatei:
[model] path = "/home/you/models/your-model.gguf" gpu_layers = 99 context_size = 8192
Setzen Sie den Wert gpu_layers = 0 nur auf CPU laufen. Gehen Sie server.host als 127.0.0.1 den Server nur von deinem eigenen Rechner aus erreichbar zu halten, oder stell ihn auf 0.0.0.0 Verbindungen von anderen Geräten in deinem Netzwerk zu akzeptieren.
5. Das Programm ausführen
Markieren Sie die ausführbare Binärdatei und führen Sie sie aus:
chmod +x parta-runtime-lite ./parta-runtime-lite
Beim Start wird das geladene Modell und die Adresse gedruckt, an der es lauscht. Lassen Sie das Terminal geöffnet oder führen Sie es unter tmux/screen/nohup aus, wenn Sie möchten, dass es nach dem Trennen der Verbindung weiter ausgeführt wird. Der Server läuft so lange, wie der Prozess läuft.
6. Eine Anfrage senden
Der Server verwendet OpenAI-kompatible und Anthropic-kompatible Chat-Abschlussformate. Alles, was bereits gegen diese API basiert, funktioniert hier, indem man es stattdessen auf deine lokale Adresse verweist:
curl http://127.0.0.1:8080/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{"model":"local","messages":[{"role":"user","content":"Hello"}]}'
Funktioniert etwas, das nicht funktioniert?
Sehen Sie sich das Bug- und Rückmeldungsformular