Parta Runtime Lite / Rehber / Linux'ta kurulum ve çalıştırma
Linux'ta kurulum ve çalıştırma
Parta Runtime Lite tek bir taşınabilir yürütülebilir dosyadır. Yükleyici yok, arka plan hizmeti yok ve hesap yok. Bu sayfa, indirme işleminden Linux'teki ilk isteğinize kadar her şeyi kapsar.
Linux yapısı Ubuntu 26.04 altında derlenmiştir. Bu, yerel bir Linux ikili programıdır ve çıplak metal Linux üzerinde aynı şekilde çalışır, ancak dağıtıma özgü bir şeye rastlarsanız, Hata ve geri bildirim formu aracılığıyla bize bildirin; bu, gerçek ortamlara karşı test yapmamıza yardımcı olur.
1. İndir
Mevcut yapıyı İndir ve Doğrulama bölümü ana sayfanın için. İndirme, çalıştırılabilir dosya, örnek yapılandırma dosyası ve üçüncü taraf lisans bildirimlerini içeren bir zip dosyasıdır.
2. Kontrol toplamını doğrulayın
Herhangi bir şeyi çalıştırmadan önce, dosyanın SHA256 sağlama toplamını indirmenin yanında yayınlanan değerle karşılaştırın:
sha256sum parta-runtime-lite-linux-cuda.zip
Çıktıyı yayımlanan hash ile karşılaştırın. Eşleşmezlerse dosyayı çalıştırmayın, tekrar indirin.
3. Arşivi çıkarın
Arşivi diskte, yerel klasörde, harici sürücüde veya ağ paylaşımında herhangi bir yere açın. root erişimi gerekmez ve çıkardığınız klasörün dışına hiçbir şey yazılmaz.
unzip parta-runtime-lite-linux-cuda.zip -d parta-runtime-lite
4. Yapılandır
Dosyayı aç lite.toml Çıkarılmış klasörde ve set model.path Zaten sahip olduğunuz GGUF model dosyasına göre:
[model] path = "/home/you/models/your-model.gguf" gpu_layers = 99 context_size = 8192
Değeri belirleyin gpu_layers = 0 sadece CPU üzerinde çalışmak için. Bırak server.host olarak 127.0.0.1 sunucuya sadece kendi makinenizden ulaşılabilir tutmak ya da 0.0.0.0 ağınızdaki diğer cihazlardan bağlantıları kabul etmek için.
5. Programı çalıştır
İkili yürütülebilir dosyayı işaretleyin ve çalıştırın:
chmod +x parta-runtime-lite ./parta-runtime-lite
Başlangıçta yüklenen modeli ve dinlediği adresi yazdırır. Terminali açık bırakın veya bağlantıyı kestikten sonra çalışmaya devam etmesini istiyorsanız tmux/screen/nohup altında çalıştırın. Sunucu, işlem çalıştığı sürece çalışır.
6. Bir talep gönderin
Sunucu, OpenAI uyumlu ve Anthropic uyumlu sohbet tamamlama formatlarını kullanıyor. Bu API karşısında zaten inşa edilmiş her şey burada yerel adresinize yönlendirerek işe yarar:
curl http://127.0.0.1:8080/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{"model":"local","messages":[{"role":"user","content":"Hello"}]}'
Bir şey işe yaramıyor mu?
Ana sayfadaki Hata ve geri bildirim formu kontrol edin veya dağıtımınızı, çekirdek sürümünüzü, GPU sürücünüzü ve kullandığınız modeli bize bildirmek için kullanın; bu, Linux'e özgü herhangi bir şeyi bulmamıza yardımcı olmanın en hızlı yoludur.