Parta Runtime Lite / Panduan / Instal dan jalankan di Linux
Instal dan jalankan di Linux
Parta Runtime Lite adalah executable portabel tunggal. Tidak ada penginstal, tidak ada layanan latar belakang, dan tidak ada akun. Halaman ini mencakup semuanya mulai dari pengunduhan hingga permintaan pertama Anda di Linux.
Build Linux dikompilasi di bawah Ubuntu 26.04. Ini adalah biner Linux asli dan berjalan dengan cara yang sama pada Linux bare-metal, tetapi jika Anda menemukan sesuatu yang spesifik distro, beri tahu kami melalui bug Formulir bug dan umpan balik, ini membantu kami menguji terhadap lingkungan nyata.
1. Unduh
Dapatkan build saat ini dari Bagian unduh dan verifikasi dari halaman utama. Unduhan berupa file zip yang berisi file eksekusi, file konfigurasi contoh, dan pemberitahuan lisensi pihak ketiga.
2. Verifikasi checksum
Sebelum menjalankan apa pun, periksa checksum SHA256 file terhadap nilai yang dipublikasikan di sebelah unduhan:
sha256sum parta-runtime-lite-linux-cuda.zip
Bandingkan output dengan hash yang dipublikasikan. Jika tidak cocok, jangan jalankan filenya, unduh lagi.
3. Ekstrak arsip
Buka zip arsip di mana saja di disk, folder lokal, drive eksternal, atau jaringan berbagi. Tidak diperlukan akses root dan tidak ada yang ditulis di luar folder tempat Anda mengekstrak.
unzip parta-runtime-lite-linux-cuda.zip -d parta-runtime-lite
4. Konfigurasikan
Buka file lite.toml di folder dan set yang diekstrak model.path ke file model GGUF yang sudah Anda miliki:
[model] path = "/home/you/models/your-model.gguf" gpu_layers = 99 context_size = 8192
Atur nilainya gpu_layers = 0 untuk dijalankan hanya di CPU. Pergi server.host sebagai 127.0.0.1 untuk menjaga server hanya dapat diakses dari mesin Anda sendiri, atau atur ke 0.0.0.0 untuk menerima koneksi dari perangkat lain di jaringan Anda.
5. Jalankan program
Tandai biner yang dapat dieksekusi, lalu jalankan:
chmod +x parta-runtime-lite ./parta-runtime-lite
Saat startup, ia mencetak model yang dimuat dan alamat yang didengarkannya. Biarkan terminal terbuka, atau jalankan di bawah tmux/screen/nohup jika Anda ingin terminal tetap berjalan setelah Anda memutuskan sambungan. Server berjalan selama proses berjalan.
6. Kirim permintaan
Server menggunakan format penyelesaian chat yang kompatibel OpenAI dan kompatibel dengan Anthropic. Apa pun yang sudah dibangun melawan API tersebut bekerja di sini dengan mengarahkannya ke alamat lokal Anda:
curl http://127.0.0.1:8080/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{"model":"local","messages":[{"role":"user","content":"Hello"}]}'
Ada yang tidak berfungsi?
Periksa bug Formulir bug dan umpan balik di beranda, atau gunakan untuk memberi tahu kami distro Anda, versi kernel, driver GPU, dan model yang Anda gunakan, itulah cara tercepat untuk membantu kami melacak apa pun yang spesifik Linux.