Parta Runtime Lite / Panduan / Instal dan jalankan
Instal dan jalankan
Parta Runtime Lite adalah satu executable portabel. Tidak ada installer, tidak ada layanan latar belakang, dan tidak ada akun. Halaman ini mencakup segala hal mulai dari unduhan hingga permintaan pertama Anda.
1. Unduh
Dapatkan build saat ini dari Bagian unduh dan verifikasi dari halaman utama. Unduhan berupa file zip yang berisi file eksekusi, file konfigurasi contoh, dan pemberitahuan lisensi pihak ketiga.
2. Verifikasi checksum
Sebelum menjalankan apa pun, periksa checksum SHA256 file terhadap nilai yang dipublikasikan di samping unduhan. Tentang Windows:
Get-FileHash .\parta-runtime-lite-cuda-v0.1.0.zip -Algorithm SHA256
Bandingkan output dengan hash yang dipublikasikan. Jika tidak cocok, jangan jalankan filenya, unduh lagi.
3. Ekstrak arsip
Unzip arsip di mana saja di disk, folder lokal, drive eksternal, atau share jaringan. Tidak diperlukan hak admin dan tidak ada yang ditulis di luar folder tempat Anda mengekstrak.
4. Konfigurasikan
Buka file lite.toml di folder dan set yang diekstrak model.path ke file model GGUF yang sudah Anda miliki:
[model] path = "D:/models/your-model.gguf" gpu_layers = 99 context_size = 8192
Atur nilainya gpu_layers = 0 untuk dijalankan hanya di CPU. Pergi server.host sebagai 127.0.0.1 untuk menjaga server hanya dapat diakses dari mesin Anda sendiri, atau atur ke 0.0.0.0 untuk menerima koneksi dari perangkat lain di jaringan Anda.
5. Jalankan program
Jalankan program parta-runtime-lite.exe. Saat startup, model yang dimuat dan alamat yang didengarkan dicetak. Biarkan jendela terbuka, server berjalan selama proses berjalan.
6. Kirim permintaan
Server menggunakan format penyelesaian chat yang kompatibel OpenAI dan kompatibel dengan Anthropic. Apa pun yang sudah dibangun melawan API tersebut bekerja di sini dengan mengarahkannya ke alamat lokal Anda:
curl http://127.0.0.1:8080/v1/chat/completions ^
-H "Content-Type: application/json" ^
-d "{\"model\":\"local\",\"messages\":[{\"role\":\"user\",\"content\":\"Hello\"}]}"
Ada yang tidak berfungsi?
Periksa Formulir bug dan umpan balik di halaman utama, atau kirim email langsung ke support(at)parta.app dengan versi build Anda, GPU/OS, dan model yang Anda gunakan.