Parta Runtime Lite / Οδηγός / Εγκατάσταση και εκτέλεση
Εγκατάσταση και εκτέλεση
Parta Runtime Lite είναι ένα ενιαίο φορητό εκτελέσιμο αρχείο. Δεν υπάρχει πρόγραμμα εγκατάστασης, υπηρεσία παρασκηνίου και λογαριασμός. Αυτή η σελίδα καλύπτει τα πάντα, από τη λήψη μέχρι το πρώτο σας αίτημα.
1. Λήψη
Αποκτήστε την τρέχουσα έκδοση από το Ενότητα λήψης και επαλήθευσης της αρχικής σελίδας. Η λήψη είναι ένα αρχείο zip που περιέχει το εκτελέσιμο αρχείο, ένα δείγμα αρχείου διαμόρφωσης και ειδοποιήσεις άδειας χρήσης τρίτων.
2. Επαληθεύστε το άθροισμα ελέγχου
Πριν εκτελέσετε οτιδήποτε, ελέγξτε το SHA256 άθροισμα ελέγχου του αρχείου σε σχέση με την τιμή που δημοσιεύεται δίπλα στη λήψη. Στο Windows:
Get-FileHash .\parta-runtime-lite-cuda-v0.1.0.zip -Algorithm SHA256
Συγκρίνετε την έξοδο με τον δημοσιευμένο κατακερματισμό. Εάν δεν ταιριάζουν, μην εκτελέσετε το αρχείο, κατεβάστε το ξανά.
3. Εξαγάγετε το αρχείο
Αποσυμπιέστε την αρχειοθήκη οπουδήποτε στο δίσκο, σε έναν τοπικό φάκελο, σε μια εξωτερική μονάδα δίσκου ή σε ένα κοινόχρηστο στοιχείο δικτύου. Δεν απαιτούνται δικαιώματα διαχειριστή και τίποτα δεν γράφεται έξω από το φάκελο στον οποίο εξάγετε.
4. Διαμορφώστε
Ανοίξτε το αρχείο lite.toml στον φάκελο που έχει εξαχθεί και ορίστε model.path σε ένα αρχείο μοντέλου GGUF που έχετε ήδη:
[model] path = "D:/models/your-model.gguf" gpu_layers = 99 context_size = 8192
Ορίστε την τιμή gpu_layers = 0 για εκτέλεση μόνο σε CPU. Αποχώρηση server.host Όπως 127.0.0.1 για να διατηρήσετε τον διακομιστή προσβάσιμο μόνο από το δικό σας μηχάνημα ή να τον ορίσετε σε 0.0.0.0 για να αποδεχτείτε συνδέσεις από άλλες συσκευές στο δίκτυό σας.
5. Εκτελέστε το πρόγραμμα
Εκτελέστε το πρόγραμμα parta-runtime-lite.exe. Κατά την εκκίνηση εκτυπώνει το μοντέλο που έχει φορτωθεί και τη διεύθυνση στην οποία ακούει. Αφήστε το παράθυρο ανοιχτό, ο διακομιστής εκτελείται για όσο διάστημα εκτελείται η διαδικασία.
6. Στείλτε ένα αίτημα
Ο διακομιστής μιλά για μορφές ολοκλήρωσης συνομιλίας συμβατές με OpenAI και συμβατές με Anthropic. Οτιδήποτε έχει ήδη κατασκευαστεί σε σχέση με αυτές API λειτουργεί εδώ, δείχνοντάς το στην τοπική σας διεύθυνση:
curl http://127.0.0.1:8080/v1/chat/completions ^
-H "Content-Type: application/json" ^
-d "{\"model\":\"local\",\"messages\":[{\"role\":\"user\",\"content\":\"Hello\"}]}"
Κάτι δεν λειτουργεί;
Ελέγξτε το Φόρμα σφαλμάτων και σχολίων στην αρχική σελίδα ή στείλτε support(at)parta.app email απευθείας με την έκδοση κατασκευής, το GPU/OS και το μοντέλο που χρησιμοποιείτε.