Parta Runtime Lite / Hướng dẫn viên / Cài đặt và chạy
Cài đặt và chạy
Parta Runtime Lite là một tệp thực thi di động duy nhất. Không có trình cài đặt, không có dịch vụ nền, và không có tài khoản. Trang này bao gồm mọi thứ từ tải xuống đến yêu cầu đầu tiên của bạn.
1. Tải xuống
Tải bản build hiện tại từ Phần Tải xuống và Xác minh của trang chủ. Tải xuống là một tệp zip chứa tệp thực thi, một tệp cấu hình mẫu và các thông báo giấy phép của bên thứ ba.
2. Xác minh mã kiểm tra
Trước khi chạy bất cứ thứ gì, hãy kiểm tra checksum SHA256 của tệp so với giá trị được công bố bên cạnh tệp tải xuống. Về Windows:
Get-FileHash .\parta-runtime-lite-cuda-v0.1.0.zip -Algorithm SHA256
So sánh kết quả với hàm băm đã công bố. Nếu không khớp, đừng chạy file, tải lại đi.
3. Giải nén tệp lưu trữ
Giải nén lưu trữ ở bất cứ đâu trên ổ đĩa, thư mục cục bộ, ổ đĩa ngoài hoặc chia sẻ mạng. Không yêu cầu quyền quản trị viên và không có gì được ghi ra ngoài thư mục bạn giải nén.
4. Cấu hình
Mở tệp lite.toml trong thư mục đã giải nén và đặt model.path đối với tệp mô hình GGUF mà bạn đã có:
[model] path = "D:/models/your-model.gguf" gpu_layers = 99 context_size = 8192
Đặt giá trị gpu_layers = 0 chỉ chạy trên CPU. Rời đi server.host như vậy 127.0.0.1 để giữ máy chủ chỉ truy cập được từ máy của bạn, hoặc đặt nó thành 0.0.0.0 để chấp nhận kết nối từ các thiết bị khác trong mạng của bạn.
5. Chạy chương trình
Chạy chương trình parta-runtime-lite.exe. Khi khởi động, nó in mô hình đã tải và địa chỉ mà nó đang nghe. Để cửa sổ mở, máy chủ sẽ chạy miễn là tiến trình đang chạy.
6. Gửi yêu cầu
Máy chủ sử dụng các định dạng hoàn thành cuộc trò chuyện tương thích OpenAI và Anthropic. Bất cứ thứ gì đã được xây dựng dựa trên các API đó sẽ hoạt động ở đây bằng cách trỏ đến địa chỉ địa phương của bạn:
curl http://127.0.0.1:8080/v1/chat/completions ^
-H "Content-Type: application/json" ^
-d "{\"model\":\"local\",\"messages\":[{\"role\":\"user\",\"content\":\"Hello\"}]}"
Có gì đó không hoạt động?
Kiểm tra Biểu mẫu lỗi và phản hồi trên trang chủ, hoặc gửi email trực tiếp cho support(at)parta.app với phiên bản build, GPU/OS và mô hình bạn đang sử dụng.