Parta Runtime Lite / hướng dẫn / Cài đặt và chạy trên Linux
Cài đặt và chạy trên Linux
Parta Runtime Lite là một tệp thực thi di động duy nhất. Không có trình cài đặt, không có dịch vụ nền và không có tài khoản. Trang này bao gồm mọi thứ từ tải xuống đến yêu cầu đầu tiên của bạn trên Linux.
Bản dựng Linux được biên dịch theo Ubuntu 26.04. Nó là một tệp nhị phân Linux gốc và chạy theo cách tương tự trên Linux kim loại trần, nhưng nếu bạn nhấn vào bất kỳ thứ gì dành riêng cho bản phân phối, hãy cho chúng tôi biết thông qua Biểu mẫu lỗi và phản hồi, nó sẽ giúp chúng tôi kiểm tra trong môi trường thực.
1. Tải xuống
Tải bản build hiện tại từ Phần Tải xuống và Xác minh của trang chủ. Tải xuống là một tệp zip chứa tệp thực thi, một tệp cấu hình mẫu và các thông báo giấy phép của bên thứ ba.
2. Xác minh mã kiểm tra
Trước khi chạy bất cứ thứ gì, hãy kiểm tra tổng kiểm SHA256 của tệp với giá trị được xuất bản bên cạnh tệp tải xuống:
sha256sum parta-runtime-lite-linux-cuda.zip
So sánh kết quả với hàm băm đã công bố. Nếu không khớp, đừng chạy file, tải lại đi.
3. Giải nén tệp lưu trữ
Giải nén tệp lưu trữ ở bất kỳ đâu trên đĩa, thư mục cục bộ, ổ đĩa ngoài hoặc mạng chia sẻ. Không cần quyền truy cập root và không có gì được ghi bên ngoài thư mục bạn giải nén.
unzip parta-runtime-lite-linux-cuda.zip -d parta-runtime-lite
4. Cấu hình
Mở tệp lite.toml trong thư mục đã giải nén và đặt model.path đối với tệp mô hình GGUF mà bạn đã có:
[model] path = "/home/you/models/your-model.gguf" gpu_layers = 99 context_size = 8192
Đặt giá trị gpu_layers = 0 chỉ chạy trên CPU. Rời đi server.host như vậy 127.0.0.1 để giữ máy chủ chỉ truy cập được từ máy của bạn, hoặc đặt nó thành 0.0.0.0 để chấp nhận kết nối từ các thiết bị khác trong mạng của bạn.
5. Chạy chương trình
Đánh dấu tệp thực thi nhị phân, sau đó chạy nó:
chmod +x parta-runtime-lite ./parta-runtime-lite
Khi khởi động, nó sẽ in mô hình đã tải và địa chỉ mà nó đang nghe. Để thiết bị đầu cuối mở hoặc chạy nó trong tmux/screen/nohup nếu bạn muốn nó tiếp tục chạy sau khi ngắt kết nối. Máy chủ chạy miễn là quá trình đang chạy.
6. Gửi yêu cầu
Máy chủ sử dụng các định dạng hoàn thành cuộc trò chuyện tương thích OpenAI và Anthropic. Bất cứ thứ gì đã được xây dựng dựa trên các API đó sẽ hoạt động ở đây bằng cách trỏ đến địa chỉ địa phương của bạn:
curl http://127.0.0.1:8080/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{"model":"local","messages":[{"role":"user","content":"Hello"}]}'
Có gì đó không hoạt động?
Hãy kiểm tra Biểu mẫu lỗi và phản hồi trên trang chủ hoặc sử dụng nó để cho chúng tôi biết bản phân phối, phiên bản kernel, trình điều khiển GPU và kiểu máy bạn đang sử dụng. Đó là cách nhanh nhất để giúp chúng tôi theo dõi mọi thứ dành riêng cho Linux.