Parta Runtime Lite / Гід / Встановити та запустити на Linux
Встановіть і запустіть на Linux
Parta Runtime Lite — це один портативний виконуваний файл. Немає інсталятора, фонової служби та облікового запису. Ця сторінка охоплює все, від завантаження до вашого першого запиту на Linux.
Збірка Linux скомпільована під Ubuntu 26.04. Це власний двійковий файл Linux, який працює так само на «голому металі» Linux, але якщо ви натрапите на щось, що стосується дистрибутива, повідомте нам про це через Форма багів і зворотного зв'язку, це допоможе нам провести тестування в реальному середовищі.
1. Завантажити
Отримайте поточну збірку з Розділ завантаження та перевірки головної сторінки. Завантаження - це zip-файл, що містить виконуваний файл, зразок конфігураційного файлу та ліцензійні повідомлення третіх сторін.
2. Перевірити контрольну суму
Перш ніж щось запускати, перевірте контрольну суму файлу SHA256 на значення, опубліковане поруч із завантаженням:
sha256sum parta-runtime-lite-linux-cuda.zip
Порівняйте результат із опублікованим хешем. Якщо вони не співпадають, не запускайте файл, завантажуйте його знову.
3. Розпакувати архів
Розархівуйте архів будь-де на диску, у локальну папку, на зовнішній диск чи мережевий ресурс. Доступ до root не потрібен, і нічого не записується за межами папки, до якої ви витягуєте.
unzip parta-runtime-lite-linux-cuda.zip -d parta-runtime-lite
4. Конфігурація
Відкрий файл lite.toml у розпакованій папці та встановіть model.path до GGUF модельного файлу, який у вас вже є:
[model] path = "/home/you/models/your-model.gguf" gpu_layers = 99 context_size = 8192
Встановіть значення gpu_layers = 0 Працювати лише на CPU. Іди server.host як 127.0.0.1 Щоб сервер був доступний лише з вашої машини, або встановити 0.0.0.0 приймати підключення з інших пристроїв у вашій мережі.
5. Запустити програму
Позначте двійковий виконуваний файл, а потім запустіть його:
chmod +x parta-runtime-lite ./parta-runtime-lite
Під час запуску він друкує завантажену модель і адресу, яку він прослуховує. Залиште термінал відкритим або запустіть його під tmux/screen/nohup, якщо ви хочете, щоб він продовжував працювати після відключення. Сервер працює до тих пір, поки виконується процес.
6. Надіслати запит
Сервер працює у форматах завершення чатів, сумісних із OpenAI та Anthropic. Все, що вже побудовано на основі цих API, працює тут, якщо вказати на вашу місцеву адресу:
curl http://127.0.0.1:8080/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{"model":"local","messages":[{"role":"user","content":"Hello"}]}'
Щось не працює?
Перевірте форму Форма багів і зворотного зв'язку на домашній сторінці або скористайтеся нею, щоб повідомити нам свій дистрибутив, версію ядра, драйвер GPU і модель, яку ви використовуєте. Це найшвидший спосіб допомогти нам відстежити будь-що, що стосується Linux.