Parta Runtime Lite / Гід / Встановити та запустити
Встановлення і запуск
Parta Runtime Lite - це один портативний виконуваний файл. Немає інсталятора, немає фонової служби і немає облікового запису. Ця сторінка охоплює все - від завантаження до першого запиту.
1. Завантажити
Отримайте поточну збірку з Розділ завантаження та перевірки головної сторінки. Завантаження - це zip-файл, що містить виконуваний файл, зразок конфігураційного файлу та ліцензійні повідомлення третіх сторін.
2. Перевірити контрольну суму
Перед тим, як запускати щось, перевірте контрольну суму файлу SHA256 значенням, опублікованим поруч із завантаженням. На Windows:
Get-FileHash .\parta-runtime-lite-cuda-v0.1.0.zip -Algorithm SHA256
Порівняйте результат із опублікованим хешем. Якщо вони не співпадають, не запускайте файл, завантажуйте його знову.
3. Розпакувати архів
Розпакуйте архів будь-де на диску, локальній папці, зовнішньому диску або мережевому спільному пристрої. Права адміністратора не потрібні, і нічого не записується поза папкою, в яку ви розпаковуєте.
4. Конфігурація
Відкрий файл lite.toml у розпакованій папці та встановіть model.path до GGUF модельного файлу, який у вас вже є:
[model] path = "D:/models/your-model.gguf" gpu_layers = 99 context_size = 8192
Встановіть значення gpu_layers = 0 Працювати лише на CPU. Іди server.host як 127.0.0.1 Щоб сервер був доступний лише з вашої машини, або встановити 0.0.0.0 приймати підключення з інших пристроїв у вашій мережі.
5. Запустити програму
Запусти програму parta-runtime-lite.exe. При запуску він друкує завантажену модель і адресу, на якій він прослуховує. Залиште вікно відкритим, сервер працює стільки, скільки триває процес.
6. Надіслати запит
Сервер працює у форматах завершення чатів, сумісних із OpenAI та Anthropic. Все, що вже побудовано на основі цих API, працює тут, якщо вказати на вашу місцеву адресу:
curl http://127.0.0.1:8080/v1/chat/completions ^
-H "Content-Type: application/json" ^
-d "{\"model\":\"local\",\"messages\":[{\"role\":\"user\",\"content\":\"Hello\"}]}"
Щось не працює?
Перевірте Форма багів і зворотного зв'язку на головній сторінці або напишіть support(at)parta.app безпосередньо з версією збірки, GPU/OS та моделлю, яку ви використовуєте.