Parta Runtime
Локальний сервер висновків. Чотири яруси
Запускайте локальне GGUF-виведення без складання стека Python чи контейнерів. Почніть з безкоштовної портативної збірки, а у виробництві перевіряйте запити до обчислень, контролюйте контекст і записуйте визначені події з підтвердженим ідентичністю походженням.
Прокрутіть вниз
Якщо пам’ять або оперативна пам’ять є вашим обмежуючим фактором, а не GPU
Те саме rack.
Більше місткості.
Це стосується випадків, коли пам’ять або системна оперативна пам’ять, а не пам’ять графічного процесора, обмежують обсяг, який може працювати на host. Те саме апаратне забезпечення забезпечує приблизно вдвічі більшу корисну ємність, незалежно від того, чи воно обслуговує більш оплачуваний tenant, чи більше внутрішніх робочих навантажень і відділів.
Молодший брат
Parta Runtime,
без платформи.
Parta Assist працює на повному стеку: додаток, бекенд і Parta Runtime - механізм висновку, підключений до ідентифікації, аудиторських слідів і контролю політик для регульованих галузей. Runtime Lite - це той самий рушій інференції, позбавлений усього іншого.
Немає ідентичного рівня / немає ланцюга аудиту / немає рушія політик
Сумісний за конструкцією
Говорить за форматами
Ти вже користуєшся.
OpenAI-сумісні та Anthropic-сумісні кінцеві точки завершення чату, тож усе, що вже створено на цих API, працює проти вашого локального сервера. Підтримка зору включена для моделей, які приймають вхідні дані зображення.
OpenAI-сумісний / сумісний з Anthropic / включено Vision
Скопіюйте будь-де
Завантажте та витягніть архів,
Запусти програму.
Один статично пов'язаний виконуваний файл і один конфігураційний файл. Немає прав адміністратора, немає інсталятора, немає фонового сервісу для управління. Наведіть конфігурацію на GGUF файл моделі, який вже є на вашому комп'ютері.
Візьми свою модель / Без акаунта / Без відстеження
Дорожня карта
Windows і Linux.
Vulkan далі.
Збірки CUDA доступні як для Windows, так і для Linux. Vulkan є на дорожній карті для обладнання за межами NVIDIA.
Windows CUDA / Linux CUDA / Vulkan (незабаром)
Два рівні, від особистого до комерційного
Lite Free.
Lite.
Виробничим командам може бути недостатньо локальної кінцевої точки. Runtime перевіряє походження, сеанс і повноваження до виділення захищених ресурсів. Керовані розгортання можуть отримувати визначений контекст моделі, дозволені знання, адаптери в межах виконання й контрольовані початкові значення від платформи Parta.
Runtime записує визначені події виконання, результати та походження для подальшої перевірки, а Runtime Pro додає підтверджену ідентичністю перевірку між вузлами й службами. Ці засоби підтримують врядування й відтворення, але не замінюють оцінку ризиків, професійну перевірку чи обовʼязки відповідності.
Перевірка до виведення / Контрольовані адаптери й контекст / Записи виконання / Архітектура, на яку подано патентну заявку
безкоштовно. Доступний зараз
Lite Free
Комерційний. Зв'яжіться з нами
Lite
Два рівні, перевірені на захист ідентичності
Runtime.
Runtime Pro.
Коли система штучного інтелекту обробляє регульовані дані, лише довіри недостатньо для відповідності. Runtime записує, що і коли запускалося, не вимагаючи від вас створення такої інфраструктури.
Це доказовий рівень під вашим процесом управління, а не заміна йому. Ви зберігаєте право власності на політику оцінки ризиків і перегляду; Runtime гарантує, що записи, від яких вони залежать, не можна буде тихо редагувати згодом.
Підписані кінцеві точки / журнали, що захищають від несправностей / архітектура, на яку очікується патент
Комерційний. Зв'яжіться з нами
Runtime
Комерційний. Зв'яжіться з нами
Runtime Pro
Завантажте Runtime Lite Free і перевірте.
CUDA · v0.1.0 · Особисте, освітнє та оціночне використання
Потрібен графічний процесор NVIDIA з драйвером, сумісним із CUDA 13. Виконується збірка Vulkan для іншого обладнання.
Завантажте архів і перевірте його контрольну суму SHA256 на наведене нижче значення перед його запуском.
Питання
Перш ніж запитати.
Що таке Parta Runtime Lite?
Один портативний виконуваний файл, який запускає локальний сервер інференції ШІ на вашому комп'ютері. Це спрощена версія Parta Runtime, механізму висновку, що стоїть за Parta Assist, з видаленим рівнем ідентичності, ланцюжка аудиту та рушієм політик.
Які API формати він підтримує?
OpenAI-сумісні та Anthropic-сумісні формати завершення чатів, тому інструменти, вже створені на цих API, працюють проти локального сервера без змін. Підтримка зору включена для моделей, які приймають вхідні дані зображення.
Чи включає він функції ідентифікації, аудиту чи політики?
Ні. Runtime Lite навмисно позбавлено всього, що складає виробничий Parta Runtime. Це лише сервер простих висновків.
Яке обладнання для цього потрібно?
Збірки CUDA доступні для Windows і Linux, для яких потрібен NVIDIA GPU із робочим драйвером. Vulkan є на дорожній карті для іншого обладнання.
Як мені виконати програму?
Завантажте zip-файл, розпакуйте його будь-де на диску, вкажіть включений конфігураційний файл на GGUF модель, який у вас вже є, і запустіть виконуваний файл. Немає інсталятора, немає прав адміністратора, немає фонової підтримки.
Чи передає програмне забезпечення якісь дані?
Ні. Він працює повністю на вашому пристрої і не передає запити, відповіді чи дані про використання Парті чи комусь іншому.
Яка різниця між Runtime Lite Free, Lite, Runtime і Runtime Pro?
Runtime Lite Free — це безкоштовне завантаження для особистого, освітнього та оцінювального використання. Runtime Lite — це той самий механізм виведення та кінцеві точки за комерційною ліцензією для використання у виробництві. Runtime додає ланцюжок аудиту протоколу Parta. Runtime Pro додає джерело походження з підтримкою ідентифікації. Комерційні рівні доступні за запитом через контактну форму.
Огляд
Дізнайтеся, скільки насправді коштує ваш сервер інференсу.
Приділіть тридцять секунд, щоб представитися, і ми надамо вам доступ до документа. Без дзвінків від відділу продажів і подальших звернень.
Баги та відгуки
Зв'яжіться з нами
Ми читаємо кожне повідомлення.
Для комерційного оцінювання повідомте очікуване навантаження, обладнання, формат інтеграції, вимоги до адаптерів і знань та те, що слід перевіряти до й після виведення. Ця сама форма доступна для технічної підтримки щодо встановлення, сумісності моделей, помилок і продуктивності.