Parta Runtime
Helyi következtetési szerver. Négy szint
A Python vagy a container stack összeállítás nélkül futtassa ki a helyi GGUF következtetést. Kezdje el a szabad hordozható építéssel, majd lépjen át a termeléshez, ahol a kéréseket számítás előtt ellenőrizhetik, az végrehajtási kontextus ellenőrzése alatt áll, és az identitás-támogatott származással rögzített meghatározott események.
Görgess le
Ha a tárhely vagy a RAM a korlátozó tényező, nem a GPU
Ugyanaz a rack.
Nagyobb kapacitás.
Ez akkor érvényes, ha a GPU-memória helyett a tárhely vagy a rendszer-RAM korlátozza, hogy mennyi futhat host-nként. Ugyanaz a hardver nagyjából kétszer annyi felhasználható kapacitást biztosít, akár több fizető tenant-t, akár több belső terhelést és részleget szolgál ki.
A fiatalabb testvér
Parta Runtime,
platform nélkül.
Parta Assist teljes stacken fut: app, backend és Parta Runtime, az inference engine, amely az identitáshoz, audit nyomokhoz és szabályozási ellenőrzéshez van kötve. A Runtime Lite ugyanaz az inference motor, minden mástól megfosztva.
Nincs identitásréteg / Nincs audit lánc / Nincs politikamotoros
Tervezés szerint kompatibilis
Beszél a formátumokról
Már használod.
OpenAI kompatibilis és Anthropic-kompatibilis csevegési végpontok, tehát bármi, ami már ezekhez a API ellen épült, működik a saját helyi szervereddel is. A képbemenetet elfogadó modellek esetében is látványos támogatás van.
OpenAIkompatibilis / Anthropickompatibilis / Vision is
Másolj bárhol
Töltse le és kinyerje az archívumot,
Indítsd el a programot.
Egy statikus kapcsolt futtatható fájl és egy konfigurációs fájl. Nincsenek adminisztrátori jogok, nincs telepítő, nincs háttérszolgáltatás, amit kezelni kellene. Irányítsd a konfigurációt egy GGUF modellfájlra, ami már a gépedben van.
Hozz magaddal a saját modelled / Nincs fiók / Nincs követés
Útiterv
Windows és Linux. A következő a Vulkan.
Az CUDA buildek az Windows és az Linux számára egyaránt elérhetők. Az Vulkan szerepel az NVIDIA-en kívüli hardverek ütemtervében.
Windows CUDA / Linux CUDA / Vulkan (hamarosan)
Két szint, személyestől a kereskedelmiig
Lite Free.
Lite.
A termelési csapatoknak több mint egy helyi végpontra is szükség lehet. A Runtime célja, hogy a származás, a ülés és a végrehajtási hatóság ellenőrzése előtt a védett következtetési erőforrások elosztása. A szabályozott telepítések megoldott modellkontextust, engedélyezett ismereteket, végrehajtási skópusú adaptereket és ellenőrzött magokat kaphatnak a szélesebb Parta platformból.
A futási idő nyilvántartásai meghatározzák a végrehajtási eseményeket, kimeneteleket és származást későbbi felülvizsgálat céljából, míg a Runtime Pro az azonosítóval támogatott ellenőrzéssel kiterjeszti a modellt a csomópontokra és szolgáltatásokra. Ezek a vezérlések támogatják a kormányzást és a rekonstrukciót; nem helyettesítik a kockázatértékelést, a szakmai felülvizsgálatot vagy a megfelelés kötelezettségeit.
Előzetes inferenciás ellenőrzés / Ellenőrzött adaptorok és kontextus / Végrehajtási nyilvántartások / Patent-függő architektúra
Ingyenes. Most elérhető
Lite Free
Kereskedelmi. Vegye fel velünk a kapcsolatot
Lite
Két szint, identitásalapúra auditálva
Runtime.
Runtime Pro.
Amikor egy mesterséges intelligencia rendszer szabályozott adatokat kezel, a bizalom önmagában nem elegendő a megfeleléshez. A Runtime rögzíti, hogy mi futott és mikor, anélkül, hogy meg kellene építenie az infrastruktúrát.
Ez a bizonyítékok rétege az irányítási folyamata alatt, nem helyettesíti azt. Ön fenntartja a kockázatértékelések és a felülvizsgálati szabályzatok tulajdonjogát; A Runtime biztosítja, hogy azokat a rekordokat, amelyektől függenek, ne lehessen utólag csendesen szerkeszteni.
Aláírt végpontok / Szabotázs-nyilvánvaló naplók / Szabadalmazott architektúra
Kereskedelmi. Vegye fel velünk a kapcsolatot
Runtime
Kereskedelmi. Vegye fel velünk a kapcsolatot
Runtime Pro
Töltse le a Runtime Lite Free-t, és ellenőrizze.
CUDA · v0.1.0 · Személyes, oktatási és értékelési felhasználás
NVIDIA GPU-t igényel CUDA 13-kompatibilis illesztőprogrammal. Folyamatban van a Vulkan build más hardverekhez.
Töltse le az archívumot, és ellenőrizze az SHA256 ellenőrző összegét az alábbi értékkel, mielőtt futtatná.
Kérdések
Mielőtt megkérdeznéd
Mi az a Parta Runtime Lite?
Egy egyetlen, hordozható futtatható fájl, amely egy helyi AI következtetési szervert futtat a saját gépeden. Ez a Parta Runtime leegyszerűsített változata, amely Parta Assist mögötti következtetési motor, eltávolítva az identitásréteget, az audit láncot és a politikai motort.
Melyik API formátumot támogatja?
OpenAI-kompatibilis és Anthropic-kompatibilis csevegési formátumokat használ, így az ezekhez a API-ekhez már épített eszközök módosítás nélkül működnek egy helyi szerveren. A képbemenetet elfogadó modellek esetében is látványos támogatás van.
Tartalmaz az identitás-, audit- vagy politikai jellemzőket?
Nem. A Runtime Lite szándékosan megfosztják mindattól, ami a gyártási Parta Runtime részét képezi. Ez csak egy egyszerű következtetési szerver.
Milyen hardverre van szüksége?
Az CUDA buildek elérhetők az Windows és Linux modellekhez, amelyekhez NVIDIA GPU szükséges működő illesztőprogrammal. Az Vulkan a többi hardver útitervén szerepel.
Hogyan hajtsam végre a programot?
Töltsd le a zip-et, kibontsd ki bárhol a lemezen, irányítsd a megadott konfigurációs fájlt egy GGUF modellfájlhoz, amit már használsz, és futtatd a futtatható fájlt. Nincs telepítő, nincs adminisztrátori jog, nincs háttérszolgáltatás.
A szoftver továbbít bármilyen adatot?
Nem. Teljes egészében a saját eszközödön fut, és nem továbbít promptokat, válaszokat vagy használati adatokat sem a Parta-nak, sem bárki másnak.
Mi a különbség a Runtime Lite Free, Lite, Runtime és Runtime Pro között?
A Runtime Lite Free ingyenesen letölthető személyes, oktatási és értékelési használatra. A Runtime Lite ugyanaz a következtetési motor és végpontok, amelyek egy kereskedelmi licenc alatt állnak gyártási használatra. A Runtime hozzáadja a Parta protokoll ellenőrzési láncát. A Runtime Pro hozzáadja az identitás által támogatott származást. A kereskedelmi szintek elérhetők a kapcsolatfelvételi űrlapon keresztül.
Áttekintés
Nézze meg, valójában mennyibe kerül az inferenciakiszolgálója.
Harminc másodperc alatt mutatkozzon be, és hozzáférést adunk a dokumentumhoz. Nincs értékesítési hívás, nincs utánkövetés.
Hibák és visszacsatolások
Vedd fel a kapcsolatot
Minden üzenetet elolvasunk.
A kereskedelmi értékeléshez a tervezett munkaterhelés, a hardver, az integrációs formátum, az adaptátor és a tudáskövetelmények, valamint a következtetés előtti és utáni ellenőrzésekről tájékoztassuk.