Parta Runtime
Lokálny inferenčný server. Štyri úrovne
Spúšťajte lokálnu inferenciu GGUF bez zostavovania Pythonu či kontajnerového riešenia. Začnite bezplatnou prenosnou verziou a prejdite k produkcii, kde možno požiadavky overiť pred výpočtom, riadiť kontext vykonávania a zaznamenávať definované udalosti s pôvodom podloženým identitou.
Posuňte sa nižšie
Ak je vaším limitujúcim faktorom úložisko alebo RAM, nie GPU
To isté rack.
Väčšia kapacita.
Platí to vtedy, keď úložná alebo systémová RAM, a nie pamäť GPU, obmedzuje, koľko môže bežať na host. Rovnaký hardvér poskytuje zhruba dvojnásobok využiteľnej kapacity, či už slúži viac platiacim tenant alebo viac interným pracovným zaťaženiam a oddeleniam.
Mladší brat
Parta Runtime,
Bez platformy.
Parta Assist beží na plnom stacku: aplikácia, backend a Parta Runtime, inferenčný engine, prepojený s identitou, auditnými stopami a riadením politík pre regulované odvetvia. Runtime Lite je ten istý inferenčný engine, zbavený všetkého ostatného.
Žiadna identitná vrstva / Žiadny auditný reťazec / Žiadny engine politík
Kompatibilné dizajnom
Hovorí formátmi
Už používaš.
OpenAI-kompatibilné a Anthropic-kompatibilné endpointy pre dokončenie chatu, takže čokoľvek, čo je už postavené proti týmto API, funguje aj na vašom vlastnom lokálnom serveri. Podpora videnia je zahrnutá pre modely, ktoré prijímajú vstupy obrazu.
OpenAI-kompatibilný / Anthropic-kompatibilný / Vision zahrnutý
Skopíruj to kdekoľvek
Stiahnite a extrahujte archív,
Spusti program.
Jeden staticky prepojený spustiteľný súbor a jeden konfiguračný súbor. Žiadne administrátorské práva, žiadny inštalátor, žiadna služba na pozadí na správu. Nasmerujte konfiguráciu na GGUF modelový súbor, ktorý už máte na počítači.
Prineste si vlastný model / Žiadny účet / Žiadne sledovanie
Cestovná mapa
Windows a Linux. Nasleduje Vulkan.
Zostavy CUDA sú dostupné pre Windows aj Linux. Vulkan je na pláne pre hardvér mimo NVIDIA.
Windows CUDA / Linux CUDA / Vulkan (čoskoro)
Dve úrovne, osobné až komerčné
Lite Free.
Lite.
Produkčné tímy môžu potrebovať viac než lokálny endpoint. Runtime overuje pôvod, reláciu a oprávnenie pred pridelením chránených prostriedkov. Riadené nasadenia môžu z platformy Parta prijímať vyriešený kontext modelu, autorizované znalosti, adaptéry vymedzené vykonávaním a riadené seedy.
Runtime zaznamenáva definované udalosti, výstupy a pôvod na neskoršiu kontrolu; Runtime Pro pridáva overenie identity naprieč uzlami a službami. Tieto prvky podporujú správu a rekonštrukciu, nenahrádzajú však posúdenie rizík, odbornú kontrolu ani povinnosti súladu.
Overenie pred inferenciou / Riadené adaptéry a kontext / Záznamy vykonávania / Architektúra s podanou patentovou prihláškou
Zadarmo. K dispozícii hneď
Lite Free
Komerčný. Kontaktujte nás
Lite
Dve úrovne, auditované na podporu identity
Runtime.
Runtime Pro.
Keď systém AI spracováva regulované údaje, samotná dôvera nestačí na dosiahnutie súladu. Runtime zaznamenáva, čo a kedy bežalo, bez toho, aby ste museli budovať túto infraštruktúru.
Je to dôkazová vrstva pod vaším procesom riadenia, nie jej náhrada. Ponechávate si vlastníctvo hodnotení rizík a zásad kontroly; Runtime zaisťuje, že záznamy, od ktorých závisia, nie je možné potichu upravovať.
Podpísané koncové body / Protokoly evidujúce zmenu / Architektúra čakajúca na patentovanie
Komerčný. Kontaktujte nás
Runtime
Komerčný. Kontaktujte nás
Runtime Pro
Stiahnite si Runtime Lite Free a overte.
CUDA · v0.1.0 · Osobné, vzdelávacie a hodnotiace využitie
Vyžaduje GPU NVIDIA s ovládačom kompatibilným s CUDA 13. Prebieha zostavenie Vulkan pre iný hardvér.
Stiahnite si archív a pred spustením overte jeho kontrolný súčet SHA256 oproti hodnote uvedenej nižšie.
Otázky
Skôr než sa opýtaš
Čo je Parta Runtime Lite?
Jeden prenosný spustiteľný súbor, ktorý spúšťa lokálny AI inferenčný server na vašom vlastnom počítači. Ide o zjednodušenú verziu Parta Runtime, inferenčného motora za Parta Assist, s odstránenou identitnou vrstvou, auditným reťazcom a politickým systémom.
Ktoré API formáty podporuje?
OpenAI kompatibilné a Anthropic-kompatibilné formáty dokončovania chatu, takže nástroje už vytvorené proti týmto API fungujú na lokálnom serveri bez úprav. Podpora videnia je zahrnutá pre modely, ktoré prijímajú vstupy obrazu.
Zahŕňa to prvky identity, auditu alebo politiky?
Nie. Runtime Lite je zámerne zbavený všetkého, čo tvorí produkčný Parta Runtime. Je to len obyčajný inferenčný server.
Aký hardvér to vyžaduje?
Zostavy CUDA sú k dispozícii pre Windows a Linux, ktoré vyžadujú NVIDIA GPU s funkčným ovládačom. Vulkan je na pláne pre ďalší hardvér.
Ako spustím program?
Stiahni zip, rozbal ho kdekoľvek na disku, nasmeruj priložený konfiguračný súbor na GGUF modelový súbor, ktorý už máš, a spusti spustiteľný súbor. Žiadny inštalátor, žiadne administrátorské práva, žiadna služba na pozadí.
Prenáša softvér nejaké dáta?
Nie. Beží úplne na vašom zariadení a neposiela výzvy, odpovede ani údaje o používaní Parte ani nikomu inému.
Aký je rozdiel medzi Runtime Lite Free, Lite, Runtime a Runtime Pro?
Runtime Lite Free je bezplatné stiahnutie na osobné, vzdelávacie a hodnotiace použitie. Runtime Lite je rovnaký nástroj na odvodenie a koncové body v rámci komerčnej licencie na produkčné použitie. Runtime pridáva reťazec auditu protokolu Parta. Runtime Pro pridáva pôvod založený na identite. Komerčné úrovne sú dostupné na základe dopytu prostredníctvom kontaktného formulára.
Prehľad
Zistite, koľko vás váš inferenčný server skutočne stojí.
Stačí tridsať sekúnd na predstavenie a sprístupníme vám dokument. Žiadny predajný hovor ani následný kontakt.
Chyby a spätná väzba
Kontaktujte nás
Čítame každú správu.
Na komerčné hodnotenie nám oznámte zamýšľanú záťaž, hardvér, integračný formát, požiadavky na adaptéry a znalosti a čo sa má overovať pred inferenciou a po nej. Rovnaký formulár slúži technickej podpore pre inštaláciu, kompatibilitu modelov, chyby a výkon.