Parta Runtime
Paikallinen päättelypalvelin. Neljä tasoa
Suorita paikallista GGUF-päättelyä rakentamatta Python- tai säiliöpinoa. Aloita maksuttomalla siirrettävällä versiolla ja siirry tuotantoon, jossa pyynnöt voidaan todentaa ennen laskentaa, suoritusympäristöä hallita ja määritetyt tapahtumat tallentaa identiteettiin perustuvan alkuperätiedon kanssa.
Selaa alas
Jos tallennustila tai RAM on rajoittava tekijä, ei GPU
Sama rack.
Lisää kapasiteettia.
Tämä pätee, kun tallennus- tai järjestelmän RAM-muisti GPU-muistin sijaan rajoittaa sitä, kuinka paljon host-yksikköä voidaan käyttää. Sama laitteisto tarjoaa suunnilleen kaksinkertaisen käyttökapasiteetin, palveleeko se sitten enemmän maksavaa tenant:ää tai enemmän sisäisiä työkuormia ja osastoja.
Nuorempi veli
Parta Runtime,
Ilman alustaa.
Parta Assist pyörii täydellä pinolla: sovellus, backend ja Parta Runtime, päättelymoottori, joka on kytketty identiteettiin, auditointijälkiin ja sääntelytoimialojen politiikkakontrolliin. Runtime Lite on sama päättelymoottori, josta on riisuttu kaikki muu.
Ei identiteettikerrosta / Ei auditointiketjua / Ei politiikkamoottoria
Yhteensopiva suunnittelultaan
Puhuu formaatteja
Käytät jo.
OpenAI-yhteensopivat ja Anthropic-yhteensopivat chat-suorituspäätepisteet, joten kaikki, mikä on jo rakennettu näitä API vastaan, toimii omaa paikallista palvelinta vastaan. Näkötuki sisältyy malleihin, jotka hyväksyvät kuvasyötteet.
OpenAI-yhteensopiva / Anthropic-yhteensopiva / Vision mukana
Kopioi se minne tahansa
Lataa ja purkaa arkisto,
Käynnistä ohjelma.
Yksi staattisesti linkitetty suoritettava tiedosto ja yksi konfiguraatiotiedosto. Ei ylläpitäjäoikeuksia, ei asennusohjelmaa, ei taustapalvelua hallittavaksi. Suuntaa konfiguraatio GGUF mallitiedostoon, joka on jo koneellasi.
Ota oma malli mukaan / Ei tiliä / Ei seurantaa
Tiekartta
Windows ja Linux.
Vulkan seuraavaksi.
CUDA-koontiversiot ovat saatavilla sekä Windows:lle että Linux:lle. Vulkan on etenemissuunnitelmassa NVIDIA:n ulkopuolisille laitteille.
Windows CUDA / Linux CUDA / Vulkan (pian)
Kaksi tasoa, henkilökohtaisesta kaupalliseen
Lite Free.
Lite.
Tuotantotiimit voivat tarvita enemmän kuin paikallisen päätepisteen. Runtime on suunniteltu todentamaan alkuperä, istunto ja suoritusvaltuus ennen suojattujen päättelyresurssien varaamista. Hallitut käyttöönotot voivat vastaanottaa laajemmalta Parta-alustalta ratkaistun mallikontekstin, valtuutetun tiedon, suorituskohtaiset sovittimet ja hallitut siemenarvot.
Runtime tallentaa määritetyt suoritustapahtumat, tuotokset ja alkuperätiedot myöhempää tarkastusta varten. Runtime Pro laajentaa mallia identiteettiin perustuvalla varmennuksella solmujen ja palvelujen välillä. Nämä hallintatoimet tukevat hallintaa ja rekonstruointia, mutta eivät korvaa riskinarviointia, ammatillista tarkastusta tai vaatimustenmukaisuusvelvoitteita.
Päättelyä edeltävä varmennus / Hallitut sovittimet ja konteksti / Suorituslokit / Patenttia haettu arkkitehtuuri
Ilmainen. Saatavilla nyt
Lite Free
kaupallinen. Ota yhteyttä
Lite
Kaksi tasoa, jotka on tarkastettu identiteettituettaviksi
Runtime.
Runtime Pro.
Kun tekoälyjärjestelmä käsittelee säänneltyä dataa, pelkkä luottamus ei riitä vaatimustenmukaisuuteen. Runtime tallentaa, mitä suoritettiin ja milloin, ilman että sinun tarvitsee rakentaa kyseistä infrastruktuuria.
Se on todiste kerros hallintoprosessisi alla, ei korvaa sitä. Säilytät riskiarviointien ja tarkistuskäytäntöjen omistusoikeuden; Runtime varmistaa, että tietueita, joista ne riippuvat, ei voida muokata hiljaa jälkeenpäin.
Allekirjoitetut päätepisteet / peukaloinnin ilmeiset lokit / Patenttia haetaan arkkitehtuuri
kaupallinen. Ota yhteyttä
Runtime
kaupallinen. Ota yhteyttä
Runtime Pro
Lataa Runtime Lite Free ja vahvista.
CUDA · v0.1.0 · Henkilökohtainen, koulutus- ja arviointikäyttö
Vaatii NVIDIA GPU:n, jossa on CUDA 13 -yhteensopiva ohjain. Vulkan-versio muille laitteille on meneillään.
Lataa arkisto ja tarkista sen SHA256-tarkistussumma alla olevaan arvoon ennen sen suorittamista.
Kysymyksiä
Ennen kuin kysyt
Mikä on Parta Runtime Lite?
Yksi kannettava suoritettava tiedosto, joka pyörittää paikallista tekoälypäättelypalvelinta omalla koneellasi. Se on pelkistetty versio Parta Runtime:sta, Parta Assist:n päättelymoottorista, josta on poistettu identiteettikerros, auditointiketju ja politiikkamoottori.
Mitä API formaatteja se tukee?
OpenAI-yhteensopivat ja Anthropic-yhteensopivat chat-suoritusmuodot, joten työkalut, jotka on jo rakennettu näihin API toimimaan paikallisella palvelimella ilman muutoksia. Näkötuki sisältyy malleihin, jotka hyväksyvät kuvasyötteet.
Sisältääkö se identiteetti-, auditointi- tai politiikkaominaisuuksia?
Ei. Runtime Lite on tarkoituksella riisuttu kaikesta, mikä muodostaa tuotannon Parta Runtime. Se on pelkkä päättelypalvelin.
Mitä laitteistoa se vaatii?
CUDA-koontiversiot ovat saatavilla Windows:lle ja Linux:lle, jotka vaativat NVIDIA GPU:n toimivalla ohjaimella. Vulkan on muiden laitteiden etenemissuunnitelmassa.
Miten suoritan ohjelman?
Lataa zip-tiedosto, pura se mistä tahansa levyltä, osoita mukana tuleva konfiguraatiotiedosto GGUF mallitiedostoon, joka sinulla jo on, ja suorita suoritettava tiedosto. Ei asennusohjelmaa, ei ylläpitäjäoikeuksia, ei taustapalvelua.
Lähettääkö ohjelmisto mitään dataa?
Ei. Se toimii kokonaan omalla laitteellasi eikä lähetä kehotuksia, vastauksia tai käyttötietoja Partalle tai kenellekään muulle.
Mitä eroa on Runtime Lite Free:n, Liten, Runtime:n ja Runtime Pro:n välillä?
Runtime Lite Free on ilmainen lataus henkilökohtaiseen, koulutus- ja arviointikäyttöön. Runtime Lite on sama päättelykone ja päätepisteet kaupallisen tuotantolisenssin alaisena. Runtime lisää Parta-protokollan valvontaketjun. Runtime Pro lisää identiteetin tukemaa alkuperää. Kaupalliset tasot ovat saatavilla tiedustelemalla yhteydenottolomakkeen kautta.
Yleiskatsaus
Katso, mitä päättelypalvelimesi todella maksaa.
Esittele itsesi kolmessakymmenessä sekunnissa, niin saat pääsyn asiakirjaan. Ei myyntipuhelua eikä seurantayhteydenottoa.
Bugit ja palaute
Ota yhteyttä
Luemme jokaisen viestin.
Kaupallista arviointia varten kerro suunnitellusta työkuormasta, laitteistosta, integraatiomuodosta, sovitin- ja tietovaatimuksista sekä siitä, mitä ennen päättelyä ja sen jälkeen on varmennettava. Samalla lomakkeella saat teknistä tukea asennusongelmiin, mallien yhteensopivuuteen, virheisiin ja suorituskykykysymyksiin.