Parta Runtime
Lokalny serwer wnioskowania. Cztery poziomy
Uruchamiaj lokalne wnioskowanie GGUF bez składania stosu Pythona lub kontenerów. Zacznij od bezpłatnej przenośnej wersji, a następnie przejdź do produkcji, gdzie żądania można zweryfikować przed obliczeniami, kontrolować kontekst wykonania oraz rejestrować zdefiniowane zdarzenia wraz z pochodzeniem potwierdzonym tożsamością.
Przewiń w dół
Jeśli czynnikiem ograniczającym jest pamięć lub pamięć RAM, a nie karta graficzna
To samo rack.
Większa pojemność.
Ma to zastosowanie, gdy pamięć RAM lub systemowa pamięć RAM, a nie pamięć GPU, ogranicza ilość pamięci, którą można uruchomić na host. Ten sam sprzęt zapewnia mniej więcej dwukrotnie większą użyteczną pojemność, niezależnie od tego, czy obsługuje to bardziej płatne tenant, czy też więcej wewnętrznych zadań i działów.
Młodszy brat
Parta Runtime,
Bez platformy.
Parta Assist działa na pełnym stosie: aplikacji, backendzie i Parta Runtime, silniku wnioskowania, powiązanym z tożsamością, ścieżkami audytowymi i kontrolą polityki dla regulowanych branż. Runtime Lite to ten sam silnik wnioskowania, pozbawiony wszystkiego innego.
Brak warstwy tożsamości / brak łańcucha audytu / brak silnika polityk
Kompatybilne z założeniem
Mówi w formatach
Już używasz.
OpenAI kompatybilne i Anthropic-kompatybilne endpointy do dopełniania czatu, więc wszystko, co już zbudowane pod te API, działa na Twoim lokalnym serwerze. Obsługa Vision jest uwzględniona dla modeli akceptujących dane obrazowe.
OpenAI-kompatybilny / Anthropic-kompatybilny / Vision uwzględniony
Skopiuj to gdziekolwiek
Pobierz i wyodrębnij archiwum,
Uruchom program.
Jeden statycznie połączony plik wykonywalny i jeden plik konfiguracyjny. Brak praw administratora, brak instalatora, brak usługi w tle do zarządzania. Skieruj konfigurację na GGUF plik modelu już na twoim komputerze.
Przynieś własny model / Bez konta / Bez śledzenia
Plan działania
Windows i Linux.
Następny będzie Vulkan.
Kompilacje CUDA są dostępne zarówno dla Windows, jak i Linux. Vulkan znajduje się w planie rozwoju sprzętu poza NVIDIA.
Windows CUDA / Linux CUDA / Vulkan (wkrótce)
Dwa poziomy, osobisty i komercyjny
Lite Free.
Lite.
Zespoły produkcyjne mogą potrzebować więcej niż lokalnego punktu końcowego. Runtime weryfikuje pochodzenie, sesję i uprawnienia wykonawcze przed przydzieleniem chronionych zasobów wnioskowania. Nadzorowane wdrożenia mogą otrzymywać z szerszej platformy Parta ustalony kontekst modelu, autoryzowaną wiedzę, adaptery ograniczone do wykonania i kontrolowane ziarna.
Runtime rejestruje określone zdarzenia wykonania, wyniki i pochodzenie do późniejszego przeglądu, natomiast Runtime Pro rozszerza ten model o weryfikację opartą na tożsamości między węzłami i usługami. Te mechanizmy wspierają nadzór i rekonstrukcję; nie zastępują oceny ryzyka, profesjonalnego przeglądu ani obowiązków zgodności.
Weryfikacja przed wnioskowaniem / Kontrolowane adaptery i kontekst / Zapisy wykonania / Architektura zgłoszona do opatentowania
Bezpłatny. Dostępne teraz
Lite Free
Komercyjny. Skontaktuj się z nami
Lite
Dwa poziomy, kontrolowane pod kątem tożsamości
Runtime.
Runtime Pro.
Gdy system sztucznej inteligencji przetwarza dane podlegające regulacjom, samo zaufanie nie wystarczy, aby zapewnić zgodność. Runtime rejestruje, co i kiedy zostało uruchomione, bez konieczności budowania tej infrastruktury.
Jest to warstwa dowodów leżąca u podstaw procesu zarządzania, a nie jego zamiennik. Zachowujesz własność ocen ryzyka i zasad przeglądu; Runtime zapewnia, że rekordy, od których zależą, nie mogą być później edytowane w trybie cichym.
Podpisane punkty końcowe / Dzienniki zabezpieczające przed manipulacją / Architektura zgłoszona do opatentowania
Komercyjny. Skontaktuj się z nami
Runtime
Komercyjny. Skontaktuj się z nami
Runtime Pro
Pobierz Runtime Lite Free i sprawdź.
CUDA · v0.1.0 · Do użytku osobistego, edukacyjnego i ewaluacyjnego
Wymaga procesora graficznego NVIDIA ze sterownikiem zgodnym z CUDA 13. Trwa kompilacja Vulkan dla innego sprzętu.
Pobierz archiwum i przed uruchomieniem sprawdź jego sumę kontrolną SHA256 względem poniższej wartości.
Pytania
Zanim zapytasz
Co to jest Parta Runtime Lite?
Pojedynczy, przenośny plik wykonywalny, który uruchamia lokalny serwer wnioskowania AI na twoim własnym komputerze. Jest to uproszczona wersja Parta Runtime, silnika wnioskowania stojącego za Parta Assist, z usuniętą warstwą tożsamości, łańcuchem audytów i silnikiem polityk.
Jakie API formaty obsługuje?
OpenAI kompatybilne i Anthropic-kompatybilne formaty dopełniania czatu, więc narzędzia już zbudowane pod te API działają na lokalnym serwerze bez modyfikacji. Obsługa Vision jest uwzględniona dla modeli akceptujących dane obrazowe.
Czy zawiera funkcje tożsamości, audytu lub polityki?
Nie. Runtime Lite jest celowo pozbawiony wszystkiego, co stanowi Parta Runtime produkcyjne. To tylko zwykły serwer wnioskowania.
Jakiego sprzętu to wymaga?
Kompilacje CUDA są dostępne dla Windows i Linux, wymagają NVIDIA GPU z działającym sterownikiem. Vulkan jest w planach dotyczących innego sprzętu.
Jak uruchomić ten program?
Pobierz plik zip, rozpakuj go gdziekolwiek na dysku, skieruj dołączony plik konfiguracyjny na plik GGUF modelu, który już posiadasz, i uruchom plik wykonywalny. Brak instalatora, brak praw administratora, brak usługi w tle.
Czy oprogramowanie przesyła jakieś dane?
Nie. Działa całkowicie na twoim urządzeniu i nie przesyła podpowiedzi, odpowiedzi ani danych o użytkowaniu do Parta ani nikogo innego.
Jaka jest różnica między Runtime Lite Free, Lite, Runtime i Runtime Pro?
Runtime Lite Free to program do bezpłatnego pobrania do użytku osobistego, edukacyjnego i ewaluacyjnego. Runtime Lite to ten sam silnik wnioskowania i punkty końcowe objęte licencją komercyjną do użytku produkcyjnego. Runtime dodaje łańcuch audytu protokołu Parta. Runtime Pro dodaje pochodzenie potwierdzone tożsamością. Poziomy komercyjne są dostępne po zapytaniu za pośrednictwem formularza kontaktowego.
Przegląd
Sprawdź, ile naprawdę kosztuje Cię serwer inferencyjny.
Poświęć trzydzieści sekund na przedstawienie się, a udostępnimy Ci dokument. Bez rozmowy sprzedażowej i bez dalszego kontaktu.
Błędy i opinie
Skontaktuj się z nami
Czytamy każdą wiadomość.
W celu oceny komercyjnej podaj planowane obciążenie, sprzęt, format integracji, wymagania dotyczące adapterów i wiedzy oraz elementy wymagające weryfikacji przed wnioskowaniem i po nim. Ten sam formularz służy również do kontaktu z pomocą techniczną w sprawie instalacji, zgodności modeli, błędów i wydajności.