Parta Runtime
Yerel çıkarım sunucusu. Dört katman
Python veya konteyner yığınını bir araya getirmeden yerel GGUF çıkarımını çalıştırın. Özgür taşınabilir bir yapı ile başlayın, ardından isteklerin hesaplama, yürütme bağlamı kontrol edilmeden önce doğrulanabileceği ve kimlik desteklenen kaynakla kaydedilen tanımlanmış olayların yapılabileceği bir üretime geçin.
Aşağıya kaydırın
Sınırlayıcı faktörünüz GPU değil, depolama veya RAM ise
Aynı rack.
Daha fazla kapasite.
Bu, GPU belleği yerine depolama veya sistem RAM'inin host başına ne kadar çalışabileceğini sınırladığında geçerlidir. Aynı donanım, ister daha fazla ödeme yapan tenant'e ister daha fazla dahili iş yüküne ve departmana hizmet etsin, kabaca iki kat daha fazla kullanılabilir kapasite sağlar.
Küçük kardeş
Parta Runtime,
platform olmadan.
Parta Assist tam bir yığın üzerinde çalışır: uygulama, backend ve Parta Runtime, çıkarım motoru, kimlikle, denetim izlerine ve düzenlenen sektörler için politika kontrolüne kablolanmış. Runtime Lite ise aynı çıkarım motoru, diğer her şeyden arındırılmış bir şey.
Kimlik katmanı yok / Denetim zinciri yok / Politika motoru yok
Tasarım gereği uyumlu
Formatları konuşur
zaten kullanıyorsun.
OpenAI uyumlu ve Anthropic uyumlu sohbet tamamlama uç noktaları, yani bu API için önceden oluşturulmuş her şey kendi yerel sunucunuzla çalışır. Görüntü girişlerini kabul eden modeller için görme desteği de dahildir.
OpenAI uyumlu / Anthropic uyumlu / Vision dahil
Her yere kopyalayabilirsiniz
Arşivi indirip çıkar,
Programı çalıştır.
Bir statik bağlantılı çalıştırma dosyası ve bir yapılandırma dosyası. Yönetici hakkı yok, kurulumcu yok, yönetilecek arka plan hizmeti yok. Yapılandırmayı makinenizde zaten bulunan GGUF model dosyasına yönlendirin.
Kendi modelinizi getirin / Hesap yok / Takip yok
Yol Haritası
Windows ve Linux.
Sırada Vulkan var.
CUDA yapıları hem Windows hem de Linux için mevcuttur. Vulkan, NVIDIA dışındaki donanımlar için yol haritasında yer alıyor.
/ Kontrollü adaptörler ve bağlam / Çalışma kayıtları / Patent bekleyen mimarisi
Kişiselden ticariye iki katman
Lite Free.
Lite.
Üretim ekiplerine yerel bir son noktaya ihtiyaç duyabilir. Runtime, korunan sonuç kaynakları tahsis edilmeden önce köken, seans ve yürütme otoritesini doğrulama amacıyla tasarlanmıştır. Yönetilen dağıtımlar daha geniş Parta platformu'ndan çözülmüş model bağlamı, yetkili bilgi, yürütme kapsamına yönelik adaptörler ve kontrol edilen tohumlar alabilir.
Çalışma süresi kayıtları, daha sonraki inceleme için yürütme olaylarını, çıkışlarını ve kökenini tanımlarken, Runtime Pro bu modeli nodlar ve hizmetlere kimlik desteklenen doğrulama ile genişletiyor. Bu kontroller yönetimi ve yeniden yapılandırmayı destekler; risk değerlendirmesini, profesyonel incelemeyi veya uyumluluk yükümlülüklerini değiştirmezler.
/ Kontrollü adaptörler ve bağlam / Çalışma kayıtları / Patent bekleyen mimarisi
Ücretsiz. Şu anda mevcut
Lite Free
Ticari. Bize ulaşın
Lite
Kimlik destekli olarak denetlenen iki katman
Runtime.
Runtime Pro.
Bir yapay zeka sistemi düzenlenmiş verileri işlediğinde uyumluluk için güven tek başına yeterli değildir. Runtime, altyapıyı oluşturmanıza gerek kalmadan neyin ne zaman çalıştığını kaydeder.
Bu, yönetişim sürecinizin altındaki kanıt katmanıdır, onun yerine geçmez. Risk değerlendirmelerinin ve inceleme politikalarının mülkiyeti sizde kalır; Runtime, bağımlı oldukları kayıtların daha sonra sessizce düzenlenememesini sağlar.
İmzalı uç noktalar / Kurcalanmaya karşı korumalı günlükler / Patent bekleyen mimari
Ticari. Bize ulaşın
Runtime
Ticari. Bize ulaşın
Runtime Pro
Runtime Lite Free'i indirin ve doğrulayın.
CUDA · v0.1.0 · Kişisel, eğitimsel ve değerlendirme amaçlı kullanım
CUDA 13 uyumlu sürücüye sahip bir NVIDIA GPU gerektirir. Diğer donanımlar için bir Vulkan geliştirmesi devam ediyor.
Arşivi indirin ve çalıştırmadan önce SHA256 sağlama toplamını aşağıdaki değere göre doğrulayın.
Sorular
Sormadan önce
Parta Runtime Lite nedir?
Kendi makinenizde yerel bir yapay zeka çıkarım sunucusu çalıştıran tek, taşınabilir bir çalıştırılabilir dosya. Bu, Parta Assist'nin arkasındaki çıkarım motoru olan Parta Runtime'nin sadeleştirilmiş bir versiyonudur; burada kimlik katmanı, denetim zinciri ve politika motoru çıkarılmıştır.
Hangi API formatı destekliyor?
OpenAI uyumlu ve Anthropic uyumlu sohbet tamamlama formatları, yani bu API için zaten oluşturulmuş araçlar yerel sunucuya karşı değişiklik yapmadan çalışıyor. Görüntü girişlerini kabul eden modeller için görme desteği de dahildir.
Kimlik, denetim veya politika özellikleri içeriyor mu?
Hayır. Runtime Lite, üretim Parta Runtime her şeyden kasıtlı olarak çıkarılmıştır. Sadece basit bir çıkarım sunucusu.
Hangi donanımı gerektiriyor?
CUDA yapıları Windows ve Linux için mevcuttur ve çalışan bir sürücüye sahip bir NVIDIA GPU gerektirir. Vulkan diğer donanımlar için yol haritasında yer alıyor.
Programı nasıl çalıştırabilirim?
Zip'i indirin, diskin herhangi bir yerinde açın, dahil edilen yapılandırma dosyasını zaten sahip olduğunuz GGUF model dosyasına yönlendirin ve çalıştırma faylını çalıştırın. Kurulumcu yok, yönetici hakkı yok, arka plan hizmeti yok.
Yazılım herhangi bir veri iletiyor mu?
Hayır. Tamamen kendi cihazınızda çalışır ve Parta veya başkasına istekleri, yanıtları veya kullanım verilerini iletmez.
Runtime Lite Free, Lite, Runtime ve Runtime Pro arasındaki fark nedir?
Runtime Lite Free kişisel, eğitimsel ve değerlendirme amaçlı kullanım için ücretsiz olarak indirilebilir. ZZRUNTIMELITZZ, üretimde kullanıma yönelik ticari lisans kapsamındaki aynı çıkarım motoru ve uç noktalardır. Runtime, Parta protokolü denetim zincirini ekler. Runtime Pro, Kimlik destekli köken ekler. Ticari katmanlar, iletişim formu aracılığıyla sorgulanarak edinilebilir.
Genel bakış
Çıkarım sunucunuzun size gerçekte ne kadara mal olduğunu görün.
Kendinizi tanıtmak için otuz saniye ayırın, belgeye erişmenizi sağlayalım. Satış araması veya takip yok.
Hatalar ve geri bildirim
İletişime geçin
Her mesajı okuyoruz.
Ticari bir değerlendirme için, planlanan iş yükünüzü, donanımınızı, entegrasyon biçimini, adaptör ve bilgi gereksinimlerinizi ve sonuçtan önce ve sonra neyin doğrulanacağını söyleyin.