स्थानीय अनुमान सर्वर. चार स्तर
Python या कंटेनर स्टैक बनाए बिना स्थानीय GGUF अनुमान चलाएँ। निःशुल्क पोर्टेबल बिल्ड से शुरू करें, फिर ऐसे उत्पादन पर जाएँ जहाँ गणना से पहले अनुरोध सत्यापित, निष्पादन संदर्भ नियंत्रित और निर्धारित घटनाएँ पहचान-समर्थित स्रोत-प्रमाण के साथ दर्ज की जा सकें।
नीचे स्क्रॉल करें
यदि स्टोरेज या रैम आपका सीमित कारक है, जीपीयू नहीं
यह तब लागू होता है जब जीपीयू मेमोरी के बजाय स्टोरेज या सिस्टम रैम, प्रति host कितना चल सकता है, इसे सीमित करता है। एक ही हार्डवेयर लगभग दोगुनी उपयोगी क्षमता प्रदान करता है, चाहे वह अधिक भुगतान करने वाले tenant या अधिक आंतरिक कार्यभार और विभागों की सेवा करता हो।
छोटा भाई
Parta Assist एक पूर्ण स्टैक पर चलता है: ऐप, बैकएंड और Parta Runtime, अनुमान इंजन, पहचान से वायर्ड, ऑडिट ट्रेल्स और विनियमित उद्योगों के लिए नीति नियंत्रण। रनटाइम लाइट वही अनुमान इंजन है, जो बाकी सब कुछ छीन लिया गया है।
कोई पहचान परत नहीं / कोई ऑडिट श्रृंखला नहीं / कोई नीति इंजन नहीं
डिजाइन द्वारा संगत
OpenAI-संगत और Anthropic-संगत चैट समापन समापन बिंदु हैं, इसलिए उन API के खिलाफ पहले से ही बनाया गया कुछ भी आपके अपने स्थानीय सर्वर के खिलाफ काम करता है। छवि इनपुट स्वीकार करने वाले मॉडलों के लिए दृष्टि समर्थन शामिल है।
OpenAI-संगत/Anthropic-संगत/विजन शामिल है
इसे कहीं भी कॉपी करें
एक स्थिर रूप से लिंक निष्पादन योग्य और एक कॉन्फ़िगरेशन फ़ाइल। कोई व्यवस्थापक अधिकार नहीं, कोई इंस्टॉलर नहीं, प्रबंधन के लिए कोई पृष्ठभूमि सेवा नहीं। कॉन्फ़िगरेशन को अपनी मशीन पर पहले से मौजूद GGUF मॉडल फ़ाइल पर इंगित करें।
अपना खुद का मॉडल लाओ/कोई खाता नहीं/कोई ट्रैकिंग नहीं
रोडमैप
CUDA बिल्ड Windows और Linux दोनों के लिए उपलब्ध हैं। Vulkan, NVIDIA के बाहर हार्डवेयर के रोडमैप पर है।
अनुमान-पूर्व सत्यापन / नियंत्रित अडैप्टर और संदर्भ / निष्पादन रिकॉर्ड / पेटेंट-लंबित संरचना
दो स्तर, व्यक्तिगत से व्यावसायिक
उत्पादन टीमों को स्थानीय एंडपॉइंट से अधिक की आवश्यकता हो सकती है। Runtime को संरक्षित अनुमान संसाधन आवंटित होने से पहले मूल, सत्र और निष्पादन प्राधिकार सत्यापित करने के लिए बनाया गया है। नियंत्रित परिनियोजन व्यापक Parta प्लेटफ़ॉर्म से निर्धारित मॉडल संदर्भ, अधिकृत ज्ञान, निष्पादन-दायरे के अडैप्टर और नियंत्रित सीड प्राप्त कर सकते हैं।
Runtime बाद की समीक्षा के लिए निर्धारित निष्पादन घटनाएँ, आउटपुट और स्रोत-प्रमाण दर्ज करता है, जबकि Runtime Pro नोड और सेवाओं में पहचान-समर्थित सत्यापन के साथ इस मॉडल का विस्तार करता है। ये नियंत्रण शासन और पुनर्निर्माण में सहायक हैं; वे जोखिम आकलन, पेशेवर समीक्षा या अनुपालन दायित्वों का स्थान नहीं लेते।
अनुमान-पूर्व सत्यापन / नियंत्रित अडैप्टर और संदर्भ / निष्पादन रिकॉर्ड / पेटेंट-लंबित संरचना
निःशुल्क. अभी उपलब्ध है
वाणिज्यिक. हमसे संपर्क करें
दो स्तर, पहचान-समर्थित के लिए ऑडिट किया गया
जब कोई एआई सिस्टम विनियमित डेटा को संभालता है, तो अनुपालन के लिए केवल विश्वास ही पर्याप्त नहीं है। Runtime रिकॉर्ड करता है कि क्या चला और कब चला, आपको उस बुनियादी ढांचे के निर्माण की आवश्यकता के बिना।
यह आपकी शासन प्रक्रिया के नीचे साक्ष्य की परत है, इसका प्रतिस्थापन नहीं। आप जोखिम मूल्यांकन और समीक्षा नीतियों का स्वामित्व बरकरार रखते हैं; Runtime यह सुनिश्चित करता है कि जिन रिकॉर्ड्स पर वे निर्भर हैं उन्हें बाद में चुपचाप संपादित नहीं किया जा सकता है।
हस्ताक्षरित समापन बिंदु/छेड़छाड़-स्पष्ट लॉग/पेटेंट-लंबित वास्तुकला
वाणिज्यिक. हमसे संपर्क करें
वाणिज्यिक. हमसे संपर्क करें
CUDA · v0.1.0 · व्यक्तिगत, शैक्षिक और मूल्यांकन उपयोग
CUDA 13-संगत ड्राइवर के साथ NVIDIA GPU की आवश्यकता है। अन्य हार्डवेयर के लिए वल्कन निर्माण प्रगति पर है।
संग्रह डाउनलोड करें और इसे चलाने से पहले नीचे दिए गए मान के विरुद्ध इसके SHA256 चेकसम को सत्यापित करें।
प्रश्न
एक एकल, पोर्टेबल निष्पादन योग्य जो आपकी अपनी मशीन पर एक स्थानीय AI अनुमान सर्वर चलाता है। यह Parta Runtime का एक स्ट्रिप्ड-डाउन संस्करण है, Parta Assist के पीछे अनुमान इंजन, पहचान परत, ऑडिट श्रृंखला और नीति इंजन को हटा दिया गया है।
OpenAI-संगत और Anthropic-संगत चैट पूर्णता प्रारूप, इसलिए उन API के खिलाफ पहले से ही बनाए गए उपकरण संशोधन के बिना स्थानीय सर्वर के खिलाफ काम करते हैं। छवि इनपुट स्वीकार करने वाले मॉडलों के लिए दृष्टि समर्थन शामिल है।
नहीं। रनटाइम लाइट को जानबूझकर वह सब कुछ छीन लिया जाता है जो उत्पादन Parta Runtime बनाता है। यह केवल एक सादा अनुमान सर्वर है।
CUDA बिल्ड Windows और Linux के लिए उपलब्ध हैं, जिसके लिए कार्यशील ड्राइवर के साथ NVIDIA GPU की आवश्यकता होती है। Vulkan अन्य हार्डवेयर के लिए रोडमैप पर है।
ज़िप डाउनलोड करें, इसे डिस्क पर कहीं भी निकालें, शामिल कॉन्फ़िगरेशन फ़ाइल को आपके पास पहले से मौजूद GGUF मॉडल फ़ाइल पर इंगित करें, और निष्पादन योग्य चलाएँ। कोई इंस्टॉलर नहीं, कोई व्यवस्थापक अधिकार नहीं, कोई पृष्ठभूमि सेवा नहीं।
नहीं। यह पूरी तरह से आपके अपने डिवाइस पर चलता है और पार्टा या किसी और को संकेत, प्रतिक्रियाएं या उपयोग डेटा प्रसारित नहीं करता है।
Runtime Lite Free व्यक्तिगत, शैक्षिक और मूल्यांकन उपयोग के लिए मुफ्त डाउनलोड है। Runtime Lite उत्पादन उपयोग के लिए एक वाणिज्यिक लाइसेंस के तहत एक ही अनुमान इंजन और समापन बिंदु है। Runtime पार्टा प्रोटोकॉल ऑडिट श्रृंखला जोड़ता है। Runtime Pro पहचान-समर्थित उत्पत्ति जोड़ता है। वाणिज्यिक टियर संपर्क फ़ॉर्म के माध्यम से पूछताछ द्वारा उपलब्ध हैं।
अवलोकन
अपना परिचय देने में तीस सेकंड लगाएँ और हम आपको दस्तावेज़ की पहुँच दे देंगे। कोई बिक्री कॉल या फ़ॉलो-अप नहीं।
बग और प्रतिक्रिया
हम हर संदेश पढ़ते हैं.
व्यावसायिक मूल्यांकन के लिए हमें अपना लक्षित कार्यभार, हार्डवेयर, एकीकरण प्रारूप, अडैप्टर और ज्ञान आवश्यकताएँ तथा अनुमान से पहले और बाद में सत्यापित की जाने वाली बातें बताएँ। यही फ़ॉर्म स्थापना संबंधी समस्याओं, मॉडल संगतता, बग और प्रदर्शन प्रश्नों के लिए तकनीकी सहायता तक भी पहुँचता है।