Parta Runtime

स्थानीय अनुमान सर्वर. चार स्तर

Python या कंटेनर स्टैक बनाए बिना स्थानीय GGUF अनुमान चलाएँ। निःशुल्क पोर्टेबल बिल्ड से शुरू करें, फिर ऐसे उत्पादन पर जाएँ जहाँ गणना से पहले अनुरोध सत्यापित, निष्पादन संदर्भ नियंत्रित और निर्धारित घटनाएँ पहचान-समर्थित स्रोत-प्रमाण के साथ दर्ज की जा सकें।

नीचे स्क्रॉल करें

यदि स्टोरेज या रैम आपका सीमित कारक है, जीपीयू नहीं

वही rack।
अधिक क्षमता.

73 MB
एक सामान्य Python/CUDA inference stack के लिए 8-20 जीबी की तुलना में
~15 GB
instance प्रति मुक्त, अक्सर पूरे अतिरिक्त कार्यभार के लिए जगह
200 → 400
समान 200-नोड rack में तैनाती योग्य instances, बिना किसी नए हार्डवेयर के

यह तब लागू होता है जब जीपीयू मेमोरी के बजाय स्टोरेज या सिस्टम रैम, प्रति host कितना चल सकता है, इसे सीमित करता है। एक ही हार्डवेयर लगभग दोगुनी उपयोगी क्षमता प्रदान करता है, चाहे वह अधिक भुगतान करने वाले tenant या अधिक आंतरिक कार्यभार और विभागों की सेवा करता हो।

छोटा भाई

Parta Runtime,
मंच के बिना।

Parta Assist एक पूर्ण स्टैक पर चलता है: ऐप, बैकएंड और Parta Runtime, अनुमान इंजन, पहचान से वायर्ड, ऑडिट ट्रेल्स और विनियमित उद्योगों के लिए नीति नियंत्रण। रनटाइम लाइट वही अनुमान इंजन है, जो बाकी सब कुछ छीन लिया गया है।

कोई पहचान परत नहीं / कोई ऑडिट श्रृंखला नहीं / कोई नीति इंजन नहीं

डिजाइन द्वारा संगत

प्रारूपों को बोलता है
आप पहले से ही उपयोग करते हैं।

OpenAI-संगत और Anthropic-संगत चैट समापन समापन बिंदु हैं, इसलिए उन API के खिलाफ पहले से ही बनाया गया कुछ भी आपके अपने स्थानीय सर्वर के खिलाफ काम करता है। छवि इनपुट स्वीकार करने वाले मॉडलों के लिए दृष्टि समर्थन शामिल है।

OpenAI-संगत/Anthropic-संगत/विजन शामिल है

इसे कहीं भी कॉपी करें

संग्रह डाउनलोड करें और निकालें,
प्रोग्राम चलाएँ।

एक स्थिर रूप से लिंक निष्पादन योग्य और एक कॉन्फ़िगरेशन फ़ाइल। कोई व्यवस्थापक अधिकार नहीं, कोई इंस्टॉलर नहीं, प्रबंधन के लिए कोई पृष्ठभूमि सेवा नहीं। कॉन्फ़िगरेशन को अपनी मशीन पर पहले से मौजूद GGUF मॉडल फ़ाइल पर इंगित करें।

अपना खुद का मॉडल लाओ/कोई खाता नहीं/कोई ट्रैकिंग नहीं

रोडमैप

Windows और Linux।
Vulkan अगला.

CUDA बिल्ड Windows और Linux दोनों के लिए उपलब्ध हैं। Vulkan, NVIDIA के बाहर हार्डवेयर के रोडमैप पर है।

अनुमान-पूर्व सत्यापन  /  नियंत्रित अडैप्टर और संदर्भ  /  निष्पादन रिकॉर्ड  /  पेटेंट-लंबित संरचना

दो स्तर, व्यक्तिगत से व्यावसायिक

Lite Free.
Lite.

उत्पादन टीमों को स्थानीय एंडपॉइंट से अधिक की आवश्यकता हो सकती है। Runtime को संरक्षित अनुमान संसाधन आवंटित होने से पहले मूल, सत्र और निष्पादन प्राधिकार सत्यापित करने के लिए बनाया गया है। नियंत्रित परिनियोजन व्यापक Parta प्लेटफ़ॉर्म से निर्धारित मॉडल संदर्भ, अधिकृत ज्ञान, निष्पादन-दायरे के अडैप्टर और नियंत्रित सीड प्राप्त कर सकते हैं।

Runtime बाद की समीक्षा के लिए निर्धारित निष्पादन घटनाएँ, आउटपुट और स्रोत-प्रमाण दर्ज करता है, जबकि Runtime Pro नोड और सेवाओं में पहचान-समर्थित सत्यापन के साथ इस मॉडल का विस्तार करता है। ये नियंत्रण शासन और पुनर्निर्माण में सहायक हैं; वे जोखिम आकलन, पेशेवर समीक्षा या अनुपालन दायित्वों का स्थान नहीं लेते।

अनुमान-पूर्व सत्यापन  /  नियंत्रित अडैप्टर और संदर्भ  /  निष्पादन रिकॉर्ड  /  पेटेंट-लंबित संरचना

निःशुल्क. अभी उपलब्ध है

Lite Free

लाइसेंसव्यक्तिगत और मूल्यांकन
मानक अनुमान✓
लेखापरीक्षा श्रृंखला✗
पहचान उद्गम✗

वाणिज्यिक. हमसे संपर्क करें

Lite

लाइसेंसवाणिज्यिक, पूछताछ पर
मानक अनुमान✓
लेखापरीक्षा श्रृंखला✗
पहचान उद्गम✗

दो स्तर, पहचान-समर्थित के लिए ऑडिट किया गया

Runtime.
Runtime Pro.

जब कोई एआई सिस्टम विनियमित डेटा को संभालता है, तो अनुपालन के लिए केवल विश्वास ही पर्याप्त नहीं है। Runtime रिकॉर्ड करता है कि क्या चला और कब चला, आपको उस बुनियादी ढांचे के निर्माण की आवश्यकता के बिना।

यह आपकी शासन प्रक्रिया के नीचे साक्ष्य की परत है, इसका प्रतिस्थापन नहीं। आप जोखिम मूल्यांकन और समीक्षा नीतियों का स्वामित्व बरकरार रखते हैं; Runtime यह सुनिश्चित करता है कि जिन रिकॉर्ड्स पर वे निर्भर हैं उन्हें बाद में चुपचाप संपादित नहीं किया जा सकता है।

हस्ताक्षरित समापन बिंदु/छेड़छाड़-स्पष्ट लॉग/पेटेंट-लंबित वास्तुकला

वाणिज्यिक. हमसे संपर्क करें

Runtime

लाइसेंसवाणिज्यिक, पूछताछ पर
मानक अनुमान✓
लेखापरीक्षा श्रृंखला✓
पहचान उद्गम✗

वाणिज्यिक. हमसे संपर्क करें

Runtime Pro

लाइसेंसवाणिज्यिक, पूछताछ पर
मानक अनुमान✓
लेखापरीक्षा श्रृंखला✓
पहचान उद्गम✓

Runtime Lite Free डाउनलोड करें और सत्यापित करें।

CUDA · v0.1.0 · व्यक्तिगत, शैक्षिक और मूल्यांकन उपयोग

CUDA 13-संगत ड्राइवर के साथ NVIDIA GPU की आवश्यकता है। अन्य हार्डवेयर के लिए वल्कन निर्माण प्रगति पर है।

संग्रह डाउनलोड करें और इसे चलाने से पहले नीचे दिए गए मान के विरुद्ध इसके SHA256 चेकसम को सत्यापित करें।

Windows

Linux

प्रश्न

इससे पहले कि आप पूछें

Parta Runtime Lite क्या है?

एक एकल, पोर्टेबल निष्पादन योग्य जो आपकी अपनी मशीन पर एक स्थानीय AI अनुमान सर्वर चलाता है। यह Parta Runtime का एक स्ट्रिप्ड-डाउन संस्करण है, Parta Assist के पीछे अनुमान इंजन, पहचान परत, ऑडिट श्रृंखला और नीति इंजन को हटा दिया गया है।

यह किन API प्रारूपों का समर्थन करता है?

OpenAI-संगत और Anthropic-संगत चैट पूर्णता प्रारूप, इसलिए उन API के खिलाफ पहले से ही बनाए गए उपकरण संशोधन के बिना स्थानीय सर्वर के खिलाफ काम करते हैं। छवि इनपुट स्वीकार करने वाले मॉडलों के लिए दृष्टि समर्थन शामिल है।

क्या इसमें पहचान, ऑडिट या पॉलिसी सुविधाएँ शामिल हैं?

नहीं। रनटाइम लाइट को जानबूझकर वह सब कुछ छीन लिया जाता है जो उत्पादन Parta Runtime बनाता है। यह केवल एक सादा अनुमान सर्वर है।

इसके लिए किस हार्डवेयर की आवश्यकता है?

CUDA बिल्ड Windows और Linux के लिए उपलब्ध हैं, जिसके लिए कार्यशील ड्राइवर के साथ NVIDIA GPU की आवश्यकता होती है। Vulkan अन्य हार्डवेयर के लिए रोडमैप पर है।

मैं प्रोग्राम कैसे निष्पादित करूं?

ज़िप डाउनलोड करें, इसे डिस्क पर कहीं भी निकालें, शामिल कॉन्फ़िगरेशन फ़ाइल को आपके पास पहले से मौजूद GGUF मॉडल फ़ाइल पर इंगित करें, और निष्पादन योग्य चलाएँ। कोई इंस्टॉलर नहीं, कोई व्यवस्थापक अधिकार नहीं, कोई पृष्ठभूमि सेवा नहीं।

क्या सॉफ्टवेयर कोई डेटा प्रसारित करता है?

नहीं। यह पूरी तरह से आपके अपने डिवाइस पर चलता है और पार्टा या किसी और को संकेत, प्रतिक्रियाएं या उपयोग डेटा प्रसारित नहीं करता है।

Runtime Lite Free, लाइट, Runtime और Runtime Pro के बीच क्या अंतर है?

Runtime Lite Free व्यक्तिगत, शैक्षिक और मूल्यांकन उपयोग के लिए मुफ्त डाउनलोड है। Runtime Lite उत्पादन उपयोग के लिए एक वाणिज्यिक लाइसेंस के तहत एक ही अनुमान इंजन और समापन बिंदु है। Runtime पार्टा प्रोटोकॉल ऑडिट श्रृंखला जोड़ता है। Runtime Pro पहचान-समर्थित उत्पत्ति जोड़ता है। वाणिज्यिक टियर संपर्क फ़ॉर्म के माध्यम से पूछताछ द्वारा उपलब्ध हैं।

अवलोकन

जानें कि आपके इन्फ़रेंस सर्वर की वास्तविक लागत कितनी है।

अपना परिचय देने में तीस सेकंड लगाएँ और हम आपको दस्तावेज़ की पहुँच दे देंगे। कोई बिक्री कॉल या फ़ॉलो-अप नहीं।

बग और प्रतिक्रिया

संपर्क में रहो

हम हर संदेश पढ़ते हैं.

व्यावसायिक मूल्यांकन के लिए हमें अपना लक्षित कार्यभार, हार्डवेयर, एकीकरण प्रारूप, अडैप्टर और ज्ञान आवश्यकताएँ तथा अनुमान से पहले और बाद में सत्यापित की जाने वाली बातें बताएँ। यही फ़ॉर्म स्थापना संबंधी समस्याओं, मॉडल संगतता, बग और प्रदर्शन प्रश्नों के लिए तकनीकी सहायता तक भी पहुँचता है।