Parta Runtime Lite / मार्गदर्शक इंस्टॉल करें और चलाएं
स्थापित करें और चलाएं
Parta Runtime Lite एक एकल पोर्टेबल निष्पादन योग्य है। कोई इंस्टॉलर नहीं है, कोई पृष्ठभूमि सेवा नहीं है, और कोई खाता नहीं है। यह पृष्ठ डाउनलोड से लेकर आपके पहले अनुरोध तक सब कुछ कवर करता है।
1. डाउनलोड करें
वर्तमान बिल्ड से प्राप्त करें अनुभाग डाउनलोड करें और सत्यापित करें होमपेज का। डाउनलोड एक ज़िप फ़ाइल है जिसमें निष्पादन योग्य, एक नमूना कॉन्फ़िगरेशन फ़ाइल और तृतीय-पक्ष लाइसेंस नोटिस होते हैं।
2. चेकसम सत्यापित करें
कुछ भी चलाने से पहले, डाउनलोड के बगल में प्रकाशित मान के विरुद्ध फ़ाइल के SHA256 चेकसम की जांच करें। Windows पर:
Get-FileHash .\parta-runtime-lite-cuda-v0.1.0.zip -Algorithm SHA256
आउटपुट की तुलना प्रकाशित हैश से करें। यदि वे मेल नहीं खाते हैं, तो फ़ाइल न चलाएं, इसे फिर से डाउनलोड करें।
3. संग्रह निकालें
डिस्क, स्थानीय फ़ोल्डर, बाहरी ड्राइव या नेटवर्क साझा पर कहीं भी संग्रह को अनज़िप करें। किसी व्यवस्थापक अधिकार की आवश्यकता नहीं है और आपके द्वारा निकाले गए फ़ोल्डर के बाहर कुछ भी नहीं लिखा गया है।
4. कॉन्फ़िगर करें
फ़ाइल खोलें lite.toml निकाले गए फ़ोल्डर में और सेट model.path आपके पास पहले से मौजूद GGUF मॉडल फ़ाइल में:
[model] path = "D:/models/your-model.gguf" gpu_layers = 99 context_size = 8192
मान सेट करें gpu_layers = 0 केवल CPU पर चलने के लिए। छोड़ना server.host जैसा 127.0.0.1 सर्वर को केवल अपनी मशीन से ही एक्सेस करने योग्य रखने के लिए, या इसे सेट करने के लिए 0.0.0.0 अपने नेटवर्क पर अन्य उपकरणों से कनेक्शन स्वीकार करने के लिए।
5. प्रोग्राम चलाएं
प्रोग्राम चलाएँ parta-runtime-lite.exe. स्टार्टअप पर यह लोड किए गए मॉडल और उस पते को प्रिंट करता है जिस पर वह सुन रहा है। विंडो को खुला छोड़ दें, सर्वर तब तक चलता है जब तक प्रक्रिया चल रही है।
6. एक अनुरोध भेजें
सर्वर OpenAI-संगत और Anthropic-संगत चैट पूर्णता प्रारूपों की बात करता है। उन API के खिलाफ पहले से ही बनाई गई कोई भी चीज़ इसके बजाय आपके स्थानीय पते पर इंगित करके यहां काम करती है:
curl http://127.0.0.1:8080/v1/chat/completions ^
-H "Content-Type: application/json" ^
-d "{\"model\":\"local\",\"messages\":[{\"role\":\"user\",\"content\":\"Hello\"}]}"
कुछ काम नहीं कर रहा है?
जाँच करें बग और फीडबैक फॉर्म होमपेज पर, या सीधे अपने बिल्ड संस्करण, GPU/OS और आपके द्वारा उपयोग किए जा रहे मॉडल के साथ support(at)parta.app ईमेल करें।