Parta Runtime Lite / मार्गदर्शक / इंस्टॉल करें और Linux पर चलाएं
इंस्टॉल करें और Linux पर चलाएं
Parta Runtime Lite एकल पोर्टेबल निष्पादन योग्य है। कोई इंस्टॉलर नहीं है, कोई पृष्ठभूमि सेवा नहीं है, और कोई खाता नहीं है। यह पेज डाउनलोड से लेकर Linux पर आपके पहले अनुरोध तक सब कुछ कवर करता है।
Linux बिल्ड को Ubuntu 26.04 के अंतर्गत संकलित किया गया है। यह एक मूल Linux बाइनरी है और बेयर-मेटल Linux पर उसी तरह चलता है, लेकिन यदि आप कुछ भी डिस्ट्रो-विशिष्ट हिट करते हैं, तो हमें बग और फीडबैक फॉर्म के माध्यम से बताएं, यह हमें वास्तविक वातावरण के खिलाफ परीक्षण करने में मदद करता है।
1. डाउनलोड करें
वर्तमान बिल्ड से प्राप्त करें अनुभाग डाउनलोड करें और सत्यापित करें होमपेज का। डाउनलोड एक ज़िप फ़ाइल है जिसमें निष्पादन योग्य, एक नमूना कॉन्फ़िगरेशन फ़ाइल और तृतीय-पक्ष लाइसेंस नोटिस होते हैं।
2. चेकसम सत्यापित करें
कुछ भी चलाने से पहले, डाउनलोड के आगे प्रकाशित मूल्य के विरुद्ध फ़ाइल के SHA256 चेकसम की जांच करें:
sha256sum parta-runtime-lite-linux-cuda.zip
आउटपुट की तुलना प्रकाशित हैश से करें। यदि वे मेल नहीं खाते हैं, तो फ़ाइल न चलाएं, इसे फिर से डाउनलोड करें।
3. संग्रह निकालें
डिस्क, स्थानीय फ़ोल्डर, बाहरी ड्राइव या नेटवर्क शेयर पर कहीं भी संग्रह को अनज़िप करें। किसी root एक्सेस की आवश्यकता नहीं है और आपके द्वारा निकाले गए फ़ोल्डर के बाहर कुछ भी नहीं लिखा गया है।
unzip parta-runtime-lite-linux-cuda.zip -d parta-runtime-lite
4. कॉन्फ़िगर करें
फ़ाइल खोलें lite.toml निकाले गए फ़ोल्डर में और सेट model.path आपके पास पहले से मौजूद GGUF मॉडल फ़ाइल में:
[model] path = "/home/you/models/your-model.gguf" gpu_layers = 99 context_size = 8192
मान सेट करें gpu_layers = 0 केवल CPU पर चलने के लिए। छोड़ना server.host जैसा 127.0.0.1 सर्वर को केवल अपनी मशीन से ही एक्सेस करने योग्य रखने के लिए, या इसे सेट करने के लिए 0.0.0.0 अपने नेटवर्क पर अन्य उपकरणों से कनेक्शन स्वीकार करने के लिए।
5. प्रोग्राम चलाएं
बाइनरी निष्पादन योग्य को चिह्नित करें, फिर इसे चलाएँ:
chmod +x parta-runtime-lite ./parta-runtime-lite
स्टार्टअप पर यह लोड किए गए मॉडल और उस पते को प्रिंट करता है जिस पर वह सुन रहा है। यदि आप चाहते हैं कि डिस्कनेक्ट होने के बाद भी यह चालू रहे तो टर्मिनल को खुला छोड़ दें, या इसे tmux/screen/nohup के अंतर्गत चलाएँ। जब तक प्रक्रिया चल रही है तब तक सर्वर चलता रहता है।
6. एक अनुरोध भेजें
सर्वर OpenAI-संगत और Anthropic-संगत चैट पूर्णता प्रारूपों की बात करता है। उन API के खिलाफ पहले से ही बनाई गई कोई भी चीज़ इसके बजाय आपके स्थानीय पते पर इंगित करके यहां काम करती है:
curl http://127.0.0.1:8080/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{"model":"local","messages":[{"role":"user","content":"Hello"}]}'
कुछ काम नहीं कर रहा है?
होमपेज पर बग और फीडबैक फॉर्म की जांच करें, या इसका उपयोग हमें अपने डिस्ट्रो, कर्नेल संस्करण, GPU ड्राइवर और आपके द्वारा उपयोग किए जा रहे मॉडल को बताने के लिए करें, यह Linux-विशिष्ट किसी भी चीज़ को ट्रैक करने में हमारी मदद करने का सबसे तेज़ तरीका है।