Parta Runtime Lite / Opas / Asenna ja käynnistä
Asenna ja aja
Parta Runtime Lite on yksi kannettava suoritettava tiedosto. Asennusohjelmaa ei ole, taustapalvelua eikä tiliä. Tämä sivu kattaa kaiken lataamisesta ensimmäiseen pyyntöön.
1. Lataa
Hanki nykyinen rakennelma Lataa ja vahvista -osio etusivulta. Lataus on zip-tiedosto, joka sisältää suoritettavan tiedoston, esimerkkikonfiguraatiotiedoston ja kolmannen osapuolen lisenssitiedot.
2. Tarkista tarkistussumma
Ennen kuin ajat mitään, tarkista tiedoston SHA256 tarkistussumma suhteessa latauksen viereen julkaistuun arvoon. Windows:
Get-FileHash .\parta-runtime-lite-cuda-v0.1.0.zip -Algorithm SHA256
Vertaa tulosta julkaistuun tiivisteeseen. Jos ne eivät täsmää, älä käynnistä tiedostoa, lataa se uudelleen.
3. Pura arkisto
Pura arkisto mistä tahansa levyllä, paikallisesta kansiosta, ulkoiselta levyltä tai verkkojaosta. Ylläpitooikeuksia ei tarvita, eikä mitään kirjoiteta sen kansion ulkopuolelle, johon puret.
4. Määritä
Avaa tiedosto lite.toml puretusta kansiosta ja setistä model.path GGUF mallitiedostoon, joka sinulla jo on:
[model] path = "D:/models/your-model.gguf" gpu_layers = 99 context_size = 8192
Aseta arvo gpu_layers = 0 Toimia vain CPU. Lähde server.host kuten 127.0.0.1 pitääksesi palvelimen tavoitettavissa vain omalta koneeltasi tai asettaaksesi sen 0.0.0.0 Hyväksyä yhteyksiä muilta laitteilta verkossasi.
5. Suorita ohjelma
Suorita ohjelma parta-runtime-lite.exe. Käynnistyksessä se tulostaa ladatun mallin ja osoitteen, jota se kuuntelee. Jätä ikkuna auki, palvelin toimii niin kauan kuin prosessi on käynnissä.
6. Lähetä pyyntö
Palvelin käyttää OpenAI-yhteensopivia ja Anthropic-yhteensopivia chatin loppuun saattamista. Mikä tahansa, mikä on jo rakennettu näitä API vastaan, toimii täällä osoittamalla sen paikalliseen osoitteeseesi:
curl http://127.0.0.1:8080/v1/chat/completions ^
-H "Content-Type: application/json" ^
-d "{\"model\":\"local\",\"messages\":[{\"role\":\"user\",\"content\":\"Hello\"}]}"
Jokin ei toimi?
Tarkista Bugi- ja palautemuoto Etusivulla tai lähetä sähköpostia support(at)parta.app suoraan rakennusversiostasi, GPU/OS:sta ja käyttämästäsi mallista.