Parta Runtime Lite / Guia / Instalar e rodar
Instalar e rodar
Parta Runtime Lite é um único executável portátil. Não há instalador, nem serviço em segundo plano, nem conta. Esta página cobre tudo, desde o download até o seu primeiro pedido.
1. Download
Obtenha a versão atual do Seção de download e verificação da página inicial. O download é um arquivo zip contendo o executável, um arquivo de configuração de exemplo e avisos de licença de terceiros.
2. Verificar a soma de verificação
Antes de rodar qualquer coisa, verifique a SHA256 soma de verificação do arquivo em relação ao valor publicado ao lado do download. Sobre Windows:
Get-FileHash .\parta-runtime-lite-cuda-v0.1.0.zip -Algorithm SHA256
Compare a saída com o hash publicado. Se não coincidirem, não execute o arquivo, baixe novamente.
3. Extrair o arquivo
Descompacte o arquivo em qualquer lugar do disco, uma pasta local, um disco externo ou um compartilhamento de rede. Não são necessários direitos de administrador e nada é escrito fora da pasta onde você extrai.
4. Configurar
Abra o arquivo lite.toml na pasta extraída e no conjunto model.path Para um arquivo de modelo GGUF que você já tem:
[model] path = "D:/models/your-model.gguf" gpu_layers = 99 context_size = 8192
Defina o valor gpu_layers = 0 para rodar apenas com CPU. Vá embora server.host como 127.0.0.1 para manter o servidor acessível apenas pela sua própria máquina, ou configurá-lo para 0.0.0.0 para aceitar conexões de outros dispositivos na sua rede.
5. Executar o programa
Execute o programa parta-runtime-lite.exe. Ao iniciar, ele imprime o modelo carregado e o endereço onde está ouvindo. Deixe a janela aberta, o servidor funciona enquanto o processo estiver rodando.
6. Enviar um pedido
O servidor fala formatos de conclusão de chat compatíveis com OpenAI e Anthropic. Qualquer coisa já construída contra esses API funciona aqui, apontando para o seu endereço local:
curl http://127.0.0.1:8080/v1/chat/completions ^
-H "Content-Type: application/json" ^
-d "{\"model\":\"local\",\"messages\":[{\"role\":\"user\",\"content\":\"Hello\"}]}"
Algo não está funcionando?
Verifique o Formulário de bugs e feedback na página inicial, ou envie um e-mail diretamente para support(at)parta.app com sua versão de build, GPU/sistema operacional e o modelo que você está usando.