Parta Runtime
Servidor de inferência local. Quatro níveis
Execute inferência GGUF local sem montar um Python ou um container stack. Comece com uma construção portátil gratuita, em seguida, passe para a produção onde os pedidos podem ser verificados antes do cálculo, conteúdo de execução controlado e eventos definidos gravados com proveniência de identidade.
Role para baixo
Se o armazenamento ou RAM é o seu fator limitante, não a GPU
O mesmo rack.
Mais capacidade.
Isso se aplica quando o armazenamento ou a RAM do sistema, em vez da memória da GPU, limita o quanto pode ser executado por host. O mesmo hardware fornece aproximadamente o dobro da capacidade utilizável, seja para atender mais tenant pagantes ou para mais cargas de trabalho e departamentos internos.
O irmão mais novo
Parta Runtime,
sem a plataforma.
Parta Assist roda em full stack: app, backend e Parta Runtime, o motor de inferência, conectado à identidade, trilha de auditoria e controle de políticas para indústrias reguladas. Runtime Lite é esse mesmo motor de inferência, sem todo o resto.
Sem camada de identidade / Sem cadeia de auditoria / Sem motor de políticas
Compatível por design
Fala os formatos
Você já usa.
Endpoints de conclusão de chat compatíveis com OpenAI e Anthropic, então tudo que já foi construído contra esses API funciona contra seu próprio servidor local. O suporte à visão está incluído para modelos que aceitam entradas de imagem.
OpenAI compatível / Anthropic compatível / Visão incluída
Copie para qualquer lugar
Baixe e extraia o arquivo,
Execute o programa.
Um executável vinculado estaticamente e um arquivo de configuração. Sem direitos de administrador, sem instalador, sem serviço em segundo plano para gerenciar. Aponte a configuração para um arquivo de modelo GGUF já presente na sua máquina.
Traga seu próprio modelo / Sem conta / Sem rastreamento
Roteiro
Windows e Linux.
Vulkan a seguir.
As compilações CUDA estão disponíveis para Windows e Linux. Vulkan está no roteiro para hardware fora do NVIDIA.
Verificação pré-inferência / Adaptadores controlados e contexto / Registros de execução / Arquitetura pendente de patente
Dois níveis, pessoal para comercial
Lite Free.
Lite.
As equipes de produção podem precisar de mais do que um endpoint local. Runtime é projetado para verificar a origem, sessão e autoridade de execução antes de recursos de inferência protegidos serem alocados. As implementações governadas podem receber conteúdo de modelo resolvido, conhecimento autorizado, adaptadores de escala de execução e sementes controladas da plataforma Parta mais ampla.
Os registros de tempo de execução definem eventos de execução, saídas e proveniência para revisão posterior, enquanto o Runtime Pro estende esse modelo com verificação apoiada pela identidade entre nós e serviços. Estes controles suportam governança e reconstrução; eles não substituem a avaliação de risco, revisão profissional ou obrigações de conformidade.
Verificação pré-inferência / Adaptadores controlados e contexto / Registros de execução / Arquitetura pendente de patente
Grátis. Disponível agora
Lite Free
Comercial. Contate-nos
Lite
Duas camadas, auditadas com base em identidade
Runtime.
Runtime Pro.
Quando um sistema de IA lida com dados regulamentados, a confiança por si só não é suficiente para a conformidade. Runtime registra o que foi executado e quando, sem exigir que você construa essa infraestrutura.
É a camada de evidência subjacente ao seu processo de governação e não o seu substituto. Você retém a propriedade das avaliações de risco e das políticas de revisão; Runtime garante que os registros dos quais eles dependem não possam ser editados silenciosamente posteriormente.
Endpoints assinados / Registros invioláveis / Arquitetura com patente pendente
Comercial. Contate-nos
Runtime
Comercial. Contate-nos
Runtime Pro
Baixe Runtime Lite Free e verifique.
CUDA · v0.1.0 · Uso pessoal, educacional e de avaliação
Requer uma GPU NVIDIA com driver compatível com CUDA 13. Uma versão Vulkan para outro hardware está em andamento.
Baixe o arquivo e verifique sua soma de verificação SHA256 com o valor abaixo antes de executá-lo.
Perguntas
Antes que pergunte
O que é Parta Runtime Lite?
Um executável único e portátil que roda um servidor local de inferência de IA na sua própria máquina. É uma versão simplificada do Parta Runtime, o motor de inferência por trás do Parta Assist, com a camada de identidade, a cadeia de auditoria e o motor de políticas removidos.
Quais formatos API ele suporta?
Formatos de conclusão de chat compatíveis com OpenAI e Anthropic, então ferramentas já construídas contra esses API funcionam contra um servidor local sem modificações. O suporte à visão está incluído para modelos que aceitam entradas de imagem.
Inclui características de identidade, auditoria ou políticas?
Não. O Runtime Lite é propositalmente despojado de tudo que compõe a produção Parta Runtime. É apenas um servidor de inferência simples.
Que hardware ele exige?
As compilações CUDA estão disponíveis para Windows e Linux, exigindo um NVIDIA GPU com um driver funcional. Vulkan está no roteiro para outro hardware.
Como eu executo o programa?
Baixe o zip, extraia em qualquer lugar do disco, aponte o arquivo de configuração incluído para um arquivo de modelo GGUF que você já tenha e execute o executável. Sem instalador, sem direitos de administrador, sem serviço em segundo plano.
O software transmite algum dado?
Não. Ele roda inteiramente no seu próprio dispositivo e não transmite avisos, respostas ou dados de uso para a Parta ou para qualquer outra pessoa.
Qual é a diferença entre Runtime Lite Free, Lite, Runtime e Runtime Pro?
Runtime Lite Free é o download gratuito para uso pessoal, educacional e de avaliação. Runtime Lite é o mesmo mecanismo de inferência e endpoints sob licença comercial para uso em produção. Runtime adiciona a cadeia de auditoria do protocolo Parta. Runtime Pro adiciona proveniência baseada em identidade. Os níveis comerciais estão disponíveis mediante consulta através do formulário de contato.
Visão geral
Descubra quanto o seu servidor de inferência realmente lhe custa.
Trinta segundos para se apresentar e daremos acesso ao documento. Sem chamada comercial e sem contacto posterior.
Bugs e feedback
Entre em contato
Lemos todas as mensagens.
Para uma avaliação comercial, diga-nos a sua carga de trabalho prevista, o hardware, o formato de integração, os requisitos de adaptador e conhecimento, e o que deve ser verificado antes e depois da inferência.