Parta Runtime
Máy chủ suy luận cục bộ. Bốn tầng
Thực hiện suy luận GGUF địa phương mà không cần lắp ráp một Python hoặc container stack. Bắt đầu với một build di động miễn phí, sau đó chuyển đến sản xuất nơi yêu cầu có thể được xác minh trước khi tính toán, kiểm soát bối cảnh thực thi và các sự kiện được xác định được ghi lại với nguồn gốc được hỗ trợ bằng danh tính.
Cuộn xuống
Nếu bộ nhớ hoặc RAM là yếu tố hạn chế của bạn, không phải GPU
rack tương tự.
Nhiều năng lực hơn.
Điều này áp dụng khi bộ nhớ RAM hoặc RAM hệ thống, thay vì bộ nhớ GPU, giới hạn số lượng có thể chạy trên mỗi host. Cùng một phần cứng cung cấp công suất sử dụng gần gấp đôi, cho dù điều đó phục vụ nhiều tenant phải trả tiền hơn hay nhiều khối lượng công việc nội bộ và nhiều phòng ban hơn.
Người em trai
Parta Runtime,
không có nền tảng.
Parta Assist chạy trên một hệ thống đầy đủ: ứng dụng, backend và Parta Runtime, bộ máy suy luận, được kết nối với danh tính, dấu vết kiểm toán và kiểm soát chính sách cho các ngành được quản lý. Runtime Lite vẫn là engine suy luận đó, loại bỏ mọi thứ khác.
Không có lớp nhận diện / Không có chuỗi kiểm toán / Không có công cụ chính sách
Tương thích theo thiết kế
Nói được các định dạng
Bạn đã sử dụng rồi.
Các điểm cuối hoàn thành trò chuyện tương thích OpenAI và Anthropic, nên bất cứ thứ gì đã được xây dựng dựa trên các API đó đều hoạt động trên máy chủ cục bộ của bạn. Hỗ trợ thị giác được bao gồm cho các mẫu nhận đầu vào hình ảnh.
Tương thích OpenAI / Tương thích Anthropic / Bao gồm Vision
Sao chép nó ở bất cứ đâu
Tải xuống và giải nén kho lưu trữ,
Chạy chương trình.
Một tệp thực thi liên kết tĩnh và một tệp cấu hình. Không có quyền quản trị viên, không có trình cài đặt, không có dịch vụ nền để quản lý. Trỏ cấu hình vào một tệp mô hình GGUF đã có trên máy của bạn.
Mang theo mẫu của riêng bạn / Không cần tài khoản / Không theo dõi
Lộ trình
Windows và Linux.
Vulkan tiếp theo.
Bản dựng CUDA có sẵn cho cả Windows và Linux. Vulkan nằm trong lộ trình dành cho phần cứng bên ngoài NVIDIA.
Windows CUDA / Linux CUDA / Vulkan (sắp có)
Hai tầng, cá nhân đến thương mại
Lite Free.
Lite.
Các nhóm sản xuất có thể cần nhiều hơn một điểm cuối địa phương. Runtime được thiết kế để xác minh nguồn gốc, phiên và cơ quan thực thi trước khi được phân bổ các nguồn suy luận được bảo vệ.
Các bản ghi thời gian chạy xác định các sự kiện thực hiện, đầu ra và xuất phát để xem xét sau đó, trong khi Runtime Pro mở rộng mô hình đó với xác minh được hỗ trợ bằng danh tính trên các nút và dịch vụ.
Tiêu chuẩn trước khi giao dịch / Các bộ điều khiển và bối cảnh / Các hồ sơ thực thi / Thiết kế đang chờ bằng sáng chế
Miễn phí. Hiện có sẵn
Lite Free
Thương mại. Liên hệ với chúng tôi
Lite
Hai cấp độ, được kiểm tra để hỗ trợ danh tính
Runtime.
Runtime Pro.
Khi hệ thống AI xử lý dữ liệu được quản lý, chỉ tin tưởng thôi là chưa đủ để tuân thủ. Runtime ghi lại những gì chạy và khi nào mà không yêu cầu bạn xây dựng cơ sở hạ tầng đó.
Nó là lớp bằng chứng bên dưới quy trình quản trị của bạn, không phải là lớp thay thế cho nó. Bạn giữ quyền sở hữu các chính sách đánh giá và xem xét rủi ro; Runtime đảm bảo các bản ghi mà chúng phụ thuộc vào không thể được chỉnh sửa một cách lặng lẽ sau đó.
Điểm cuối đã ký / Nhật ký giả mạo / Kiến trúc đang chờ cấp bằng sáng chế
Thương mại. Liên hệ với chúng tôi
Runtime
Thương mại. Liên hệ với chúng tôi
Runtime Pro
Tải xuống Runtime Lite Free và xác minh.
CUDA · v0.1.0 · Sử dụng cá nhân, giáo dục và đánh giá
Yêu cầu GPU NVIDIA với trình điều khiển tương thích CUDA 13. Đang xây dựng Vulkan cho phần cứng khác.
Tải xuống bản lưu trữ và xác minh tổng kiểm tra SHA256 của nó với giá trị bên dưới trước khi chạy nó.
Câu hỏi
Trước khi bạn hỏi
Parta Runtime Lite là gì?
Một tệp thực thi di động duy nhất chạy máy chủ suy luận AI cục bộ trên máy của bạn. Đây là phiên bản rút gọn của Parta Runtime, bộ máy suy luận phía sau Parta Assist, với lớp nhận diện, chuỗi kiểm toán và bộ máy chính sách bị loại bỏ.
Nó hỗ trợ những định dạng API nào?
Các định dạng hoàn thành trò chuyện tương thích OpenAI và Anthropic, vì vậy các công cụ đã được xây dựng dựa trên các API đó hoạt động trên máy chủ cục bộ mà không cần chỉnh sửa. Hỗ trợ thị giác được bao gồm cho các mẫu nhận đầu vào hình ảnh.
Nó có bao gồm các tính năng nhận diện, kiểm toán hay chính sách không?
Không. Runtime Lite cố tình loại bỏ mọi thứ tạo nên Parta Runtime sản xuất. Nó chỉ là một máy chủ suy luận thuần túy.
Nó cần phần cứng nào?
Các bản dựng CUDA có sẵn cho Windows và Linux, yêu cầu NVIDIA GPU có trình điều khiển hoạt động. Vulkan đang trong lộ trình dành cho phần cứng khác.
Làm thế nào để tôi thực thi chương trình?
Tải file zip, giải nén ở bất cứ đâu trên đĩa, trỏ file cấu hình đi kèm vào file model GGUF bạn đã có, và chạy file thực thi. Không có trình cài đặt, không có quyền quản trị, không có dịch vụ nền.
Phần mềm có truyền dữ liệu nào không?
Không. Nó chạy hoàn toàn trên thiết bị của bạn và không truyền thông báo, phản hồi hay dữ liệu sử dụng đến Parta hay bất kỳ ai khác.
Sự khác biệt giữa Runtime Lite Free, Lite, Runtime và Runtime Pro là gì?
Runtime Lite Free là bản tải xuống miễn phí cho mục đích sử dụng cá nhân, giáo dục và đánh giá. Runtime Lite là công cụ suy luận và điểm cuối tương tự theo giấy phép thương mại để sử dụng trong sản xuất. Runtime bổ sung chuỗi kiểm tra giao thức Parta. Runtime Pro bổ sung nguồn gốc được hỗ trợ bởi danh tính. Các cấp độ thương mại có sẵn bằng cách yêu cầu thông qua biểu mẫu liên hệ.
Tổng quan
Xem máy chủ suy luận thực sự khiến bạn tốn bao nhiêu.
Dành ba mươi giây để giới thiệu bản thân và chúng tôi sẽ cấp cho bạn quyền truy cập tài liệu. Không gọi chào hàng, không liên hệ tiếp.
Lỗi và phản hồi
Liên hệ với chúng tôi
Chúng tôi đọc mọi tin nhắn.
Để đánh giá thương mại, hãy cho chúng tôi biết tải trọng công việc dự định, phần cứng, định dạng tích hợp, yêu cầu về bộ điều chỉnh và kiến thức, và những gì phải được xác minh trước và sau khi suy luận.