Tổng quan AI riêng tư

Tổng quan về VergeOS Private AI, cho phép triển khai và chạy các mô hình ngôn ngữ lớn cục bộ trong hạ tầng của bạn mà không có lệnh gọi API bên ngoài hay truyền dữ liệu ra ngoài.

VergeOS Private AI cho phép bạn triển khai và chạy các mô hình ngôn ngữ lớn (LLM) cục bộ trong môi trường VergeOS của bạn. Các mô hình chạy hoàn toàn trên hạ tầng của bạn, không có lệnh gọi API bên ngoài hoặc truyền dữ liệu.

Kiến trúc

Private AI gồm năm thành phần cốt lõi:

Mô hình

Mô hình là các tệp LLM cung cấp khả năng AI. VergeOS hỗ trợ:

• Mô hình được tuyển chọn: Các mô hình được cấu hình sẵn, có thể cài đặt chỉ với một cú nhấp chuột (Llama, Gemma, Phi, Qwen và các mô hình khác)
• Mô hình tùy chỉnh: Bất kỳ mô hình định dạng GGUF nào từ Hugging Face hoặc các nguồn khác

Mô hình xác định các yêu cầu tài nguyên (số lõi CPU, RAM, phân bổ GPU) và các tham số suy luận (kích thước ngữ cảnh, yêu cầu song song).

Trợ lý

Trợ lý là các phiên bản được cấu hình, xác định cách người dùng và ứng dụng tương tác với một mô hình. Mỗi trợ lý chỉ định:

• Dùng mô hình nào
• System prompt (hướng dẫn hành vi)
• Temperature và các tham số tạo sinh khác
• Chấm điểm ngữ cảnh cho các tình huống RAG
• Tệp workspace cho ngữ cảnh tài liệu

Nhiều trợ lý có thể sử dụng cùng một mô hình nền tảng với các cấu hình khác nhau.

Worker

Worker là các công cụ suy luận chạy mô hình. Hệ thống quản lý hai loại:

• AI-Helper Worker: Xử lý các yêu cầu API và định tuyến (khởi động tự động)
• Worker mô hình: Thực thi suy luận cho từng mô hình đang chạy (tự động mở rộng dựa trên cài đặt Worker Tối thiểu/Tối đa)

Phiên chat

Các phiên chat duy trì lịch sử hội thoại và ngữ cảnh. Các phiên có thể được:

• Tạo thông qua giao diện VergeOS để kiểm thử tương tác
• Quản lý theo chương trình qua API để tích hợp ứng dụng

API tương thích OpenAI

API cung cấp các endpoint OpenAI tiêu chuẩn tại https://<your-vergeos-url>/v1, cho phép tích hợp với:

• Bất kỳ thư viện client OpenAI nào (Python, JavaScript, Go, v.v.)
• IDE và công cụ phát triển
• Các ứng dụng hiện có được xây dựng cho OpenAI/Ollama

Xem API tương thích OpenAI để xem tài liệu endpoint.

Điều kiện tiên quyết

• VergeOS 26.0 trở lên
• Đủ RAM cho các tệp mô hình (tùy theo mô hình, thường từ 5-50GB)
• Dung lượng lưu trữ cho việc tải xuống mô hình

Hỗ trợ GPU

Khuyến nghị tăng tốc GPU cho các khối lượng công việc sản xuất. VergeOS hỗ trợ GPU từ bất kỳ nhà cung cấp nào (NVIDIA, AMD, Intel) thông qua Resource Groups. Mô hình cũng có thể chạy trên hệ thống chỉ dùng CPU, nhưng suy luận sẽ chậm hơn.

Bắt đầu nhanh

1. Đi tới AI → Mô hình
2. Nhấp Nhấp để cài đặt trên một mô hình được tuyển chọn, hoặc nhấp Mô hình mới cho các mô hình tùy chỉnh
3. Cấu hình phân bổ tài nguyên (lõi CPU, RAM, GPU)
4. Một trợ lý được tạo tự động cùng với mô hình mới
5. Kiểm thử qua AI → Trợ lý → [Trợ lý của bạn] → Chat

Để biết hướng dẫn thiết lập chi tiết, hãy xem Hướng dẫn cấu hình.

Tài liệu liên quan

• Cấu hình - Thiết lập mô hình và trợ lý
• API tương thích OpenAI - Endpoint API và tích hợp
• Phiên chat - Sử dụng giao diện tương tác