> For the complete documentation index, see [llms.txt](https://docs.verge.io/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.verge.io/automate-protect-and-extend/vi/ai-rieng-tu/overview.md). # Tổng quan AI riêng tư VergeOS Private AI cho phép bạn triển khai và chạy các mô hình ngôn ngữ lớn (LLM) cục bộ trong môi trường VergeOS của bạn. Các mô hình chạy hoàn toàn trên hạ tầng của bạn, không có lệnh gọi API bên ngoài hoặc truyền dữ liệu. ## Kiến trúc Private AI gồm năm thành phần cốt lõi: ```mermaid graph LR A[Ứng dụng khách] --> B[API tương thích OpenAI] B --> C[Trợ lý] C --> D[Mô hình] D --> E[Worker] ``` ### Mô hình Mô hình là các tệp LLM cung cấp khả năng AI. VergeOS hỗ trợ: * **Mô hình được tuyển chọn**: Các mô hình được cấu hình sẵn, có thể cài đặt chỉ với một cú nhấp chuột (Llama, Gemma, Phi, Qwen và các mô hình khác) * **Mô hình tùy chỉnh**: Bất kỳ mô hình định dạng GGUF nào từ Hugging Face hoặc các nguồn khác Mô hình xác định các yêu cầu tài nguyên (số lõi CPU, RAM, phân bổ GPU) và các tham số suy luận (kích thước ngữ cảnh, yêu cầu song song). ### Trợ lý Trợ lý là các phiên bản được cấu hình, xác định cách người dùng và ứng dụng tương tác với một mô hình. Mỗi trợ lý chỉ định: * Dùng mô hình nào * System prompt (hướng dẫn hành vi) * Temperature và các tham số tạo sinh khác * Chấm điểm ngữ cảnh cho các tình huống RAG * Tệp workspace cho ngữ cảnh tài liệu Nhiều trợ lý có thể sử dụng cùng một mô hình nền tảng với các cấu hình khác nhau. ### Worker Worker là các công cụ suy luận chạy mô hình. Hệ thống quản lý hai loại: * **AI-Helper Worker**: Xử lý các yêu cầu API và định tuyến (khởi động tự động) * **Worker mô hình**: Thực thi suy luận cho từng mô hình đang chạy (tự động mở rộng dựa trên cài đặt Worker Tối thiểu/Tối đa) ### Phiên chat Các phiên chat duy trì lịch sử hội thoại và ngữ cảnh. Các phiên có thể được: * Tạo thông qua giao diện VergeOS để kiểm thử tương tác * Quản lý theo chương trình qua API để tích hợp ứng dụng ### API tương thích OpenAI API cung cấp các endpoint OpenAI tiêu chuẩn tại `https:///v1`, cho phép tích hợp với: * Bất kỳ thư viện client OpenAI nào (Python, JavaScript, Go, v.v.) * IDE và công cụ phát triển * Các ứng dụng hiện có được xây dựng cho OpenAI/Ollama Xem [API tương thích OpenAI](/automate-protect-and-extend/vi/ai-rieng-tu/open-ai-router.md) để xem tài liệu endpoint. ## Điều kiện tiên quyết * VergeOS 26.0 trở lên * Đủ RAM cho các tệp mô hình (tùy theo mô hình, thường từ 5-50GB) * Dung lượng lưu trữ cho việc tải xuống mô hình ### Hỗ trợ GPU Khuyến nghị tăng tốc GPU cho các khối lượng công việc sản xuất. VergeOS hỗ trợ GPU từ bất kỳ nhà cung cấp nào (NVIDIA, AMD, Intel) thông qua Resource Groups. Mô hình cũng có thể chạy trên hệ thống chỉ dùng CPU, nhưng suy luận sẽ chậm hơn. ## Bắt đầu nhanh 1. Đi tới **AI → Mô hình** 2. Nhấp **Nhấp để cài đặt** trên một mô hình được tuyển chọn, hoặc nhấp **Mô hình mới** cho các mô hình tùy chỉnh 3. Cấu hình phân bổ tài nguyên (lõi CPU, RAM, GPU) 4. Một trợ lý được tạo tự động cùng với mô hình mới 5. Kiểm thử qua **AI → Trợ lý → \[Trợ lý của bạn] → Chat** Để biết hướng dẫn thiết lập chi tiết, hãy xem [Hướng dẫn cấu hình](/automate-protect-and-extend/vi/ai-rieng-tu/configuration.md). ## Tài liệu liên quan * [Cấu hình](/automate-protect-and-extend/vi/ai-rieng-tu/configuration.md) - Thiết lập mô hình và trợ lý * [API tương thích OpenAI](/automate-protect-and-extend/vi/ai-rieng-tu/open-ai-router.md) - Endpoint API và tích hợp * [Phiên chat](/automate-protect-and-extend/vi/ai-rieng-tu/chat-sessions.md) - Sử dụng giao diện tương tác --- # Agent Instructions This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com. ## Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question. Perform an HTTP GET request on the current page URL with the `ask` query parameter, and the optional `goal` query parameter: ``` GET https://docs.verge.io/automate-protect-and-extend/vi/ai-rieng-tu/overview.md?ask=&goal= ``` `ask` is the immediate question: it should be specific, self-contained, and written in natural language. `goal` is optional and describes the broader end goal you are ultimately trying to accomplish on behalf of the user. GitBook uses it to tailor the answer towards what is most useful for that goal. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.