Cấu hình AI
Hướng dẫn từng bước để cấu hình mô hình AI, trợ lý và tệp workspace trong VergeOS Private AI, bao gồm phân bổ tài nguyên, system prompt và khắc phục sự cố.
Sử dụng AI - Các bước chung
Định nghĩa một mô hình bằng cách chọn từ bộ lựa chọn được tuyển chọn sẵn hoặc tải lên một mô hình ở định dạng .gguf được hỗ trợ
Cấu hình một Trợ lý dựa trên mô hình đã định nghĩa, với các cài đặt được điều chỉnh cho trường hợp sử dụng hoặc tác vụ cụ thể
Tải nội dung lên không gian làm việc cung cấp tệp cho trợ lý với nội dung liên quan
Tương tác:
OpenAI Router (phương pháp phổ biến): kết nối theo chương trình với trợ lý thông qua bộ máy tích hợp sẵn
Phiên trò chuyện tương tác: giao tiếp với trợ lý trong giao diện VergeOS (hữu ích cho việc kiểm thử)
API VergeOS: truy cập trợ lý bằng các lệnh API VergeOS tiêu chuẩn
Cài đặt AI chung
Đi tới AI trên menu trên cùng, và nhấp vào Cài đặt AI để cấu hình các tham số AI mặc định.
Trang Cài đặt AI cho phép bạn cấu hình các giá trị mặc định toàn hệ thống cho các thành phần AI:
Cụm AI mặc định: Chỉ định cụm tính toán mặc định cho các tác vụ AI. Các mô hình AI mới sẽ được triển khai vào cụm này theo mặc định.
Thời gian lưu giữ lịch sử chat: Đặt thời gian lưu giữ lịch sử phiên chat (tính bằng ngày). Mặc định là 60 ngày.
Quản lý mô hình AI
Các mô hình AI cung cấp trí thông minh nền tảng cho các trợ lý và ứng dụng AI của bạn. VergeOS hỗ trợ một loạt rộng các mô hình AI bằng cách hỗ trợ định dạng *.gguf tiêu chuẩn, cho phép người dùng tải xuống và chạy bất kỳ tệp tương thích nào. Một số mô hình được tuyển chọn sẵn được hiển thị trực tiếp trong giao diện VergeOS để triển khai nhanh.
Cài đặt một mô hình AI
Mô hình được tuyển chọn sẵn
Hệ thống bao gồm một số mô hình được cấu hình sẵn, với các cài đặt mặc định, sẵn sàng để tải xuống tự động
Đi tới AI > Mô hình.
Chọn Nhấp để cài đặt trên một mô hình mong muốn, để cài đặt một trong các mô hình được tuyển chọn sẵn có sẵn. -HOẶC- nhấp vào Mô hình mới ở menu bên trái.
Cấu hình tất cả các cài đặt mong muốn:
Chọn mô hình: Chọn từ danh sách tuyển chọn các mô hình nền tảng (ví dụ: Llama-3.2, Phi-4-Instruct) và chọn kích thước Biến thể (ví dụ: Nhỏ – 1GB). -HOẶC- chọn --Custom-- và cung cấp một URL để tải xuống tệp mô hình .gguf
Tên: Nhập tên mô tả cho mô hình của bạn.
Mô tả (tùy chọn): Thêm chi tiết về mục đích, cấu hình hoặc mục đích sử dụng dự kiến của mô hình.
Số lõi: số lõi tối đa để cấp phát cho mỗi phiên bản mô hình.
Mô hình có GPU: việc cấp phát lõi có tác động tối thiểu.
Chỉ CPU hoặc chế độ dự phòng: việc cấp phát lõi là rất quan trọng cho quá trình khởi động và hiệu năng.
Cấp phát vượt quá số lõi không cải thiện hiệu năng; các lõi không dùng sẽ ở trạng thái nhàn rỗi.
RAM: Bộ nhớ được cấp phát cho mỗi phiên bản mô hình:
Cần một lượng RAM cơ bản để tải và chạy mô hình. Yêu cầu thực tế thay đổi theo loại và kích thước mô hình.
Nguyên tắc chung cho lượng RAM nền tảng cần thiết : cấp phát RAM nhiều hơn một chút so với kích thước tệp của mô hình (ví dụ: mô hình 2GB có thể cần 3GB RAM).
Có thể cần thêm RAM để hỗ trợ các yêu cầu đồng thời (tức là cài đặt song song) và các cửa sổ ngữ cảnh lớn hơn.
Bắt đầu với mức cấp phát rộng rãi, sau đó giám sát mức sử dụng thực tế thông qua bảng điều khiển mô hình. Nếu mức tiêu thụ quan sát được thấp hơn đáng kể so với lượng đã cấp phát, hãy giảm bớt để tối ưu hiệu quả tài nguyên.
Cụm (mặc định là cụm được xác định trong cài đặt AI toàn cục): Chọn cụm VergeOS nơi mô hình sẽ chạy.
Nhóm HA: Chỉ định nhóm sẵn sàng cao cho mô hình. Các thành viên trong cùng một nhóm HA sẽ chạy trên các nút khác nhau nếu có thể.
Phân bổ nhóm tài nguyên GPU: - Chọn một nhóm tài nguyên GPU để gán thiết bị GPU, hoặc chọn --Chỉ CPU-- để chạy chỉ trên CPU.
Cho phép dự phòng CPU nếu tài nguyên GPU không khả dụng: Bật tùy chọn này để sử dụng tài nguyên CPU nếu thiết bị GPU không khả dụng. Khi dùng tùy chọn này, hãy đảm bảo cấp phát đủ lõi CPU cho các tình huống dự phòng.
Bậc ưu tiên: Chọn tầng lưu trữ để lưu trữ mô hình.
Kích thước ngữ cảnh (mặc định 8192): - Số token tối đa mà mô hình có thể xử lý trong một phiên hoạt động. Điều này bao gồm:
Đầu vào của người dùng
Đầu ra của AI
Lời nhắc hệ thống
Lịch sử hội thoại
Token
1 token ≈ 4 ký tự (trung bình cho tiếng Anh)
1 từ ≈ 1,33 token
8192 token ≈ 2.000–4.000 từ hoặc ~12–20 trang văn bản
Song song: Số lượng yêu cầu đồng thời mà mỗi phiên bản mô hình có thể xử lý
Số worker tối thiểu: Số lượng phiên bản mô hình tối thiểu được khởi chạy khi mô hình bắt đầu.
Số worker tối đa: Số lượng phiên bản mô hình tối đa có thể được khởi chạy để đáp ứng nhu cầu.
Số lượng phiên bản mô hình đang chạy (worker) của một mô hình sẽ được phản ánh trên bảng điều khiển mô hình, với mỗi phiên bản được biểu thị là một worker đang chạy.
Chèn thẻ Think:- Thêm một thẻ tùy chỉnh để phân biệt quá trình suy luận chuỗi suy nghĩ với đầu ra cuối cùng. Một số mô hình sẽ ẩn hoặc coi thẻ này là không phải đầu ra để giảm độ trễ.
Loại bỏ thẻ Think khỏi lịch sử: Bật tùy chọn này để loại trừ nội dung chuỗi suy nghĩ khỏi lịch sử phản hồi, chỉ trả về câu trả lời cuối cùng.
Nhấp Gửi để tải xuống và cấu hình mô hình đã chỉ định.
Việc tải xuống mô hình có thể mất vài phút hoặc lâu hơn. Bảng điều khiển mô hình (Nhấp vào Mô hình trên menu bên trái và nhấp đúp vào mô hình) sẽ hiển thị trạng thái "Đang tải xuống" và tiến trình trong khi mô hình đang được truyền. Trạng thái sẽ chuyển thành "Trực tuyến" khi mô hình được tải xuống hoàn tất, khởi tạo xong và sẵn sàng sử dụng.
Trợ lý mới
Khi bạn tạo một mô hình mới, theo mặc định cũng sẽ tạo một trợ lý mới. Trợ lý mới biểu mẫu sẽ xuất hiện cho phép tùy chỉnh các cài đặt mặc định của trợ lý mới.
Quản lý Trợ lý AI
Tổng quan
Các trợ lý AI là những mô hình AI đã được cấu hình, cung cấp các khả năng và hành vi cụ thể cho chức năng AI của bạn. Chúng có thể được tùy chỉnh bằng các lời nhắc và cài đặt cụ thể để điều chỉnh hiệu năng và loại phản hồi.
Tạo một Trợ lý
Khởi tạo một trợ lý mới: Khi tạo một mô hình mới, một trợ lý mới sẽ tự động được tạo với các cài đặt mặc định, hoặc các cài đặt đã chọn trong Trợ lý tab. Một trợ lý mới cũng có thể được tạo bằng cách điều hướng đến AI > Trợ lý mới.
Tên: Nhập tên mô tả cho trợ lý.
Khi một trợ lý mới được tạo tự động (cùng với việc tạo một mô hình mới), tên sẽ mặc định giống tên của mô hình.
Mô tả (tùy chọn): Có thể nhập thêm chi tiết để mô tả cấu hình, mục đích, v.v. của mô hình.
Mô hình: Chọn từ các mô hình nền tảng có sẵn (ví dụ: Llama-3.2, Phi-4-Instruct). Khi một trợ lý được tự động tạo cùng với việc tạo mô hình mới, trường này sẽ tự động được đặt theo mô hình liên quan và không thể chỉnh sửa.
Cấu hình cài đặt
Lịch sử chat: Cấu hình việc lưu giữ hội thoại (chỉ dành cho các phiên chat tương tác)
Mặc định Bật - lịch sử chat được tự động bật khi bắt đầu phiên, nhưng có thể tắt
Mặc định Tắt - lịch sử chat được tự động tắt khi bắt đầu phiên, nhưng có thể bật
Luôn Bật - lịch sử chat luôn được bật; không thể tắt
Luôn Tắt - lịch sử chat luôn bị tắt; không thể bật
Cũng có tùy chọn xóa lịch sử chat của phiên trước mỗi khi bạn bắt đầu một phiên chat mới.
Tắt Think: Bật hoặc tắt khả năng suy luận nhiều bước. Khi hoạt động, AI “cho thấy cách làm” để cải thiện độ chính xác; điều này đặc biệt hữu ích cho logic phức tạp, toán học, gỡ lỗi hoặc lập kế hoạch chiến lược. Tắt think cho phản hồi nhanh hơn và tiêu thụ ít tài nguyên hơn, nhưng có thể làm giảm độ chính xác.
Prompt hệ thống: Thiết lập các hướng dẫn nền tảng cho hành vi, giọng điệu và định hướng nhiệm vụ của AI. Lời nhắc này ảnh hưởng đến cách mô hình diễn giải ngữ cảnh và tạo phản hồi. Độ chính xác rất quan trọng; các lời nhắc mơ hồ hoặc quá tải có thể làm giảm chất lượng đầu ra. Chỉ dẫn lời nhắc hệ thống là được cung cấp cho mô hình trong mỗi tương tác chat.
Nhiệt độ: Kiểm soát tính sáng tạo và độ ngẫu nhiên của phản hồi được tạo. (0.0 = xác định, 1.0 = sáng tạo), ví dụ: 0.2 diễn đạt chặt chẽ, nhất quán; 0.75 ẩn dụ, hài hước, góc nhìn bất ngờ Hướng dẫn chung:
Nhiệt độ thấp (ví dụ: 0.0–0.3) - câu trả lời xác định, tập trung và có thể lặp lại; lý tưởng cho các mục đích như tài liệu kỹ thuật, hướng dẫn tuân thủ, hỗ trợ khách hàng
Nhiệt độ cao (ví dụ: 0.7–1.0) - phản hồi sáng tạo, khám phá, ít dự đoán hơn; lý tưởng cho động não, hình thành ý tưởng thiết kế, cách diễn đạt theo đối tượng cụ thể
Nhiệt độ trung bình (ví dụ: 0.4–0.6) - phản hồi cân bằng giữa cấu trúc với một số biến thể, ít trang trọng và máy móc hơn so với nhiệt độ thấp; rất phù hợp cho lập kế hoạch kịch bản, phân tích UI/UX hoặc đánh đổi hạ tầng
Điểm ngữ cảnh: (mặc định 65) Mức để xác định cách mô hình sẽ đánh giá mức độ liên quan, hữu ích hoặc nổi bật của một phần thông tin trong một cửa sổ ngữ cảnh nhất định. Giá trị này đặt ra điểm tối thiểu cần có để một phần ngữ cảnh được xem là áp dụng được. Nó giúp quyết định nên tập trung vào điều gì, bỏ qua hay nén điều gì, giữ lại điều gì qua các lượt, v.v.
0 sẽ coi bất cứ thứ gì là khớp, trong khi 100 sẽ yêu cầu khớp chính xác tuyệt đối
Điểm ngữ cảnh tối ưu sẽ phụ thuộc vào mô hình được dùng, thông tin ngữ cảnh (ví dụ: tài liệu được tải lên không gian làm việc của trợ lý) và trường hợp sử dụng.
Điểm ngữ cảnh mặc định (65) cung cấp mức độ liên quan vừa phải, không quá chính xác cũng không hoàn toàn lạc đề. Nếu không chắc cài đặt nào là tốt nhất cho trường hợp sử dụng của bạn, hãy bắt đầu với cài đặt mặc định, chạy các tình huống thử nghiệm để đánh giá đầu ra, rồi điều chỉnh điểm ngữ cảnh nếu cần.
Số token tối đa: (mặc định: 0 = không giới hạn) Đặt độ dài phản hồi hệ thống tối đa tính bằng token. Token thay đổi giữa các mô hình AI khác nhau, nhưng nhìn chung một token tương đương .7 từ.
Khi đặt số token tối đa, giá trị này nên nhỏ hơn kích thước ngữ cảnh của mô hình
Với nhiều trường hợp sử dụng, nên đặt số token tối đa để giới hạn phản hồi (và tránh quá dài dòng)
Các mô hình khác nhau về kiểu phản hồi tiêu chuẩn hoặc mặc định của chúng; một số mô hình có xu hướng đưa ra phản hồi rất dài dòng, trong khi những mô hình khác mặc định cung cấp câu trả lời ngắn gọn và súc tích hơn.
Nâng cao: Trường dành riêng cho các tùy chọn cấu hình nâng cao trong tương lai. Liên hệ hỗ trợ nếu bạn cần thêm cài đặt AI ngoài những gì được cung cấp trong giao diện người dùng.
Nhấp Gửi để tạo/lưu cấu hình trợ lý. Trợ lý sẽ được triển khai và sẵn sàng sử dụng.
Quản lý nội dung tệp AI
Không gian làm việc của Trợ lý cho phép bạn tải lên và quản lý tệp để cung cấp cho trợ lý một cơ sở tri thức ngữ cảnh độc quyền.
Để truy cập Không gian làm việc của Trợ lý:
Đi tới bảng điều khiển trợ lý (AI > Nhấp vào mô hình mong muốn.)
Nhấp Xem không gian làm việc ở menu bên trái.
Thêm tệp vào không gian làm việc
Nhấp Tải lên trên menu bên trái và nhấp vào "Chọn tệp" nút.
Điều hướng và chọn tệp mong muốn.
Nhấp Mở để thêm các tệp đã chọn vào hàng đợi tải lên.
Tùy chọn, có thể cấu hình mô tả và Bậc ưu tiên cho từng tệp.
Nhấp Bắt đầu để bắt đầu quá trình tải lên.
Sửa đổi tệp không gian làm việc
Chọn một tệp trong danh sách và nhấp vào Chỉnh sửa trên menu bên trái để sửa đổi tên, mô tả và/hoặc bậc ưu tiên.
Xóa tệp không gian làm việc
Chọn các tệp mong muốn và nhấp vào Xóa ở menu bên trái.
Nhấp Có để xác nhận thao tác xóa.
Khắc phục sự cố
Các vấn đề thường gặp
Lỗi cài đặt mô hình
Không đủ tài nguyên: Đảm bảo đủ CPU, RAM và dung lượng lưu trữ
Kết nối mạng: Xác minh quyền truy cập mạng để tải mô hình
Vấn đề về quyền: Kiểm tra quyền người dùng đối với quản lý mô hình
Vấn đề hiệu năng
Phản hồi chậm: Tăng cấp phát CPU hoặc bật tăng tốc GPU
Lỗi bộ nhớ: Tăng cấp phát RAM hoặc bật ánh xạ bộ nhớ
Cạnh tranh tài nguyên: Giám sát việc sử dụng tài nguyên và điều chỉnh mức cấp phát
Các bước chẩn đoán
Kiểm tra tài nguyên hệ thống: Xác minh CPU, RAM và dung lượng lưu trữ khả dụng
Xem lại nhật ký: Kiểm tra thông báo lỗi trong nhật ký hệ thống
Kết nối mạng: Kiểm thử quyền truy cập và cấu hình mạng
Xác minh quyền: Xác nhận quyền người dùng và quyền truy cập
Trạng thái mô hình: Kiểm tra trạng thái cài đặt và triển khai mô hình
Tương thích phiên bản: Chức năng này có sẵn trong VergeOS 26.0 trở lên.
Cập nhật lần cuối
Nội dung này có hữu ích không?