私有 AI 概述

VergeOS 私有 AI 概述，可在本地基础设施内部署和运行大语言模型，无需外部 API 调用或数据传输。

VergeOS 私有 AI 使您能够在 VergeOS 环境中本地部署和运行大型语言模型（LLM）。模型完全运行在您的基础设施上，不会进行外部 API 调用或数据传输。

架构

私有 AI 由五个核心组件组成：

模型

模型是提供 AI 能力的 LLM 文件。VergeOS 支持：

• 精选模型：可一键安装的预配置模型（Llama、Gemma、Phi、Qwen 等）
• 自定义模型：来自 Hugging Face 或其他来源的任何 GGUF 格式模型

模型定义资源需求（CPU 核心数、RAM、GPU 分配）和推理参数（上下文大小、并发请求）。

助手

助手是已配置的实例，用于定义用户和应用程序如何与模型交互。每个助手指定：

• 使用哪个模型
• 系统提示词（行为指令）
• 温度及其他生成参数
• RAG 场景的上下文评分
• 用于文档上下文的工作区文件

多个助手可以使用相同的底层模型，但配置不同。

Workers

工作进程是运行模型的推理引擎。系统管理两种类型：

• AI-Helper Worker：处理 API 请求和路由（自动启动）
• 模型 Worker：为每个正在运行的模型执行推理（根据最小/最大工作进程设置自动扩缩）

聊天会话

聊天会话会保留对话历史和上下文。会话可以是：

• 通过 VergeOS 界面创建，用于交互式测试
• 通过 API 以编程方式管理，用于应用集成

兼容 OpenAI 的 API

该 API 在以下地址提供标准 OpenAI 端点 https://<your-vergeos-url>/v1，从而可与以下内容集成：

• 任何 OpenAI 客户端库（Python、JavaScript、Go 等）
• IDE 和开发工具
• 为 OpenAI/Ollama 构建的现有应用程序

请参见 兼容 OpenAI 的 API 以查看端点文档。

前提条件

• VergeOS 26.0 或更高版本
• 足够的 RAM 用于模型文件（因模型而异，通常为 5-50GB）
• 用于下载模型的存储空间

GPU 支持

推荐在生产工作负载中使用 GPU 加速。VergeOS 通过资源组支持来自任何厂商（NVIDIA、AMD、Intel）的 GPU。模型也可以在仅 CPU 系统上运行，但推理速度会更慢。

快速开始

1. 导航到 AI → 模型
2. 点击 点击安装 在精选模型上，或点击 新建模型 用于自定义模型
3. 配置资源分配（CPU 核心、RAM、GPU）
4. 系统会随新模型自动创建一个助手
5. 通过以下方式测试 AI → 助手 → [您的助手] → 聊天

有关详细设置说明，请参阅 配置指南.

相关文档

• 配置 - 模型和助手设置
• 兼容 OpenAI 的 API - API 端点和集成
• 聊天会话 - 交互式界面使用