模型科研
# 大模型训推一体平台产品说明
# 一、简介
本手册旨在帮助用户快速掌握青椒课堂大模型训推平台的核心功能。平台集成了在线开发、模型中心、模型服务和数据管理四大模块，为用户提供一站式的大模型研究、训练与推理服务。
# 二、在线开发模块
在线开发模块的核心是实验环境，为用户提供隔离的、可定制的计算资源，用于代码开发、模型训练与测试。
# 1. 实验环境创建与管理
用户可按需创建虚拟机（提供完整操作系统）或容器（轻量级环境）两种类型的实验环境。创建流程如下：
- 选择环境类型：在“实验室”模块中选择创建虚拟机或容器。
- 配置环境：设定环境名称，选择所需的基础镜像（如CentOS、Ubuntu、Windows等），并根据需求选择计算资源配置（如入门级、基础级、高级）。
- 设定时长与支付：设置环境的运行时长，系统将自动计算并扣除相应积分。
创建完成后，可在实验环境列表中对环境进行续费、删除、查看状态等管理操作。
# 2. 实验环境使用
启动实验环境后，平台提供多种连接方式以满足不同场景的需求：
| 连接方式 | 主要应用场景 |
|---|---|
| VNC | 需要图形化界面的远程桌面操作，如运行GUI应用、进行可视化数据分析。 |
| SSH | 安全的命令行远程管理，适用于服务器管理、脚本执行、文件传输等。 |
| Jupyter | 交互式数据科学与编程，支持Python、R等语言，适合数据探索和模型原型验证。 |
| Console | 基础的命令行控制台访问，用于初期的设备配置或网络故障排查。 |
| RDP | 针对Windows环境的远程桌面协议，提供完整的Windows图形界面体验。 |
此外，平台还支持端口映射（将内部服务端口暴露至公网，便于外部访问和测试）和外部设备接入（连接物理硬件进行软硬件协同开发）等高级功能。
# 三、模型中心模块
模型中心是平台进行模型资源集中管理的核心，包含模型广场、我的模型、模型实例管理和外部服务四大功能。
# 1. 模型广场与我的模型
- 模型广场：汇集了业界主流的开源预训练模型，用户可在此浏览、检索并一键部署模型，快速启动开发任务。
- 我的模型：用户私有的模型仓库。通过本地上传或模型调优后保存的模型都会在此处集中管理。用户可将“我的模型”中的模型部署为在线服务。
# 2. 模型实例管理
任何模型（无论是来自模型广场还是我的模型）在被部署后，都会成为一个模型实例。在此模块中，用户可以：
- 查看所有模型实例的运行状态、资源占用情况。
- 对实例进行启动、停止、重启或删除等生命周期管理。
- 获取实例的访问端点（Endpoint），用于在应用中调用。
# 3. 外部服务
平台支持接入第三方的商业模型API，如OpenAI的GPT系列、Anthropic的Claude系列等。用户只需在“外部服务”模块中添加相应的API Key，即可在平台内的智能体开发、AI应用等场景中统一调用这些外部模型能力。
# 四、模型服务模块
模型服务模块提供了基于大模型构建上层应用的核心能力，包括模型调优、智能体开发、AI应用和知识库。
# 1. 模型调优
模型调优（Fine-tuning）功能允许用户使用自有数据对基础模型进行微调，以适应特定的业务场景。操作流程如下：
- 选择基础模型：从“我的模型”中选择一个预训练模型作为调优的基础。
- 关联数据集：选择一个或多个在“数据管理”模块中创建好的数据集用于训练。
- 配置调优参数：设置学习率、训练轮次（Epoch）、批处理大小（Batch Size）等超参数。
- 启动与监控：启动调优任务，并实时监控训练过程中的损失（Loss）等关键指标。
- 保存模型：调优完成后，可将新模型保存至“我的模型”中，供后续部署使用。
# 2. 智能体开发
平台提供可视化的智能体（Agent）构建工具，用户无需编写复杂代码即可创建具备特定能力的AI助手。核心配置项包括：
- 基础设定：定义智能体的名称、头像、欢迎语和兜底回复。
- 能力配置：为智能体挂载不同的能力，如关联知识库使其具备问答能力，或集成**工具（Tool）**使其能执行特定操作。
# 3. AI应用与知识库
- AI应用：平台内置了如“AI制题”等实用AI应用，未来将支持用户自定义创建和上传AI应用。
- 知识库：作为RAG（检索增强生成）技术的核心，知识库允许用户上传私有文档（如PDF、Word、Markdown等），平台会自动进行切片、向量化处理。关联知识库后，大模型能够基于这些私有知识进行回答，有效解决模型幻觉问题，并确保信息的时效性和准确性。
# 五、数据管理模块
数据管理模块为模型训练和调优提供数据支持，主要包括数据集管理和数据标注两大功能。
# 1. 数据集管理
用户可在此创建和管理用于模型训练的数据集。平台支持多种数据集格式，特别是针对大模型微调的问答对（Question-Answer Pair）数据集。用户可以通过在线编辑或本地上传（支持CSV、JSONL等格式）的方式创建数据集。
# 2. 数据标注
对于原始数据，平台提供了在线数据标注工具。用户可以创建标注任务，邀请团队成员对文本数据进行分类、实体识别等标注操作，为后续的模型训练准备高质量的标注数据。