模型服务

模型推理

功能说明

训练并发布模型后，可展示在模型推理列表中。用户可在此查看模型状态，并体验模型推理操作。

参数说明

1. 登录系统，切换到"模型服务"->"模型推理"页面，列表中可显示所有已发布模型服务：

2. 点击"新增服务"，可新增模型服务：

• 【服务名称】：自定义服务名称；
• 【服务说明】：自定义服务描述信息；
• 【服务类型】：可支持模型文件和外部服务两种类型：
  • 模型文件：在系统中训练模型后，可直接选择训练后的模型进行发布。
  • 外部服务：可基于Xinfenrence推理服务构建模型。
    • 推理服务：目前仅支持Xinfenrence推理服务；
    • 版本：选择Xinference推理服务版本；
    • 服务基地址：设置服务基地址，格式{IP}：{端口号}，默认端口号为9997；
    • 模型类型：选择模型类型，包括语言模型和嵌入模型两种；
    • 模型：下拉选择具体模型；
    • GPU数量：设置GPU数量。
    • 副本：推理过程中的副本，可分散请求负载，提高响应速度和服务稳定性。

3. 在"模型推理"列表，点击模型服务后方的"启用/停止"，可启用/停止模型服务。

4. 在"模型推理"列表，点击模型服务后方的"详情"，可查看模型服务的详细信息。

5. 在"模型推理"列表，点击模型服务后方的"删除"，可删除模型服务。

6. 在"模型推理"列表，点击模型服务后方的"体验"，可执行模型服务。

智能分析

智能分析提供批量预测任务的功能，以代码、工作流等方式模型推理与业务场景结合在一起，形成特定场景的分析任务，如遥感解译分析、视频图像分析、文本解译、文本生成、知识图谱构建等数据处理分析功能。

目前系统提供了 影像实例分割 和 影像语义分割 两个功能服务。

任务监控

1. 登录系统，切换到"模型服务"->"智能分析"->"任务监控"页面，列表中可显示已执行的智能分析任务：

2. 点击"创建任务"，可跳转到"功能服务"页面，用户可选择某种服务进行操作。

3. 在"任务监控"列表，点击任务后方的"详情"，可查看任务的详细信息。

4. 在"任务监控"列表，点击任务后方的"删除"，可删除任务。

影像实例分割

1. 登录系统，切换到"模型服务"->"智能分析"->"功能服务"页面；

2. 点击"影像实例分割"后方的"编辑"，可修改功能服务信息：

3. 点击"影像实例分割"后方的"创建任务"，可执行功能操作。

影像语义分割

1. 登录系统，切换到"模型服务"->"智能分析"->"功能服务"页面；

2. 点击"影像语义分割"后方的"编辑"，可修改功能服务信息：

3. 点击"影像语义分割"后方的"创建任务"，可执行功能操作。

模型服务接入

功能说明

模型服务接入是人工智能模型（如大语言模型、图像识别模型、语音识别模型等）集成到系统中，以提供智能化能力的服务。

操作说明

1. 登录系统，切换到"模型构建"->"模型服务接入"页面，选择“添加供应商”，进入到新建接入模型页面：

【提供商名称】：可自定义供应商名称；

【服务商图标】：上传本地图片生成图标；

【提供商描述】：可自定义描述信息；

【服务类型】：支持 igssxinference和OpenAI 两种类型；

【版本】：下拉框自动读取选择；

2.新建完成后点击“确定”，列表生成对应模型服务可进行API 地址及密钥配置，然后再根据需求添加对应的模型即可使用。

【API密钥】：使用 API Key机制确保调用安全，可在接入模型服务官网申请API Key。

【API地址】：通过 RESTful API调用远程 AI 模型服务地址（如阿里云百炼、OpenAI、Google Vertex AI 等）；

【获取可选模型】：添加调用远程 AI 模型服务地址中自动读取已存在的大模型，支持分组添加；

【添加模型】：可添加系统内置的模型服务，添加正确参数即可添加成功。

3.大模型添加成功后，可在列表中按照分组进行展示，支持对模型进行启动、停止及删除等操作。只有被添加成功的模型在“应用管理”中可被成功添加进行人工智能应用。