跳到正文

AI 功能 ​

AI 功能调用大模型服务商的接口,为图片生成标签和描述,或按文字要求修改图片(图片润色);图片安全中的 AI 大模型审核也使用大模型识别违规图片。管理员在后台创建 AI 驱动,再通过角色组控制哪些用户可以使用、可以用多少次。

支持的供应商 ​

共支持 19 家服务商,后台按以下分组显示:

  • 国际服务商:OpenAI、Anthropic Claude、Google Gemini、xAI Grok、Mistral AI、Groq、OpenRouter、Together AI、Ollama
  • 国内服务商:火山引擎(豆包)、阿里百炼(通义千问)、智谱 AI(GLM)、月之暗面(Kimi)、百度千帆(文心)、腾讯混元、硅基流动、阶跃星辰、魔搭社区
  • 其他:自定义 OpenAI 兼容接口,用于 OneAPI、NewAPI、vLLM 等兼容 OpenAI 接口的服务

所有服务商都支持生成标签和生成描述。图片润色需要服务商提供图片生成能力,目前只有 OpenAI、Google Gemini、火山引擎(豆包)和自定义 OpenAI 兼容接口支持。

TIP

Ollama 用于调用自己部署的模型,不需要 API Key。

AI 能力说明 ​

图片润色 ​

用文字描述要怎样修改图片,例如「将背景替换为蓝天白云」「提高亮度和对比度」「转为水彩画风格」,由 AI 生成修改后的图片。提交时可以选择是否替换原图,不替换时会保存为一张新图片。

生成标签 ​

AI 分析图片内容,为图片生成若干描述性的标签。

生成描述 ​

AI 分析图片内容,生成一段简短的描述,保存到图片的简介中。

上传后自动生成 ​

角色组开启 AI 后,用户可以在用户设置的「AI 设置」中打开「上传后自动生成标签」「上传后自动生成描述」,并为每项选择一个 AI 驱动。之后上传的图片会自动提交对应的任务;使用次数用完时自动跳过,不影响上传。

创建 AI 驱动 ​

在管理后台的「AI」页面,点击「新建」按钮创建 AI 驱动,填写以下内容:

字段说明
驱动名称显示给用户的名称
简介可选,驱动的简要说明
AI 驱动选择服务商,不同服务商支持的能力不同
API Key服务商的 API 密钥
API 地址可选,留空时使用默认地址;使用中转服务或代理时填写
模型能力勾选要开启的能力(图片润色、生成标签、生成描述),服务商不支持的能力不能勾选

除 Ollama 和自定义 OpenAI 兼容接口外,API Key 都必须填写。API 地址留空时,程序会先使用 .env 中对应服务商的环境变量(例如 OPENAI_URL),没有设置时使用下方的默认地址。自定义 OpenAI 兼容接口必须填写 API 地址,地址中需要包含版本路径(如 /v1)。

根据勾选的能力,还需要填写模型:

  • 图片润色:填写「图片模型」,并选择「图片质量」(高、中、低)
  • 生成标签、生成描述:填写「视觉模型」,必须是支持图片输入的模型

模型输入框会列出推荐的模型,也可以直接输入其他模型 ID,例如服务商发布的新模型或中转服务自定义的模型名称。

自定义提示词 ​

勾选「生成标签」或「生成描述」后,表单底部会出现对应的提示词设置(默认折叠),每项包括:

  • 系统指令:告诉 AI 如何分析图片、按什么格式输出
  • 用户提示词:每次请求时发送给 AI 的具体要求

留空时使用内置的默认提示词,输入框中会显示默认内容。需要调整时可以自定义,例如要求始终返回中文标签、限制标签数量、修改描述的长度或风格。

多驱动配置

同一个服务商可以创建多个驱动,使用不同的 API Key、API 地址或模型。例如一个使用官方接口,另一个使用中转服务。

各供应商默认 API 地址 ​

服务商默认 API 地址
OpenAIhttps://api.openai.com/v1
Anthropic Claudehttps://api.anthropic.com/v1
Google Geminihttps://generativelanguage.googleapis.com/v1beta
xAI Grokhttps://api.x.ai/v1
Mistral AIhttps://api.mistral.ai/v1
Groqhttps://api.groq.com/openai/v1
OpenRouterhttps://openrouter.ai/api/v1
Together AIhttps://api.together.xyz/v1
Ollamahttp://localhost:11434
火山引擎(豆包)https://ark.cn-beijing.volces.com/api/v3
阿里百炼(通义千问)https://dashscope.aliyuncs.com/compatible-mode/v1
智谱 AI(GLM)https://open.bigmodel.cn/api/paas/v4
月之暗面(Kimi)https://api.moonshot.cn/v1
百度千帆(文心)https://qianfan.baidubce.com/v2
腾讯混元https://api.hunyuan.cloud.tencent.com/v1
硅基流动https://api.siliconflow.cn/v1
阶跃星辰https://api.stepfun.com/v1
魔搭社区https://api-inference.modelscope.cn/v1
自定义 OpenAI 兼容接口无,必须填写

Ollama 部署在其他服务器上时,请把 API 地址改为对应的地址。

AI 大模型审核 ​

AI 大模型审核是图片安全驱动的一种,用视觉大模型判断上传的图片是否违规。在管理后台的「图片安全」页面新建驱动,「审核驱动」选择「AI 大模型审核」,然后在储存中关联。

它不使用「AI」页面中的 AI 驱动,需要在表单中单独填写 AI 服务商、API Key、API 地址和视觉模型。其他字段:

字段说明
审核场景勾选要识别的内容:色情、性感低俗、涉未成年人不良内容、暴恐、血腥恶心、政治敏感、违禁品、赌博、广告引流、辱骂不良
自定义审核规则用文字描述其他要拦截的内容,每行一条
违规阈值1 到 100,默认 80,模型判断的分数达到这个值时视为违规
疑似违规阈值1 到 100,默认 50,达到这个值但未达到违规阈值时视为疑似违规,转人工审核
图片压缩尺寸发送给模型前把图片缩小到这个尺寸以内,默认 1024 像素,0 表示不压缩
请求超时时间默认 30 秒
调用失败时接口调用失败或返回结果无效时的处理方式,见下方
审核提示词系统指令和用户提示词,留空使用默认
同步审核默认关闭,见下方

审核场景默认勾选色情、涉未成年人不良内容、暴恐、血腥恶心、政治敏感、违禁品。填写了自定义审核规则时,可以不勾选审核场景。

「调用失败时」的选项:

  • 转人工审核:默认。图片标记为疑似违规,由管理员处理
  • 直接放行:图片按正常图片处理
  • 审核失败:同步审核时拒绝上传;异步审核时按队列配置稍后重试,最终仍失败的进入失败任务列表,图片保持正常状态

服务商因内容安全原因拒绝处理请求时,无论如何设置,都会转人工审核。

同步与异步:默认异步审核,上传成功后在消息队列中审核。开启「同步审核」后,上传时就完成审核,检测到违规时直接拒绝上传,删除本次上传的图片记录,不产生违规记录,已写入储存的文件由消息队列清理。上传耗时会增加。

WARNING

异步审核时,请求超时时间应小于队列任务的超时时间(默认 60 秒),否则任务可能在审核完成前被中断。

角色组配置 ​

AI 功能通过角色组控制。编辑角色组时,在「AI」标签页中设置以下选项。

启用 AI ​

打开「启用 AI 功能」后,该角色组的用户才能使用图片润色、生成标签和生成描述。

关联 AI 驱动 ​

在「AI 驱动」中勾选该组可以使用的驱动。用户只能使用所在角色组关联的驱动。

使用频率限制 ​

可以分别设置每分钟、每小时、每天、每周、每月的 AI 使用限制,0 表示不限制。所有限制同时生效,任意一项达到上限后就不能继续使用。

注意

每张图片的每个任务计为一次使用。例如同时选择 10 张图片生成标签,会一次消耗 10 次。

任务处理机制 ​

AI 任务在消息队列中执行。提交后页面会立即显示任务状态,并自动刷新进度。

状态说明
等待中任务已提交,等待队列处理
处理中正在调用 AI 接口
已完成处理成功
失败处理失败,可以查看错误信息

生成标签、生成描述和 AI 大模型审核在发送图片之前,会把尺寸过大的图片等比缩小,并把 webp、gif、avif、heic 等格式转为 JPEG,以减少费用和耗时。图片润色发送的是原图。

TIP

任务一直处于「等待中」时,请检查消息队列是否正常运行。