快速开始
开通 Open Edge
新建 AI 网关
开通成功后,在 AI 网关列表页,单击
新建
,根据弹窗提示完成名称和描述的输入。名称:必填,创建后无法修改,仅包含数字、大小写字母、中划线、下划线字符。名称不允许重复。
描述:非必填,最长为60个字符。
配置 AI 网关
AI 网关新建成功后,在 AI 网关列表页,单击
详情
或具体的 AI 网关实例 ID 进入到网关的详情页,当前支持配置缓存。启用/禁用:打开开关,则启用缓存,针对相同的 Prompt 请求则可直接从网关的缓存响应,无需请求 LLM 服务商;关闭开关,则禁用缓存,每次请求由 LLM 服务商响应。
设置缓存时长:支持配置的缓存时长为 2分钟、5分钟、1小时、1天、1周、1月,超过设置时长后,将自动清除缓存。
API Endpoint
AI 网关后端的对应的 Endpoint 即为大语言模型(LLM)服务商,当前已支持 Open AI、Minimax、Moonshot AI 、Gemini AI 、腾讯混元、百度千帆、阿里通义千问和字节豆包。
案例演示
通过 AI 网关访问 Open AI
操作场景:AI 网关禁用缓存,通过 AI 网关访问 Open AI。
AI 网关启用缓存,再次访问。
响应头 OE-Cache-Status 返回为 HIT 则说明已命中缓存。
通过 AI 网关访问其他 LLM 服务商同理可参考上述操作。
说明:
为了进一步提升开发体验和简化接口集成,AI Gateway 现推出 API V2 版本。此版本在多个关键领域进行了重要的改进和优化,特别是在请求体(Request Body)和响应数据格式的统一上。欢迎体验 AI Gateway 概述。
主要更新:
统一请求接口地址,避免开发者频繁切换接口地址。
统一请求体格式: 所有 API 请求现在采用一致的 JSON 格式,简化了客户端的数据构造过程。
标准化响应数据结构: 统一的响应格式有助于开发者快速理解和处理返回信息。包含状态码、消息提示和数据主体,使得错误处理和成功反馈更加直观明了。
增强错误处理机制:明确的错误码定义,便于定位和解决问题。 提供详细的错误描述,帮助开发者迅速采取相应的纠正措施。