이 페이지는 현재 영어로만 제공되며 한국어 버전은 곧 제공될 예정입니다. 기다려 주셔서 감사드립니다.

快速开始

开通 Open Edge

腾讯云控制台 进入到 边缘安全加速平台 EO 在左侧菜单栏,单击 AI 网关,如您之前未开通,则需先同意开通使用,请点击 立即开通



新建 AI 网关

开通成功后,在 AI 网关列表页,单击新建,根据弹窗提示完成名称和描述的输入。
名称:必填,创建后无法修改,仅包含数字、大小写字母、中划线、下划线字符。名称不允许重复。
描述:非必填,最长为60个字符。




配置 AI 网关

AI 网关新建成功后,在 AI 网关列表页,单击详情或具体的 AI 网关实例 ID 进入到网关的详情页,当前支持配置缓存。
启用/禁用:打开开关,则启用缓存,针对相同的 Prompt 请求则可直接从网关的缓存响应,无需请求 LLM 服务商;关闭开关,则禁用缓存,每次请求由 LLM 服务商响应。
设置缓存时长:支持配置的缓存时长为 2分钟、5分钟、1小时、1天、1周、1月,超过设置时长后,将自动清除缓存。

API Endpoint

AI 网关后端的对应的 Endpoint 即为大语言模型(LLM)服务商,当前已支持 Open AI、Minimax、Moonshot AI 、Gemini AI 、腾讯混元、百度千帆、阿里通义千问和字节豆包。




案例演示

通过 AI 网关访问 Open AI
操作场景:AI 网关禁用缓存,通过 AI 网关访问 Open AI。









AI 网关启用缓存,再次访问。






响应头 OE-Cache-Status 返回为 HIT 则说明已命中缓存。
通过 AI 网关访问其他 LLM 服务商同理可参考上述操作。
说明:
为了进一步提升开发体验和简化接口集成,AI Gateway 现推出 API V2 版本。此版本在多个关键领域进行了重要的改进和优化,特别是在请求体(Request Body)和响应数据格式的统一上。欢迎体验 AI Gateway 概述
主要更新:
统一请求接口地址,避免开发者频繁切换接口地址。
统一请求体格式: 所有 API 请求现在采用一致的 JSON 格式,简化了客户端的数据构造过程。
标准化响应数据结构: 统一的响应格式有助于开发者快速理解和处理返回信息。包含状态码、消息提示和数据主体,使得错误处理和成功反馈更加直观明了。
增强错误处理机制:明确的错误码定义,便于定位和解决问题。 提供详细的错误描述,帮助开发者迅速采取相应的纠正措施。