Open Edge on EdgeOne 소개: Open Edge 서버리스 개발 플랫폼 및 AI 게이트웨이 기능에 대한 종합 가이드
오픈 엣지란?
더 많은 개발자들이 참여하고 협력하며 엣지 애플리케이션을 개선할 수 있도록 텐센트 에지원은 개발자를 위한 오픈 기술 공동 창작 플랫폼인 오픈 엣지를 만들었습니다. 우리는 전 세계의 엣지 노드 기능을 더욱 개방하여 차세대 서버리스 애플리케이션을 탐색하고 구축할 수 있도록 합니다. 또한 다양한 애플리케이션 선택을 지원하며, 개발자들이 함께 새로운 세대의 엣지 서버리스 애플리케이션을 탐구하고 구축하도록 장려합니다.
오픈 엣지 아키텍처 개요
오픈 엣지 아키텍처는 엣지 컴퓨팅 애플리케이션을 작업하는 개발자들에게 원활한 경험을 제공하도록 설계되었습니다. 이 아키텍처는 서버리스 애플리케이션 레이어, 엣지 구성 요소 레이어 및 컴퓨팅 레이어의 세 가지 주요 레이어로 구성됩니다. 각 레이어는 엣지 애플리케이션의 효율적인 구현과 운영을 보장하는 데 중요한 역할을 합니다.
1. 서버리스 애플리케이션 레이어
경량 애플리케이션에 초점을 맞춘 서버리스 애플리케이션 레이어는 개발자에게 유지 관리가 필요 없는 즉시 사용 가능한 경험을 제공합니다. 현재 AI 게이트웨이 애플리케이션을 무료로 제공하여 개발자가 대형 언어 모델(LLM)에 대한 접근을 관리하고 제어할 수 있도록 지원합니다. 포스터 생성, 실시간 트랜스코딩 및 텍스트-이미지 변환 등의 추가 애플리케이션이 개발 중이며 곧 사용할 수 있게 될 것입니다.
2. 엣지 구성 요소 레이어
엣지 구성 요소 레이어는 엣지 애플리케이션 구현에 필수적인 핵심 구성 요소로 구성됩니다. 이 구성 요소에는 엣지 함수, 엣지 캐시, 엣지 KV, 엣지 COS 및 엣지 AI가 포함됩니다. 이러한 빌딩 블록은 개발자가 네트워크의 엣지에서 데이터를 효율적으로 처리하고 관리할 수 있는 강력하고 고성능의 애플리케이션을 만들 수 있도록 합니다.
3. 엣지 컴퓨팅 레이어
엣지 컴퓨팅 레이어는 엣지 애플리케이션 구현을 위한 필수적인 컴퓨팅 파워를 제공합니다. 여기에는 CPU와 GPU와 같은 이질적인 자원이 포함되어 있어 애플리케이션이 데이터를 실시간으로 효율적으로 처리하고 분석할 수 있도록 보장합니다. 이 레이어는 IoT, AI 및 실시간 분석과 같은 산업에서 많은 사용 사례에 필수적인 저지연 및 고성능 결과를 제공하는 데 중요한 역할을 합니다.
오픈 엣지가 할 수 있는 것
오픈 엣지의 핵심 장점은 다음과 같습니다:
- 서버리스 아키텍처: 서버리스 아키텍처를 활용하면 자원 활용 효율성이 향상되고 운영 복잡성이 감소합니다.
- 무료 서비스: 기본 무료 애플리케이션 서비스를 제공하여 개발자의 초기 비용을 줄입니다.
- 즉시 사용 가능한 경험: 사용자들은 복잡한 설정 없이 서비스 사용을 빠르게 시작할 수 있습니다.
- 공동 창작 플랫폼: 개발자들이 함께 참여하고 협력하여 애플리케이션을 개선하도록 장려합니다.
- 다양한 애플리케이션: 다양한 요구를 충족시키기 위해 다양한 애플리케이션 선택을 지원합니다.
오픈 엣지에 가입하면 다음과 같은 혜택을 누릴 수 있습니다:
- 무료로 활성화할 수 있습니다.
- AI 게이트웨이는 현재 개발자가 무료 체험을 신청할 수 있으며, 대형 언어 모델(LLM)에 대한 접근을 관리하고 제어할 수 있으며, Open AI, Minimax, Moonshot AI, Gemini AI, Tencent Hunyuan, Baidu Qianfan, Alibaba Tongyi Qianwen 및 ByteDance DouBao와 같은 주요 모델 서비스 제공업체를 지원합니다.
여러분이 오픈 엣지에 참여하고 기술로 세상을 변화시키기를 기대합니다!
AI 게이트웨이란?
1. 기능 개요
텐센트 에지원 AI 게이트웨이는 대형 언어 모델(LLM) 서비스 제공업체에 대한 접근을 위한 보안, 가시성 및 요청 행동 제어 관리를 제공합니다. 현재 AI 게이트웨이는 개발자가 무료 체험을 신청할 수 있습니다.
AI 게이트웨이는 캐시 구성 기능을 지원하며, 개발 중인 기능으로는 속도 제한, 요청 재시도, LLM 모델 폴백 및 가상 키가 포함됩니다. 이러한 기능의 조합은 LLM 서비스 제공업체에 대한 안전하고 안정적인 접근을 보장하면서 접근 비용을 줄입니다.
참고: 이는 현재 베타 버전이며, 프로덕션 환경에서의 사용은 권장하지 않습니다. 프로덕션 비즈니스를 위해 시도하고 싶다면, 사용하기 전에 비즈니스 위험을 신중히 고려하시기 바랍니다.
2. 적용 시나리오
- 기업 사무실: 기업 관리자들이 직원과 LLM 서비스 제공업체 간에 AI 게이트웨이를 설정하여 직원의 LLM 서비스 제공업체에 대한 안전한 접근과 비용 통제를 관리하는 데 적합합니다.
- 개인 개발: AIGC 개인 개발자들이 소비자 사용자와 LLM 서비스 제공업체 간에 AI 게이트웨이를 설정하여 소비자 사용자의 요청 행동을 제어하는 데 적합합니다.
3. 기능 장점
- 비용 절감: 캐싱 기술을 활용하여 반복된 프롬프트 요청에 대해 캐시에서 직접 응답을 제공하므로 LLM 서비스 제공업체를 다시 호출할 필요가 없습니다. 이를 통해 불필요한 중복 비용을 피하고 운영 비용을 크게 줄일 수 있습니다.
- 유연한 구성: 요청 재시도, 속도 제한 및 LLM 모델 폴백과 같은 기능을 구성하여 다양한 예외 및 복잡한 시나리오를 처리할 수 있으며, 서비스 가용성을 보장합니다.
- 데이터 모니터링: 데이터 대시보드를 통해 AI 게이트웨이 요청에 대한 자세한 통계 정보를 얻을 수 있습니다. 이 데이터는 트래픽 패턴에 대한 통찰력을 제공하고 비즈니스 프로세스를 최적화하며 보다 정확한 비즈니스 결정을 내리는 데 도움이 됩니다.
- 높은 보안: 가상 키 기술은 추가적인 보안 레이어를 제공합니다. 이 메커니즘은 LLM 서비스 제공업체의 접근 키가 유출되지 않도록 하여 데이터 보안과 비즈니스 프라이버시를 보호합니다.
참고: 위의 모든 기능이 현재 사용 가능한 것은 아닙니다. 특정 기능에 특히 관심이 있는 경우, 제품 팀에 피드백을 주시기 바랍니다.
4. LLM 서비스 제공업체
Open AI, Minimax, Moonshot AI, Gemini AI와 같은 주요 모델 서비스 제공업체에 대한 지원이 이미 제공되며, 더 많은 제공업체가 개발 중입니다.
운영 가이드
1. 오픈 엣지 활성화
오픈 엣지에 접근하려면 텐센트 에지원 콘솔로 이동하여 왼쪽 사이드바에서 오픈 엣지를 클릭하십시오. 이전에 접근을 신청하지 않았다면 "지금 활성화"를 클릭하여 사용 권한 요청을 해야 합니다.
참고: 현재 한정된 사용자 테스트를 배치별로 진행하고 있으므로, 귀하의 신청이 현재 승인되지 않을 경우, 인내심을 가지고 추가 업데이트를 기다려 주시기 바랍니다. 이해해 주셔서 감사합니다.
2. AI 게이트웨이 생성
활성화가 성공적으로 완료된 후, AI 게이트웨이 목록 페이지로 이동하여 "생성"을 클릭합니다. 팝업 프롬프트에 따라 이름과 설명 입력을 완료합니다.
- 이름: 필수 필드이며, 생성 후 수정할 수 없으며 숫자, 대문자 및 소문자, 하이픈 및 밑줄만 포함할 수 있으며, 중복 이름은 허용되지 않습니다.
- 설명: 선택 필드로 최대 60자까지 가능합니다.
3. AI 게이트웨이 구성
AI 게이트웨이를 성공적으로 생성한 후, AI 게이트웨이 목록 페이지로 이동하여 "세부정보" 또는 특정 AI 게이트웨이 인스턴스 ID를 클릭하여 게이트웨이의 세부정보 페이지로 들어갑니다. 현재 캐시 구성이 지원됩니다.
- 활성화/비활성화: 스위치를 켜서 캐싱을 활성화하면 동일한 프롬프트 요청에 대해 게이트웨이가 LLM 서비스 제공업체에 요청하지 않고 캐시에서 직접 응답할 수 있습니다. 스위치를 끄면 캐싱이 비활성화되고 각 요청은 LLM 서비스 제공업체에 의해 처리됩니다.
- 캐시 기간 설정: 지원되는 캐시 기간에는 2분, 5분, 1시간, 1일, 1주 및 1개월이 포함됩니다. 설정된 기간이 지나면 캐시는 자동으로 지워집니다.
4. API 엔드포인트
AI 게이트웨이 백엔드의 해당 엔드포인트는 대형 언어 모델(LLM) 서비스 제공업체입니다. 현재 Open AI, Minimax, Moonshot AI 및 Gemini AI와 같은 주요 모델 서비스 제공업체가 지원됩니다.
예제를 참조하고 Bear의 xxxxxxxxxxxxxxxxxxxxxxxx을 서비스 제공업체의 접근 키로 교체할 수 있습니다. 예를 들어 Open AI의 엔드포인트입니다.
사례 시연
AI 게이트웨이를 통한 Open AI 접근
운영 시나리오: AI 게이트웨이에서 캐시를 비활성화하고 AI 게이트웨이를 통해 Open AI에 접근합니다.
AI 게이트웨이에서 캐시를 활성화하고 다시 접근합니다.
응답 헤더 OE-Cache-Status가 HIT로 반환되면 캐시에 히트가 발생한 것을 나타냅니다.
AI 게이트웨이를 통해 다른 LLM 서비스 제공업체에 접근하려면 위에 설명된 동일한 단계를 따를 수 있습니다.
자주 묻는 질문
1. AI 게이트웨이는 무료인가요?
네, AI 게이트웨이는 현재 개발자가 무료 체험을 신청할 수 있습니다.
2. AI 게이트웨이는 무엇을 할 수 있나요?
AI 게이트웨이는 대형 언어 모델(LLM)에 대한 접근을 관리하고 제어할 수 있으며 현재 OpenAI, Minimax, Moonshot AI 및 Gemini AI와 같은 주요 모델 서비스 제공업체를 지원합니다.
3. AI 게이트웨이가 더 많은 LLM 서비스 제공업체를 지원할 수 있나요?
현재 LLM 서비스 제공업체가 요구 사항을 충족하지 않는 경우, 언제든지 문의해 주시기 바랍니다 평가를 요청해 주세요.