主要观点总结
本文介绍了如何通过火山引擎边缘大模型网关快速调用自部署模型,包括模型的添加、创建调用渠道、绑定网关访问密钥和使用示例代码等步骤。文章还强调了边缘大模型网关提供的安全、鉴权、限流、监控等功能,以及解决自部署模型公网访问难题的解决方案。
关键观点总结
关键观点1: 自部署模型的优势
拥有数据主权、高度定制化、稳定性等优势,适合对隐私性、垂直场景适配度和长期可控性要求很高的业务。
关键观点2: 火山引擎边缘大模型网关的作用
实现内网穿透,提供对外域名访问能力,对自部署模型实现鉴权、限流、安全、监控等功能。
关键观点3: 如何快速调用自部署模型
分为四步:1. 添加自部署模型;2. 创建调用渠道;3. 绑定调用渠道到网关访问密钥;4. 使用网关访问密钥。
关键观点4: 边缘大模型网关的特点
采用基于远程访问代理的内网穿透方案,解决自部署模型公网访问难题;提供完善的鉴权、限流、安全防护和监控等功能。
正文
模型类型:选择模型的类型。模型类型决定了模型的用量计量方式。您可以在类型选项上查看对应的计量方式(如 Chat 类型对应于 Token 用量)。支持多选,但只允许选择用量计量方式相同的多个类型。
对于仅支持内网访问的自部署模型,边缘大模型网关提供
基于远程访问代理的内网穿透方案
。您需要在本地或局域网内服务器上运行指定的代理工具(详见第二步),以将内网中的模型服务暴露给边缘大模型网关。
第二步:创建调用渠道
为使边缘大模型网关能够调用您的自部署模型,您需要提供模型的 API 密钥以建立调用渠道。有了 API 密钥,边缘大模型网关即可顺利访问并调用您的模型。
-
登录边缘大模型网关控制台,在左侧导航栏,选择模型配置管理>大模型管理。
-
在自有三方模型标签页,单击自部署模型标签,找到要使用的模型,单击创建调用渠道。
-
在创建调用渠道对话框,完成以下参数配置,单击确定。
-
-
-
-
本机服务代理:适用于模型服务部署在本地计算机,只支持内网访问。
该模式表示通过代理本地模型服务实现内网穿透,使本地模型服务可通过边缘大模型网关的公网域名远程访问。若选择该模式,
-
-
在调用渠道创建成功后,您还必须在本地计算机上运行指定的代理工具。