专栏名称: 字节跳动技术团队
字节跳动的技术实践分享
目录
相关文章推荐
字节跳动技术团队  ·  基于LLM的AI应急:多模态信息智能化分析整 ... ·  18 小时前  
字节跳动技术团队  ·  远程访问代理+内网穿透:火山引擎边缘网关助力 ... ·  昨天  
字节跳动技术团队  ·  稀土掘金 x Trae ... ·  昨天  
51好读  ›  专栏  ›  字节跳动技术团队

远程访问代理+内网穿透:火山引擎边缘网关助力自部署模型公网调用与全链路管控

字节跳动技术团队  · 公众号  · 架构  · 2025-06-03 10:52

主要观点总结

本文介绍了如何通过火山引擎边缘大模型网关快速调用自部署模型,包括模型的添加、创建调用渠道、绑定网关访问密钥和使用示例代码等步骤。文章还强调了边缘大模型网关提供的安全、鉴权、限流、监控等功能,以及解决自部署模型公网访问难题的解决方案。

关键观点总结

关键观点1: 自部署模型的优势

拥有数据主权、高度定制化、稳定性等优势,适合对隐私性、垂直场景适配度和长期可控性要求很高的业务。

关键观点2: 火山引擎边缘大模型网关的作用

实现内网穿透,提供对外域名访问能力,对自部署模型实现鉴权、限流、安全、监控等功能。

关键观点3: 如何快速调用自部署模型

分为四步:1. 添加自部署模型;2. 创建调用渠道;3. 绑定调用渠道到网关访问密钥;4. 使用网关访问密钥。

关键观点4: 边缘大模型网关的特点

采用基于远程访问代理的内网穿透方案,解决自部署模型公网访问难题;提供完善的鉴权、限流、安全防护和监控等功能。


正文

请到「今天看啥」查看全文


  • 模型格式:仅支持 OpenAI。

  • 模型类型:选择模型的类型。模型类型决定了模型的用量计量方式。您可以在类型选项上查看对应的计量方式(如 Chat 类型对应于 Token 用量)。支持多选,但只允许选择用量计量方式相同的多个类型。


  • 图片


    对于仅支持内网访问的自部署模型,边缘大模型网关提供 基于远程访问代理的内网穿透方案 。您需要在本地或局域网内服务器上运行指定的代理工具(详见第二步),以将内网中的模型服务暴露给边缘大模型网关。


    第二步:创建调用渠道


    为使边缘大模型网关能够调用您的自部署模型,您需要提供模型的 API 密钥以建立调用渠道。有了 API 密钥,边缘大模型网关即可顺利访问并调用您的模型。

    • 登录边缘大模型网关控制台,在左侧导航栏,选择模型配置管理>大模型管理。

    • 在自有三方模型标签页,单击自部署模型标签,找到要使用的模型,单击创建调用渠道。

    • 在创建调用渠道对话框,完成以下参数配置,单击确定。

      • 渠道名称:为调用渠道设置一个显示名称。

      • 模型调用密钥:输入您在部署模型时设置的密钥。

      • 模型代理方式:选择一种访问代理模式。

        • 本机服务代理:适用于模型服务部署在本地计算机,只支持内网访问。 该模式表示通过代理本地模型服务实现内网穿透,使本地模型服务可通过边缘大模型网关的公网域名远程访问。若选择该模式,

    1. 需要设置本地端口号(指模型服务的端口)。

    2. 在调用渠道创建成功后,您还必须在本地计算机上运行指定的代理工具。







    请到「今天看啥」查看全文