专栏名称: GiantPandaLLM
专注于机器学习、深度学习、计算机视觉、图像处理等多个方向技术分享。团队由一群热爱技术且热衷于分享的小伙伴组成。我们坚持原创,每天一到两篇原创技术分享。希望在传播知识、分享知识的同时能够启发你,大家一起共同进步(・ω<)☆
目录
相关文章推荐
GiantPandaLLM  ·  图解Vllm ... ·  17 小时前  
GiantPandaLLM  ·  【博客转载】Row-Major VS ... ·  昨天  
51好读  ›  专栏  ›  GiantPandaLLM

在白嫖的阿里云ECS上手动部署Dify运行大模型应用

GiantPandaLLM  · 公众号  · 3D  · 2024-08-30 12:36

正文

请到「今天看啥」查看全文


0x2. Dify简介

https://docs.dify.ai/v/zh-hans Dify的官方文档有详细的介绍。对个人用户来说,Dify提供了很多种AI应用的构建方法,只要我们有Dify支持的大模型API或者自己通过某个sever框架部署的大模型推理服务都可以很轻松的构建出来AI应用,例如聊天机器人,知识库,Agent等等。

我们不仅可以自己根据Dify提供的组建设计AI应用,我们还可以访问无数种其他人搭建好发布的AI应用模板,类似于github的开源仓库,我们可以站在巨人的肩膀上前进。

0x3. 本文的核心任务

这里来演示一下在阿里云ECS免费试用的机器上本地部署Dify,然后配置Qwen2-7B-Chat大模型的API Key并把本地的一个《武林外传》剧本当作知识库在Dify上建立一个机器人。

0x3.1 如何在ECS上部署

我这里选择的是在ECS上使用Docker Compose来部署Dify,首先在ECS上安装Docker和Docker Compose,然后按照Dify提供的官方教程来进行部署:https://docs.dify.ai/v/zh-hans/getting-started/install-self-hosted/docker-compose 。在这个过程中踩了一个坑,在执行 docker compose up -d 拉镜像的时候会失败,稳定报错为: error pulling image configuration: download failed after attempts=6:xxx timeout 。尝试了科学上网以及阿里云加速镜像两种方法都失败了,后来把能找到的镜像都加上了才成功。操作过程如下:







请到「今天看啥」查看全文