在Azure MI300X GPU虚机上运行 DeepSeek-R1

正文

请到「今天看啥」查看全文

remove -y linux-azure-6.5-cloud-tools-6.5.0-1025 linux-azure-6.5-headers-6.5.0-1025 linux-azure-6.5-tools-6.5.0-1025 linux-cloud-tools-6.5.0-1025-azure linux-headers-6.5.0-1025-azure linux-image-6.5.0-1025-azure linux-modules-6.5.0-1025-azure linux-tools-6.5.0-1025-azure

sudo reboot

重启后，确认使用的内核是 5.15.0 版本：

uname -r

3. 安装所需的驱动程序和软件：

git clone --branch mi300x https://github.com/vanzod/azhpc-images.git

cd azhpc-images/ubuntu/ubuntu-22.x/ubuntu-22.04-hpc

sudo ./install.sh AMD

创建自定义 VM 映像（可选）

为了在未来部署虚拟机时具有更大的灵活性，我们建议创建自定义虚拟机映像。这样，映像将包含所有必需的组件，而无需在每次部署新虚拟机时安装它们。

1. 将虚拟机通用化以创建映像：

sudo rm -f ~/.bash_history

sudo waagent -force -deprovision+user

2. 使用 Azure CLI 解除分配并将 VM 标记为通用：

az vm deallocate --resource-group --name mi300x

az vm generalize --resource-group --name mi300x

3. 创建共享图库并保存自定义镜像：

az sig create --resource-group --gallery-name mi300xImages

VMID=$(az vm get-instance-view -g -n mi300x --query id -o tsv)

az sig image-definition create --resource-group --gallery-name mi300xImages --gallery-image-definition Ubuntu-2204-ROCm --publisher --offer ubuntu2204 --sku ROCm --os-type Linux --hyper-v-generation v2 --features SecurityType =Standard

az sig image-version create --resource-group --gallery-name mi300xImages --gallery-image-definition Ubuntu-2204-ROCm --gallery-image-version 1.0.0 --target-regions --replica-count 1 --virtual-machine ${VMID}

4. 删除虚拟机及相关资源：

az vm delete --yes --resource-group --name mi300x

az network nic delete --resource-group --name mi300xNIC

az network public-ip delete --resource-group --name mi300xPIP

5. 检索创建新虚拟机时所需的虚拟机映像资源 ID ：

az image show --resource-group --name Ubuntu-2204-ROCm --query id --output tsv

6. 从自定义映像创建新的虚拟机：

az vm create --name --resource-group --location --image --size Standard_ND96isr_MI300X_v5 --security-type Standard --os-disk-size-gb 256 --admin-username --ssh-key-values

其他准备

请到「今天看啥」查看全文