解锁DeepSeek-R1 671B FP8推理性能：5,921 token/s @ AMD MI3...

在 MI300X 上

1. 下载 Docker 容器：

   docker pull rocm/sglang-staging:20250212

2. 运行docker容器：

   docker run -d -it --ipc=host --network=host --privileged --device=/dev/kfd --device=/dev/dri --device=/dev/mem --group-add render --security-opt seccomp=unconfined -v /home:/workspace rocm/sglang-staging:20250212

   docker exec -it  bash

3. 运行服务基准测试：

   HSA_NO_SCRATCH_RECLAIM=1 python3 -m sglang.launch_server --model/workspace/models/DeepSeek-R1/ --tp 8 --trust-remote-code

   运行客户端请求

concurrency_values =( 128 64 32 16 8 4 2 1 )

for concurrency in "${ concurrency_values [@] }" ; do

python3 -m sglang.bench_serving \

--dataset-name random \