如何关闭自动模型并行呢？

[kellenf]

@Jintao-Huang 现在只要多卡就会自动用device_map模型并行，如果我不想模型并行，只用pytorch DDP的话要怎么做？

[thesby]

CUDA_VISIBLE_DEVICES=0

[kellenf]

@thesby 这样就会只用一张卡了，我是希望能和正常pytorch的DDP一样，用所有的卡，每个卡上一个模型

[kellenf]

这是我目前训练QwenVL3B LoRA的结果，训练速度特别慢，显存占用也很低，看起来显存用的也不多，应该是可以直接用DDP来训练的，目前的训练问题应该就是这个显存分到多个卡上导致训练速度慢了

[kellenf]

@Jintao-Huang 老板可以麻指导下吗？多谢了

[kellenf]

尝试了下手动把device_map改成None并且注释了一些代码，目前模型load之后model.hf_device_map为None，但是实际运行有上面这个报错

[Betty-J]

你想要加速可以设置deepseed，或者直接数据并行：

NPROC_PER_NODE=4 \
CUDA_VISIBLE_DEVICES=0,1,2,3 \
swift sft \
    --model ...

[Jintao-Huang]

https://github.com/modelscope/ms-swift/tree/main/examples/train/multi-gpu

[lii233333]

请问题主解决了吗，我用ddp示例里的代码完全不行，一样会开启device_map，而且deepspeed会报错Deepspeed is not compatible with 'device_map'.