ERNIE-4.5-VL-424B-A47B-Paddle加载卡住不动

[zjbshk]

$python -m fastdeploy.entrypoints.openai.api_server \
>     --model ERNIE-4.5-VL-424B-A47B-Paddle \
>     --port 8180 \
>     --tensor-parallel-size 8 \
>     --quantization wint4 \
>     --metrics-port 8181 \
>     --engine-worker-queue-port 8182 \
>     --max-model-len 32768 \
>     --max-num-seqs 32 \
>     --mm-processor-kwargs '{"video_max_frames": 30}' \
>     --limit-mm-per-prompt '{"image": 10, "video": 3}' \
>     --reasoning-parser ernie-45-vl \
>     --enable-mm

环境：
paddlepaddle-gpu==3.1.0
fastdeploy-gpu==2.0.0

ERNIE-4.5-VL-28B-A3B-Paddle模型可以起来，换成 ERNIE-4.5-VL-424B-A47B-Paddle模型总是中途卡住，在不同的进度位置

[zjbshk]

这个是重启后的，还是卡住了

[Jiang-Jia-Jun]

是什么硬件，机器内存多大？

[zjbshk]

A100 * 8 内存 800G

[zjbshk]

是什么硬件，机器内存多大？

重启后也会卡住，换做ERNIE-4.5-VL-28B-A3B-Paddle模型可以起来

[xiaoxiaohehe001]

A100 * 8 内存 800G

模型本身就近800g，推荐900G～1T内存进行部署

[Jiang-Jia-Jun]

当前正在做模型加载的速度和内存优化，会尽快解决这个问题

[zjbshk]

@xiaoxiaohehe001 感谢老哥，内存加大了起来了

[zjbshk]

当前正在做模型加载的速度和内存优化，会尽快解决这个问题

辛苦老哥，模型这么大，加载时间太长了，而且重启不会加速 @Jiang-Jia-Jun