lmdeploy 支持华为昇腾800I A2吗？InternVL3支持部署在上面吗？

[sduqlsc]

如题，910B的卡，

1. 这个机型是否支持lmdeploy？
2. 如果支持，那么现阶段支持的模型是否跟800T一样？
3. InternVL3刚发布，现阶段是否支持部署？

[lvhan028]

https://lmdeploy.readthedocs.io/en/latest/get_started/ascend/get_started.html
https://lmdeploy.readthedocs.io/en/latest/supported_models/supported_models.html#pytorchengine-on-huawei-ascend-platform

[sduqlsc]

文档我已经看过了，我还以为没有更新。这么说来是不支持internvl3的。另外，我可以理解是支持在800IA2上部署？

[lvhan028]

支持 internvl3。目前需要指定对话模板 --chat-template internvl2_5

[sduqlsc]

支持 internvl3。目前需要指定对话模板 --chat-template internvl2_5

收到，那我这里用800I A2试一下，感谢回复

[sduqlsc]

建议更新下文档和设备支持类型

[lvhan028]

bump-version 更新了，会体现在 v0.8.0 中