是否有支持昇腾NPU Flash attention的计划？

[AcKnight]

根据昇腾官网，https://www.hiascend.com/document/detail/zh/Pytorch/60RC2/ptmoddevg/trainingmigrguide/performance_tuning_0027.html，

应该已经支持flash attention

[VocabVictor]

Add NPU support for FlashAttention in Transformers，参考这个PR，现在不需要额外实现了，只需要指定attn_impl为sdpa，但是我看ms-swift官方还没有实现，可以修改一下或者我提交PR嘛

[qingchunlizhi]

Add NPU support for FlashAttention in Transformers，参考这个PR，现在不需要额外实现了，只需要指定attn_impl为sdpa，但是我看ms-swift官方还没有实现，可以修改一下或者我提交PR嘛

用这个能提升npu利用率吗？训练的时候npu利用率很低

[VocabVictor]

我正在计划写一个基于Triton的flash attn，来支持包括v100在内的老式显卡，通过在Ascend上编译通Triton，以及魔改transformers源码，应该能够支持flash attn