看了最近发布 PaddleNLP v2.6rc 最近更新版，整合了一些大模型，非常不错，提个建议 希望支持chatRWKV并行训练

[gg22mm]

2023.6.12 发布 PaddleNLP v2.6rc 预览版

🔨 大模型全流程范例：全面支持主流开源大模型Bloom, ChatGLM, GLM, Llama, OPT的训练和推理；Trainer API新增张量训练能力, 简单配置即可开启分布式训练；新增低参数微调能力PEFT, 助力大模型高效微调

------------------------- 提个建议 希望支持chatRWKV并行训练 --------------------------------

这个现在最火，开源度最高的模型，希望也把它整合了~~
用的人也多

其实rwkv作者写的代码简洁清晰，方便修改如：
https://github.com/BlinkDL/RWKV-LM/blob/main/RWKV-v4/train.py
BlinkDL/ChatRWKV#118

参考：https://www.kaggle.com/code/evilpsycho42/pytorch-multi-gpus-train-infer

Motivation

Q群活跃

Your contribution

暂无

[w5688414]

欢迎开发者进行贡献