这个项目能支持bert类的模型吗？比如Modern-Bert？

[ciaoyizhen]

我尝试使用task-type="seq_cls"

他报错了

TypeError: RotaryEmbedding.__init__() got an unexpected keyword argument 'pos_idx_in_fp32'

顺便问一下，我看那个Readme里面写的，messages的key是必须传的，如果支持使用bert的训练的话，那么这个messages也要传吗？

[ciaoyizhen]

nproc_per_node=1
CUDA_VISIBLE_DEVICES=3 \
NPROC_PER_NODE=$nproc_per_node \
swift sft \
    --model answerdotai/ModernBERT-base \
    --model_type bert \
    --task_type seq_cls \
    --train_type full \
    --dataset 本地json  (text, label的key) \
    --output_dir output/modern-bert \
    --eval_datasets 本地json  (text, label的key) \
    --eval_strategy steps \
    --eval_steps 0.2 \
    --num_train_epochs 2 \
    --save_strategy steps \
    --save_steps 0.2 \
    --per_device_train_batch_size 32 \
    --per_device_eval_batch_size 32 \
    --gradient_accumulation_steps 2 \
    --learning_rate 5e-5 \
    --label_names labels \
    --dataloader_drop_last true \
    --report_to tensorboard \
    --seed 42 \
    --data_seed 42 \
    --max_length 2048 \
    --num_labels 7 \
    --dataset_num_proc 12

[Jintao-Huang]

可以试试换transformers版本。
具体可以看模型主页

[ciaoyizhen]

可以试试换transformers版本。 具体可以看模型主页

降低transformers的版本是吗？

[ciaoyizhen]

目前报错的环境

absl-py==2.3.0
accelerate==1.8.0
addict==2.4.0
aiofiles==24.1.0
aiohappyeyeballs==2.6.1
aiohttp==3.12.13
aiosignal==1.3.2
aliyun-python-sdk-core==2.16.0
aliyun-python-sdk-kms==2.16.5
annotated-types==0.7.0
anyio==4.9.0
attrdict==2.0.1
attrs==25.3.0
binpacking==1.5.2
certifi==2025.6.15
cffi==1.17.1
charset-normalizer==3.4.2
click==8.2.1
contourpy==1.3.2
cpm-kernels==1.0.11
crcmod==1.7
cryptography==45.0.4
cycler==0.12.1
dacite==1.9.2
datasets==3.3.2
deepspeed==0.17.1
dill==0.3.8
distro==1.9.0
einops==0.8.1
fastapi==0.115.13
ffmpy==0.6.0
filelock==3.18.0
flash-attn==2.8.0.post2
fonttools==4.58.4
frozenlist==1.7.0
fsspec==2025.5.1
future==1.0.0
gradio==5.34.2
gradio-client==1.10.3
groovy==0.1.2
grpcio==1.73.0
h11==0.16.0
hf-xet==1.1.4
hjson==3.1.0
httpcore==1.0.9
httpx==0.28.1
huggingface-hub==0.33.0
idna==3.10
importlib-metadata==8.7.0
jieba==0.42.1
jinja2==3.1.6
jiter==0.10.0
jmespath==0.10.0
joblib==1.5.1
kiwisolver==1.4.8
liger-kernel==0.5.10
markdown==3.8.2
markdown-it-py==3.0.0
markupsafe==3.0.2
matplotlib==3.10.3
mdurl==0.1.2
modelscope==1.27.0
mpmath==1.3.0
ms-swift==3.5.1
msgpack==1.1.1
multidict==6.5.0
multiprocess==0.70.16
networkx==3.5
ninja==1.11.1.4
nltk==3.9.1
numpy==2.3.0
nvidia-cublas-cu12==12.6.4.1
nvidia-cuda-cupti-cu12==12.6.80
nvidia-cuda-nvrtc-cu12==12.6.77
nvidia-cuda-runtime-cu12==12.6.77
nvidia-cudnn-cu12==9.5.1.17
nvidia-cufft-cu12==11.3.0.4
nvidia-cufile-cu12==1.11.1.6
nvidia-curand-cu12==10.3.7.77
nvidia-cusolver-cu12==11.7.1.2
nvidia-cusparse-cu12==12.5.4.2
nvidia-cusparselt-cu12==0.6.3
nvidia-nccl-cu12==2.26.2
nvidia-nvjitlink-cu12==12.6.85
nvidia-nvtx-cu12==12.6.77
openai==1.88.0
orjson==3.10.18
oss2==2.19.1
packaging==25.0
pandas==2.3.0
peft==0.15.2
pillow==11.2.1
propcache==0.3.2
protobuf==6.31.1
psutil==7.0.0
py-cpuinfo==9.0.0
pyarrow==20.0.0
pycparser==2.22
pycryptodome==3.23.0
pydantic==2.11.7
pydantic-core==2.33.2
pydub==0.25.1
pygments==2.19.1
pyparsing==3.2.3
python-dateutil==2.9.0.post0
python-multipart==0.0.20
pytz==2025.2
pyyaml==6.0.2
regex==2024.11.6
requests==2.32.4
rich==14.0.0
rouge==1.0.1
ruff==0.12.0
safehttpx==0.1.6
safetensors==0.5.3
scikit-learn==1.7.0
scipy==1.15.3
semantic-version==2.10.0
sentencepiece==0.2.0
setuptools==80.9.0
shellingham==1.5.4
simplejson==3.20.1
six==1.17.0
sniffio==1.3.1
sortedcontainers==2.4.0
starlette==0.46.2
sympy==1.14.0
tensorboard==2.19.0
tensorboard-data-server==0.7.2
threadpoolctl==3.6.0
tiktoken==0.9.0
tokenizers==0.21.1
tomlkit==0.13.3
torch==2.7.1
tqdm==4.67.1
transformers==4.52.4
transformers-stream-generator==0.0.5
triton==3.3.1
trl==0.18.2
typer==0.16.0
typing-extensions==4.14.0
typing-inspection==0.4.1
tzdata==2025.2
urllib3==2.5.0
uvicorn==0.34.3
websockets==15.0.1
werkzeug==3.1.3
xxhash==3.5.0
yarl==1.20.1
zipp==3.23.0
zstandard==0.23.0

[ciaoyizhen]

可以试试换transformers版本。 具体可以看模型主页

模型文件上写的>=4.48 我用了4.48还是这个问题

[Jintao-Huang]

我测试4.51.3没问题

[ciaoyizhen]

我测试4.51.3没问题

能看看你的脚本吗，我换成了这个版本，还是报错，我估计哪里有问题