带有思考过程的多轮对话数据，微调qwen3-32B，想问一下，损失计算的时候是不是思考过程只计算最后一轮的<think>\n\n</think>的内容呢？

[Taleword2]

我想使用Gemini蒸馏的特定场景带有思考过程的多轮对话微调qwen3-32B，想问一下，损失计算的时候是不是针对思考过程只计算最后一轮的<think>\n\n</think>的内容呢？

[
{
"messages": [
{
"role": "system",
"content": ""
},
{
"role": "user",
"content": ""
},
{
"role": "assistant",
"content": "<think></think>answer“
},
{
"role": "user",
"content": ""
}
{
"role": "assistant",
"content": "<think>\n\n</think> \n\nanswer”
},
]

数据集构造如上，数据集里思考过程和Qwen3是不一样的，微调完Qwen3-32B后，模型几乎丧失了思考能力，一些回复都不思考了。应该怎么构造这种具有思考过程的多轮对话数据集呢？我需要将每轮对话的思考过程都进行微调
训练脚本如下

nproc_per_node=2

CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7
NPROC_PER_NODE=$nproc_per_node
swift sft
--model /root/.cache/modelscope/hub/models/Qwen/Qwen3-32B
--train_type lora
--dataset 'multi-turn-max.json'
--torch_dtype bfloat16
--num_train_epochs 20
--per_device_train_batch_size 1
--per_device_eval_batch_size 1
--learning_rate 2e-4
--lora_rank 8
--lora_alpha 32
--target_modules all-linear
--gradient_accumulation_steps $(expr 16 / $nproc_per_node)
--eval_steps 5
--save_steps 50
--save_total_limit 2
--logging_steps 5
--max_length 10000
--output_dir output
--dataloader_num_workers 8
--model_author swift
--gradient_checkpointing_kwargs '{"use_reentrant": false}'

[Jintao-Huang]

https://swift.readthedocs.io/zh-cn/latest/BestPractices/Qwen3%E6%9C%80%E4%BD%B3%E5%AE%9E%E8%B7%B5.html

[Taleword2]

感谢您的回复，我看过这些文档，但是并没解决我的疑问。还是想问一下您，可以这么构造具有思考过程的多轮对话数据集吗？如果可以的话，为什么Qwen3的思考能力几乎丧失，多数情况下只有特定的回复才会有思考过程（在训练时，我看到分词器对测试集解码后只有最后一句的回复包含了思考过程）。

[
{
"messages": [
{
"role": "system",
"content": ""
},
{
"role": "user",
"content": ""
},
{
"role": "assistant",
"content": "<think></think>answer“
},
{
"role": "user",
"content": ""
}
{
"role": "assistant",
"content": "<think>\n\n</think> \n\nanswer”
},
]

[bigcash]

--loss_scale ignore_empty_think 这参数在训练时是不是加上了？
另外，数据集中为啥第一个回答，是<think></think>，而不是<think>\n\n</think>\n\n

[Jintao-Huang]

我看你的shell没有加--loss_scale ignore_empty_think，这里实际忽略的是 "<think>\\s*</think>\\s*"

训练的时候 需要混合思考的数据集和空思考的数据集。

[Taleword2]

--loss_scale ignore_empty_think 这参数在训练时是不是加上了？ 另外，数据集中为啥第一个回答，是，而不是\n\n\n\n

笔误，抱歉，数据集中是正常的

[Taleword2]

我看你的shell没有加--loss_scale ignore_empty_think，这里实际忽略的是 "<think>\\s*</think>\\s*"

训练的时候 需要混合思考的数据集和空思考的数据集。

因为我想让qwen3思考时模仿我数据集的思考过程，所以需要在每次回复时都对思考过程进行损失计算，加入--loss_scale ignore_empty_think的话，是不是就没办法定制思考过程了？

[dykderrick]

是不是 #4857 修复了这个问题？