微调qwen2.5vl grouding

[1804696177]

微调qwen2.5vl grouding时训练完成的模型输出坐标总是统一的有偏差，每个框只有一少部分可以框到目标

[Jintao-Huang]

使用的swift的版本是什么 建议是>=3.2.1

推理的时候不要使用缩放，例如MAX_PIXELS（需要在外面做，缩放到28的倍数）

[1804696177]

使用的swift的版本是什么 建议是>=3.2.1

推理的时候不要使用缩放，例如MAX_PIXELS（需要在外面做，缩放到28的倍数）

`import os
import re
from typing import Literal

os.environ['CUDA_VISIBLE_DEVICES'] = '4'

def draw_bbox_qwen2_vl(image, response, norm_bbox: Literal['norm1000', 'none']):
label_pattern = r'<|object_ref_start|>(.*?)<|object_ref_end|>'
labels = re.findall(label_pattern, response)

# 提取 <|box_start|><|box_end|> 中的内容
box_pattern = r'<\|box_start\|>\((\d+), (\d+)\),\((\d+), (\d+)\)<\|box_end\|>'
boxes = re.findall(box_pattern, response)
boxes = [[int(num) for num in box] for box in boxes]

draw_bbox(image, labels, boxes,norm_bbox=norm_bbox)

def infer_grounding():
from swift.llm import PtEngine, RequestConfig, BaseArguments, InferRequest, safe_snapshot_download
output_path = 'bbox.png'
image = load_image('/home/workspace/CV/xxx/qwen/qwenvl/484.jpg')
infer_request = InferRequest(messages=[{'role': 'user', 'content': "检测出图像中的选项框"}], images=[image])

request_config = RequestConfig(max_tokens=10240, temperature=0)
adapter_path = safe_snapshot_download('/home/dataMapping/CV/L/qwenvl_ft_od/models/out_swift/v0-20250325-195451/checkpoint-117/')
args = BaseArguments.from_pretrained(adapter_path)

engine = PtEngine(args.model, adapters=[adapter_path])
resp_list = engine.infer([infer_request], request_config)
response = resp_list[0].choices[0].message.content


draw_bbox_qwen2_vl(image, response, norm_bbox=args.norm_bbox)

image.save(output_path)

if name == 'main':
from swift.llm import draw_bbox, load_image
infer_grounding()`
我的swift版本为3.3.0，这是我的推理代码，训练数据我在训练前已将图片宽高缩放到28的倍数，推理前我也将图片宽高缩放到28的倍数

[chenjiaxin1822]

请问任务是什么，目标检测还是文本检测，可以展示下训练数据嘛

[1804696177]

请问任务是什么，目标检测还是文本检测，可以展示下训练数据嘛

是目标检测，第一张为原始数据，第二张为推理结果

[1804696177]

请问任务是什么，目标检测还是文本检测，可以展示下训练数据嘛

训练数据使用了1000条

[Betty-J]

使用的swift的版本是什么 建议是>=3.2.1

推理的时候不要使用缩放，例如MAX_PIXELS（需要在外面做，缩放到28的倍数）

那么请问使用swift infer 进行推理，也需要先自行进行缩放吗，我的ground任务也遇到了类似的问题，整体预测的box都有个一致方向的偏移。

[Jintao-Huang]

分辨率需要提前缩放到 28*28的倍数

The resolution needs to be pre-scaled to a multiple of 28x28.

[Betty-J]

分辨率需要提前缩放到 28*28的倍数

The resolution needs to be pre-scaled to a multiple of 28x28.

那么其他VL模型也需要自己提前做好缩放吗，比如InterVL2缩放到448的倍数

[Jintao-Huang]

qwen2.5-vl是绝对坐标的，对图像分辨率比较敏感

其他不需要的

[bihhm]

如果构造grounding的微调数据的话，假设图片不是28的倍数，那么需要提前resize成28倍数，并且bbox也要调整，然后构造json格式的训练数据么？还是说直接原始图片尺寸以及bbox送入框架就行？