alpha clip训练

[dox012]

您好，我准备做一个clip相关的论文并想复现一下最新的方法，我按照alpha clip项目中写的训练流程下载了grit-20m数据集并使用sam_grit.py生成了mask数据，想问一下如何修改get_file文件进行训练？代码中这个函数是空的，我看到issue里面有一个close的和我是同样的问题但底下没有找到回答，而且dataset文件里面写的是grit-1m是否仅需要用grit-20m的1m子集进行训练？我还想训练一下不使用sam生成mask数据的clip基线模型进行对比这个如何实现？

[SunzeY]

您好，我的原函数是从aws的oss存储上读的json，您可以根据您的存储情况修改，我建议你把annotation保存成包含seudo_masks和image路径和ref_exps的区域caption的list存储到json中，只要能dataloader能正常读取即可。
我不太理解“不使用sam生成mask数据的clip基线模型进行对比”，您是希望只用grit数据的image level的caption进行正常clip的训练吗？

[dox012]

对，我想只用grit数据的image level的caption进行正常clip的训练进行比较
我下载下来的grit数据集和sam_grit.py处理后的grit数据集是下面的格式，这个数据如何修改get_file方法进行训练？


我目前用一个循环执行sam_grit.py预处理这个数据比较慢只处理了一半，需要全部都用sam处理完吗

[SunzeY]

你可以简单看一下get_file函数调用的位置，下面需要回传一个字典包含相应的字段，你只要能和他匹配就行

[e-meral-d]

对，我想只用grit数据的image level的caption进行正常clip的训练进行比较 我下载下来的grit数据集和sam_grit.py处理后的grit数据集是下面的格式，这个数据如何修改get_file方法进行训练？ 我目前用一个循环执行sam_grit.py预处理这个数据比较慢只处理了一半，需要全部都用sam处理完吗

Hello, the grit20m I downloaded is a parquet file after decompression. How can I handle it to get the same type as your picture?

[SunzeY]

ask GPT/Deepseek to use python to load from .parquet!

[e-meral-d]

ok,thanks

…

---- 回复的原邮件 ---- | 发件人 | Zeyi ***@***.***> | | 发送日期 | 2025年03月18日 20:54 | | 收件人 | SunzeY/AlphaCLIP ***@***.***> | | 抄送人 | Emerald ***@***.***>, Comment ***@***.***> | | 主题 | Re: [SunzeY/AlphaCLIP] alpha clip训练 (Issue #65) | ask GPT/Deepseek to use python to load from .parquet! — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: ***@***.***> SunzeY left a comment (SunzeY/AlphaCLIP#65) ask GPT/Deepseek to use python to load from .parquet! — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: ***@***.***>