训练我自己的数据集的时候，加载预训练模型一直报错

[lalalagogogochong]

作者，你好，我在训练自己的数据集的时候，加载模型一直报错，能帮忙看下是什么问题吗
torch.nn.modules.module.ModuleAttributeError: 'DataParallel' object has no attribute 'load_darknet_weights'

[Shank2358]

作者，你好，我在训练自己的数据集的时候，加载模型一直报错，能帮忙看下是什么问题吗 torch.nn.modules.module.ModuleAttributeError: 'DataParallel' object has no attribute 'load_darknet_weights'

您好。这个应该是多卡并行设置的问题。能请问一下您的电脑是多个GPU吗。我明天重新测试一下然后给您反馈，预计明天中午前可以解决，请稍等。谢谢。

[lalalagogogochong]

作者，你好，我在训练自己的数据集的时候，加载模型一直报错，能帮忙看下是什么问题吗 torch.nn.modules.module.ModuleAttributeError: 'DataParallel' object has no attribute 'load_darknet_weights'

您好。这个应该是多卡并行设置的问题。能请问一下您的电脑是多个GPU吗。我明天重新测试一下然后给您反馈，预计明天中午前可以解决，请稍等。谢谢。

谢谢您，已经改好了，是有多个GPU，但是我只用一个GPU训练的，用多个GPU训练好像有点问题，多GPU训练的命令是什么呢，我看没有train_GGHL_dist.sh这个文件，只有一个train.sh，上面的这个问题修改了一下这个地方就可以了。

[Shank2358]

您好。这个应该是多卡并行设置的问题。能请问一下您的电脑是多个GPU吗。我明天重新测试一下然后给您反馈，预计明天中午前可以解决，请稍等。谢谢。

谢谢您，已经改好了，是有多个GPU，但是我只用一个GPU训练的，用多个GPU训练好像有点问题，多GPU训练的命令是什么呢，我看没有train_GGHL_dist.sh这个文件，只有一个train.sh，上面的这个问题修改了一下这个地方就可以了。

多卡分布式训练就是那个train.sh，里面调用的是train_GGHL_dist.py，我忘改名了。在那个里面改多卡设置就行，我的默认设置是2卡的

[lalalagogogochong]

您好。这个应该是多卡并行设置的问题。能请问一下您的电脑是多个GPU吗。我明天重新测试一下然后给您反馈，预计明天中午前可以解决，请稍等。谢谢。

谢谢您，已经改好了，是有多个GPU，但是我只用一个GPU训练的，用多个GPU训练好像有点问题，多GPU训练的命令是什么呢，我看没有train_GGHL_dist.sh这个文件，只有一个train.sh，上面的这个问题修改了一下这个地方就可以了。

多卡分布式训练就是那个train.sh，里面调用的是train_GGHL_dist.py，我忘改名了。在那个里面改多卡设置就行，我的默认设置是2卡的

我试了一下好像还是不太行，报这个错误

[lalalagogogochong]

您好。这个应该是多卡并行设置的问题。能请问一下您的电脑是多个GPU吗。我明天重新测试一下然后给您反馈，预计明天中午前可以解决，请稍等。谢谢。

谢谢您，已经改好了，是有多个GPU，但是我只用一个GPU训练的，用多个GPU训练好像有点问题，多GPU训练的命令是什么呢，我看没有train_GGHL_dist.sh这个文件，只有一个train.sh，上面的这个问题修改了一下这个地方就可以了。

多卡分布式训练就是那个train.sh，里面调用的是train_GGHL_dist.py，我忘改名了。在那个里面改多卡设置就行，我的默认设置是2卡的

我试了一下好像还是不太行，报这个错误

还有一个问题，我在使用单卡训练的时候，训练过程中显存爆了，我看应该是在保存模型那会，这个显存占用会发生变化么，还有训练的时候我只准备了训练集，没有准备测试集，这个会有问题吗

[Shank2358]

您好。这个应该是多卡并行设置的问题。能请问一下您的电脑是多个GPU吗。我明天重新测试一下然后给您反馈，预计明天中午前可以解决，请稍等。谢谢。

谢谢您，已经改好了，是有多个GPU，但是我只用一个GPU训练的，用多个GPU训练好像有点问题，多GPU训练的命令是什么呢，我看没有train_GGHL_dist.sh这个文件，只有一个train.sh，上面的这个问题修改了一下这个地方就可以了。

多卡分布式训练就是那个train.sh，里面调用的是train_GGHL_dist.py，我忘改名了。在那个里面改多卡设置就行，我的默认设置是2卡的

我试了一下好像还是不太行，报这个错误

还有一个问题，我在使用单卡训练的时候，训练过程中显存爆了，我看应该是在保存模型那会，这个显存占用会发生变化么，还有训练的时候我只准备了训练集，没有准备测试集，这个会有问题吗

1）第一个问题我正在排查，我稍后给您反馈。可以请问一下您的pytorch和cuda版本吗。谢谢。
2）关于第二个问题，训练过程是会发生现存变化的，原因是开了多尺度训练（图像尺寸从736像素到896像素随机变化的），也就是输入的训练图像尺寸是在变化的。通常在训练时我会预留2G左右的显存。爆显存其实是由于保存后下一次训练时输入尺寸变了的原因。
3）只有训练集是没问题的，可以一直训练只是过程中没有验证，或者你也可以将训练集分一部分出来做验证。
只有训练的情况，需要改下面这一行，把开始验证的epoch改成大于您的最大epoch就行了，或者把这个验证注释掉。这句话的意思是epoch>=50的时候开始用验证/测试集进行测试。

[Shank2358]

您好。这个应该是多卡并行设置的问题。能请问一下您的电脑是多个GPU吗。我明天重新测试一下然后给您反馈，预计明天中午前可以解决，请稍等。谢谢。

谢谢您，已经改好了，是有多个GPU，但是我只用一个GPU训练的，用多个GPU训练好像有点问题，多GPU训练的命令是什么呢，我看没有train_GGHL_dist.sh这个文件，只有一个train.sh，上面的这个问题修改了一下这个地方就可以了。

多卡分布式训练就是那个train.sh，里面调用的是train_GGHL_dist.py，我忘改名了。在那个里面改多卡设置就行，我的默认设置是2卡的

我试了一下好像还是不太行，报这个错误

还有一个问题，我在使用单卡训练的时候，训练过程中显存爆了，我看应该是在保存模型那会，这个显存占用会发生变化么，还有训练的时候我只准备了训练集，没有准备测试集，这个会有问题吗

第一个问题应该是缺少prefetch_generator库，https://pypi.org/project/prefetch_generator/
pip安装一下应该就好了，我的版本是1.0.1，您试试看
pip install prefetch_generator==1.0.1

分布式可能还有一些其他的库需要pip，如果还有报这类错误，麻烦您pip安装一下。谢谢。

[lalalagogogochong]

您好。这个应该是多卡并行设置的问题。能请问一下您的电脑是多个GPU吗。我明天重新测试一下然后给您反馈，预计明天中午前可以解决，请稍等。谢谢。

谢谢您，已经改好了，是有多个GPU，但是我只用一个GPU训练的，用多个GPU训练好像有点问题，多GPU训练的命令是什么呢，我看没有train_GGHL_dist.sh这个文件，只有一个train.sh，上面的这个问题修改了一下这个地方就可以了。

多卡分布式训练就是那个train.sh，里面调用的是train_GGHL_dist.py，我忘改名了。在那个里面改多卡设置就行，我的默认设置是2卡的

我试了一下好像还是不太行，报这个错误

还有一个问题，我在使用单卡训练的时候，训练过程中显存爆了，我看应该是在保存模型那会，这个显存占用会发生变化么，还有训练的时候我只准备了训练集，没有准备测试集，这个会有问题吗

第一个问题应该是缺少prefetch_generator库，https://pypi.org/project/prefetch_generator/ pip安装一下应该就好了，我的版本是1.0.1，您试试看 pip install prefetch_generator==1.0.1 分布式可能还有一些其他的库需要pip，如果还有报这类错误，麻烦您pip安装一下。谢谢。

您好，
1、第一个问题已经安装了prefetch_generator库，可是还是报下面的错误，pytorch版本是1.7.1 ，cuda11.4,可能是pytorch版本问题，我先换成1.8试试

2、如果在线评估的话，评估集的格式是什么样的呢，我看readme里面只有测试集的格式，如果在线评估的话，数据要以什么形式存放呢

[lalalagogogochong]

您好。这个应该是多卡并行设置的问题。能请问一下您的电脑是多个GPU吗。我明天重新测试一下然后给您反馈，预计明天中午前可以解决，请稍等。谢谢。

谢谢您，已经改好了，是有多个GPU，但是我只用一个GPU训练的，用多个GPU训练好像有点问题，多GPU训练的命令是什么呢，我看没有train_GGHL_dist.sh这个文件，只有一个train.sh，上面的这个问题修改了一下这个地方就可以了。

多卡分布式训练就是那个train.sh，里面调用的是train_GGHL_dist.py，我忘改名了。在那个里面改多卡设置就行，我的默认设置是2卡的

我试了一下好像还是不太行，报这个错误

还有一个问题，我在使用单卡训练的时候，训练过程中显存爆了，我看应该是在保存模型那会，这个显存占用会发生变化么，还有训练的时候我只准备了训练集，没有准备测试集，这个会有问题吗

第一个问题应该是缺少prefetch_generator库，https://pypi.org/project/prefetch_generator/ pip安装一下应该就好了，我的版本是1.0.1，您试试看 pip install prefetch_generator==1.0.1 分布式可能还有一些其他的库需要pip，如果还有报这类错误，麻烦您pip安装一下。谢谢。

您好， 1、第一个问题已经安装了prefetch_generator库，可是还是报下面的错误，pytorch版本是1.7.1 ，cuda11.4,可能是pytorch版本问题，我先换成1.8试试 2、如果在线评估的话，评估集的格式是什么样的呢，我看readme里面只有测试集的格式，如果在线评估的话，数据要以什么形式存放呢

刚试了一下，torch1.8也还是有问题，不是torch版本的问题

[Shank2358]

您好。这个应该是多卡并行设置的问题。能请问一下您的电脑是多个GPU吗。我明天重新测试一下然后给您反馈，预计明天中午前可以解决，请稍等。谢谢。

谢谢您，已经改好了，是有多个GPU，但是我只用一个GPU训练的，用多个GPU训练好像有点问题，多GPU训练的命令是什么呢，我看没有train_GGHL_dist.sh这个文件，只有一个train.sh，上面的这个问题修改了一下这个地方就可以了。

多卡分布式训练就是那个train.sh，里面调用的是train_GGHL_dist.py，我忘改名了。在那个里面改多卡设置就行，我的默认设置是2卡的

我试了一下好像还是不太行，报这个错误

还有一个问题，我在使用单卡训练的时候，训练过程中显存爆了，我看应该是在保存模型那会，这个显存占用会发生变化么，还有训练的时候我只准备了训练集，没有准备测试集，这个会有问题吗

第一个问题应该是缺少prefetch_generator库，https://pypi.org/project/prefetch_generator/ pip安装一下应该就好了，我的版本是1.0.1，您试试看 pip install prefetch_generator==1.0.1 分布式可能还有一些其他的库需要pip，如果还有报这类错误，麻烦您pip安装一下。谢谢。

您好， 1、第一个问题已经安装了prefetch_generator库，可是还是报下面的错误，pytorch版本是1.7.1 ，cuda11.4,可能是pytorch版本问题，我先换成1.8试试 2、如果在线评估的话，评估集的格式是什么样的呢，我看readme里面只有测试集的格式，如果在线评估的话，数据要以什么形式存放呢

抱歉忘说了，更新torch1.8以后lib里面的DCN库要重新编译一下就好了。如果没用到DCN可以把这些注释掉就行，这个是为GGHLv2.0预留的，这里没有用到。cd ./lib/DCNv2, sh make.sh
torch1.7和torch1.8的DDP函数名有一些不一样，其实1.7也是可以用的。

[lalalagogogochong]

cd ./lib/DCNv2

您好，换成1.8也还是不好用，还是上面的那个错误，提示TypeError: barrier() got an unexpected keyword argument 'device_ids'
还有就是如果在线评估的话，评估集的格式是什么样的呢，我看readme里面只有测试集的格式，如果在线评估的话，数据要以什么形式存放呢

[Shank2358]

cd ./lib/DCNv2

您好，换成1.8也还是不好用，还是上面的那个错误，提示TypeError: barrier() got an unexpected keyword argument 'device_ids' 还有就是如果在线评估的话，评估集的格式是什么样的呢，我看readme里面只有测试集的格式，如果在线评估的话，数据要以什么形式存放呢

请问您对这个bash修改了吗，这里的GPU数量和ID需要跟您的设备匹配上，麻烦您检查一下。然后这个sh匹配的是train_GGHL_dist.py的代码不是train_GGHL.py的代码。train_GGHL.py那个只能进行单卡训练或者旧的DP多卡训练。我这会儿也把这个仓库重新部署到服务器上再试试看还有可能是什么原因。另外能麻烦您告诉我以下错误提示是在这个代码的哪一行吗，或者给我一个类似的截图，谢谢。

抱歉我没有明白在线评估指的是什么？是一边训练一边验证的数据集？这个和测试数据集是一样的，都是使用的VOC格式，config.py文件里有一个DATA_PATH = "/opt/datasets/DOTA/"就是测试数据集的路径，更具体的文件夹结构在readme里面有写，长这样的

您只需要把数据这样准备好然后修改cfg文件中的路径即可。数据预处理的话DOTA数据集可以使用官方的工具包，

其他数据也可以参考这个修改，或者直接写一个脚本转换
然后训练数据有一个额外的预处理使用的是DOTA2Train.py，这个也在上述文件夹下。
您先试试看可不可以用，有遇到问题我可以帮您解决。谢谢。