Fused optimizerでのresume

[rena0408]

素晴らしい機能をありがとうございます。
Fused optimizerで--resumeした場合にresume元のstateと全く同一の画像が出力されてしまいます
tensorboardでは学習が進んでいるように見えるのですが…
Fused optimizerはresumeに対応していないのでしょうか？

[kohya-ss]

ご報告ありがとうございます。resumeの動作は確認していなかったため、確認してみます。

[yushan777]

I can confirm. resumed results seem to be pixel-identical to previous checkpoint.

--fused_backward_pass mode seems to work really well though!

[kohya-ss]

事象が確認できました。resumeを行うと、パラメータのgrad_hookがクリアされてしまうようでした。grad_hookのタイミングをresume後に変更しました。devブランチを更新しましたので、お試しいただければ幸いです。

The resuming seems to clear the grad_hook, so the training is not started. I've updated the dev branch.

[rena0408]

Xも見てました！
SD3等も来てお忙しい所改善してくださって本当にありがとうございます！