シンプルなDiffusion Transformerを実装してみる最近はTransformerベースのDiffusionモデル、いわゆるDiT(Diffusion Transformer)がUNetベースのDiffusionモデルよりも性能がいいと聞くもののコードレベルで理解ができなったのでMNISTの手書き数字の学習と生成を題材にシンプルなDiTを実装してみる。 (この記事はLLM・LLM活用 Advent Calendar 2024の16日目の記事です！ テーマは画像生成ですが、 GPTなどLLMで広く使われているTransformerを画像生成に応用したという意味で許してください🙏) 出力比較 UNetベースのシンプルなDiffusionモデル ソースコード TransformerベースのシンプルなDiffusionモデル(DiT) ソースコード 10epochずつ学習させてみたが精度が出る学習率も違うし、どの段階で比較すればいいかがわからなかっ
