Transformerと仲良くなりたい
こんにちは。秋田県のIT企業、北日本コンピューターサービスのR&Dチーム「AUL（アウル）」に所属しています。トラフクロウです。 今回が初の投稿になりますので、内容については広い心で眺めていただけるとうれしいです。 この記事はTransformer（トランスフォーマー）について僕が勉強した内容をまとめたものになっています。 トランスフォーマーが紹介された論文「Attention Is All You Need」を読んで僕が気になった部分や疑問に感じた部分をまとめました。 僕がトランスフォーマーについて勉強しようと考えたきっかけは仕事で自然言語処理AIを使ったことです。 社会人になって最初に配属されたプロジェクトではトランスフォーマーから派生したBERT（バート）というAIを使っていました。当時指導してくれた先輩いわく「バートは文章をベクトルにしてくれて、意味どうしの計算ができるんだよ」との
TransformerのSelf-Attentionをわかりやすく理解できないものだろうか？-Part1
こんにちは。秋田県のIT企業、北日本コンピューターサービスのR&Dチーム「AUL（アウル）」に所属しています。トラフクロウです。 僕は現在、生成AIの一種であるTransformer（トランスフォーマー）の勉強をしています。いろいろな文献やネット記事を見たことでトランスフォーマーの全体像が少しずつ見えてきました。 （トランスフォーマーの勉強当初に感じた疑問をこちらにまとめています。興味のある方は覗いてみてください。） トランスフォーマーに関する文献を読んでいると Self-Attention（セルフアテンション）機構 がいつも強調されています。入力単語の中で重要なものに焦点を絞り、文章の意味を特徴づけるための構造です。 計算方法自体はいろいろな所で紹介されているので、意気揚々と読んではみたものの「なんじゃこりゃ？」とつまずいてしまいました。というのも 数式の解読はできるのですが、その式が何
シンプルなDiffusion Transformerを実装してみる
最近はTransformerベースのDiffusionモデル、いわゆるDiT(Diffusion Transformer)がUNetベースのDiffusionモデルよりも性能がいいと聞くもののコードレベルで理解ができなったのでMNISTの手書き数字の学習と生成を題材にシンプルなDiTを実装してみる。 (この記事はLLM・LLM活用 Advent Calendar 2024の16日目の記事です！ テーマは画像生成ですが、 GPTなどLLMで広く使われているTransformerを画像生成に応用したという意味で許してください🙏) 出力比較 UNetベースのシンプルなDiffusionモデル ソースコード TransformerベースのシンプルなDiffusionモデル(DiT) ソースコード 10epochずつ学習させてみたが精度が出る学習率も違うし、どの段階で比較すればいいかがわからなかっ
Scalable Diffusion Models with Transformers - Qiita
1. 概要 トランスフォーマーを用いた拡散モデル(Diffusion Models with Transformers)の新しいアーキテクチャを提案している。通常はU-Netをバックボーンとして使用し潜在空間でパッチ毎にトランスフォーマーで演算をするが、この部分をシーケンスに変換するDiffution Transformers Block(DiT-block)を新たに提案しており、従来手法と比べて潜在空間上で高い表現力を獲得できるようにした。ImageNet512/256のベンチマークで従来の拡散モデルよりも高精度な2.27のFIDを達成している。 2. 新規性 Diffusion Transformers(DiT, 拡散トランスフォーマー)を提案しており、通常IxIxCで構成されるパッチをT=(I/p)^2の長さのシーケンスにシェイプ変換するDiT Blockを挿入することで、小さなパッ
最新の高性能 Diffusion Models （2024年） - Qiita
最近、Transformerベースのdiffusion modelが高いパフォーマンス（ImageNetのFID基準）を出している。ということで、特に性能の高い最新モデルを2つ紹介する。加えて、これらを調査していたら、それらの性能をさらに底上げする手法とCNNベースでさらに高い性能を出してSOTAを達成したぞという論文にもさらに行き着いたので、それら2本も併せて追加で紹介する。 （追記）2024/2/23に発表されたStable Diffusion 3や2/15に発表されたOpenAIのSoraでは、今回紹介するDiTがDiffusion Transformer（拡散トランスフォーマー）のベース技術に採用されている。 ※以降の図は論文からそのまま引用、もしくはそれに多少の加工を加えたものとなる。 ※以降のpaperswithcodeの順位は2024/1時点 目次 DiT (ICCV'23)
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://x.com/DailyDoseOfDS_/status/1894275493647847641
modeling_deepseek.py · deepseek-ai/DeepSeek-R1 at main
https://chatgpt.com/c/677f7bd3-f4ec-800a-90c5-b5a27b75db91
https://x.com/uranaishivoyant/status/1874178285313441875?s=12&t=WLoQjPOJLfZ0ZJFtTOS7aw
https://x.com/_ryobot/status/1870761786649243880?s=12&t=WLoQjPOJLfZ0ZJFtTOS7aw
GitHub - huggingface/trl: Train transformer language models with reinforcement learning.